JP4506016B2 - Mobile body mounting robot and mobile body equipped with the same - Google Patents

Mobile body mounting robot and mobile body equipped with the same Download PDF

Info

Publication number
JP4506016B2
JP4506016B2 JP2001083022A JP2001083022A JP4506016B2 JP 4506016 B2 JP4506016 B2 JP 4506016B2 JP 2001083022 A JP2001083022 A JP 2001083022A JP 2001083022 A JP2001083022 A JP 2001083022A JP 4506016 B2 JP4506016 B2 JP 4506016B2
Authority
JP
Japan
Prior art keywords
crs
vehicle
robot
occupant
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001083022A
Other languages
Japanese (ja)
Other versions
JP2002166379A (en
Inventor
邦夫 森沢
勝 森瀬
隆明 戸倉
陽太 水野
美智子 鵜飼
章吾 松本
雅史 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2001083022A priority Critical patent/JP4506016B2/en
Publication of JP2002166379A publication Critical patent/JP2002166379A/en
Application granted granted Critical
Publication of JP4506016B2 publication Critical patent/JP4506016B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は自動車、船舶、旅客列車、旅客機等の移動体に搭載されるロボットに関し、特にロボットが自律性を有しており自己が置かれている状況に対応しつつ、自己の判断により或いは乗員の指示に従って、必要な動作を実行する移動体搭載用のロボットに関する。
【０００２】
なお、本明細書で言う移動体搭載用のロボットとは、移動体との関わりにおいて、移動体或いは乗員から受ける諸条件に対応して好ましい動作（サービス）を実行するロボットを意味し、移動体専用であるもの又は移動体に固定されたロボットに限るものではない。例えば、移動体から離れた場所では他の用途に用いられているが、移動体内に持ち込んだときには移動体或いは乗員から受ける諸条件に対応してサービスを提供するようなロボットもここで言う移動体搭載用のロボットに含まれる。
【０００３】
【従来の技術】
近年、例えば自動車（以下、単に車両と称す）内における環境が快適なものとなるように多くの提案がなされている。例えば特開平１１−２７２６４０号公報では、運転環境が快適なものとなるように、運転者とコミュニケーションを取るエージェント装置の技術が開示されている。この技術では、擬人化されたエージェントが画面上に出現して、運転者に種々の情報を伝達する。このエージェントは運転者の応答や反応を学習して容姿、服装を変化させ、その運転者固有のエージェントとなり運転環境が快適となるようにしている。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記エージェント装置を含め従来提案されていた装置は固定された画面内に表れる映像であるため娯楽（アミューズメント）性を与え、運転環境を快適とするには限界があった。また、乗員の内で特に運転者の環境を改善することが主眼に置かれているので、後部座席に座った乗員に対する快適さの改善には配慮されていないという問題がある。
【０００５】
また、従来において提案されているオーディオ若しくはナビゲーションシステム等の車両用の装置は、ある条件下で乗員に対して一方的に所定のサービスを提供する形態で実現されおり、必要に応じて乗員とコミュニケーションを取りながらサービスを提供する形態で実現されていないので乗員に与える快適さにも限界があった。
【０００６】
また、最近においては種々の実体を有するロボットが提案されている。このようなロボットは室内用のペット或いは作業補助等を主な目的として提案されている。しかし、周囲の状況が刻々と変化する車両内の状況に対応しつつ、さらに乗員が満足するようなサービスを提供できるロボットについては未だ満足できるような提案はなされていない。さらに、車両用のロボットについては、車両内のスペースは限られているので効率的に配置するという点についても配慮しておくことが必要である。
【０００７】
したがって、本発明の主な目的は、運転者を含めた全ての乗員が車内で快適に過ごすことができる移動体搭載用のロボットを提供することである。
【０００８】
【課題を解決するための手段】
【００６３】
請求項１に記載されるごとく、移動体或いは乗員から受ける諸条件を認識する認識手段と、該認識手段により認識された前記諸条件に対応するための思考を行う思考手段と、前記思考手段による結果に基づき必要な動作を実行する動作手段とを含み、前記乗員と間で双方向のコミュニケーションを取りながら動作する移動体搭載用のロボットにおいて、当該ロボットは前記移動体を構成するシートと一体である、ことを特徴とする移動体搭載用ロボットによっても達成される。
【００６４】
請求項１記載の発明では、移動体内の所定位置に設定されたロボットが乗員と間で双方向のコミュニケーションを取りながら動作（サービス）する。よって、乗員は移動体内で快適且つ安全に過ごすことができるとともに、移動体の構成部品をロボット化するので乗員の居住スペースを減少させることなく、乗員へのサービスを提供できる。
また、請求項２に記載される如く、請求項１に記載の移動体搭載用のロボットにおいて、当該ロボットは、前記思考手段による結果に基づいてシートに付加された機能を実行する、構成とすることができる。
また、この請求項２に記載の移動体搭載用のロボットで、前記シートに付加された機能として、シートベルトを緊締すること、シート内に設けた加熱冷却手段を駆動して温度調整すること、シート内に設けた血圧測定手段を駆動して乗員の血圧を測定すること、シート内に設けた脈拍測定手段を駆動して乗員の心拍数を測定すること、シートを回転させること、シートを前後に移動させること、シートを傾斜させること等がある。
請求項２の発明では、好ましい付加機能を有したシートがロボットであるので、例えばチャイルドシート等を別途準備することなく、自律制御により子供を安全に保持できる。さらに、子供に限らず大人に対しても安全で、体調にまで配慮するロボットなる。
また、請求項３に記載される如く、請求項１に記載の移動体搭載用のロボットにおいて、前記シートがさらに腕状のマニュピレータを備える、構成とすることができる。
請求項３の発明では、ロボットが腕状のマニュピレータを備えるので移動できなくても物品の受け渡し等を行うことができる。さらに、移動体が急発進・停車等して過度の減速度が生じたときに腕状のマニュピレータが乗員を抱込むように設定しておけば、乗員の保護により効果的である。
このような移動体は、乗員が移動体内で快適に過ごすことができ、さらに移動体を離れた後においてロボットに監視作業等を実行させることがでるので、極めてユーザフレンドリな移動体として提供できる。
【００６５】
本ロボットは、移動体内の所定位置に配置される形態で実現されるが、移動体内に、この所定位置を複数設定しておくことで、後部座席にいる乗員へもロボットがサービスを提供できる。
【００６６】
また、このロボットは上記移動体内で用いることのみを目的に構成されている必要はなく、例えば乗員の自宅でのアミューズメント用のペットロボット或いは作業補助として用いる補助ロボット自体、或いはこれらが分離可能である場合にはその一部を前記所定位置に配置する形態としてもよい。
【００６７】
そして、請求項４に記載される如く、請求項１〜３記載の移動体搭載用のロボットにおいても、前記思考手段にはロボット自らが行動するための自律思考部が設定され、該自律思考部は前記認識手段が認識した前記諸条件に基づき前記動作手段を駆動させて自律制御を実行する、構成を採用することが好ましい。
【００６８】
請求項４記載の発明によっても、移動体内で乗員が欲するような好ましいサービスをロボットが実行するので、乗員は移動体内で快適かつ安心して過ごすことができる。
【００７２】
また、請求項５に記載される如く、請求項４記載の移動体搭載用のロボットにおいて、前記自律制御は、前記認識手段が認識した前記諸条件に基づき当該ロボットが乗員に関して必要な行動を取る自発行動モードをさらに含む、構成とすることがより好ましい。
【００７３】
また、請求項６に記載される如く、請求項５記載の移動体搭載用ロボットにおいて、前記自発行動モードによる行動には、乗員登録、夜間監視、移動体内における落下物監視、移動体走行時の監視アシスト、移動体への乗降時の監視アシスト、移動体内の清掃、ゴミの回収及び窓拭き、から選択される少なくとも１つを含む、ことが好ましい。
【００７４】
また、請求項７に記載される如く、請求項５記載の移動体搭載用のロボットにおいて、前記自発行動モードは、前記乗員の行動から予想して実行される、構成としておくことが好ましい。
【００７５】
また、請求項８に記載される如く、請求項１から４のいずれかに記載の移動体搭載用のロボットにおいて、前記思考手段は乗員の命令に応じて前記動作手段を駆動させる、構成が好ましい。
【００７６】
また、請求項９に記載される如く、請求項１から８のいずれかに記載の移動体搭載用のロボットにおいて、前記認識手段は前記諸条件を認識するため少なくとも視覚手段及び／又は聴覚手段を含む、構成が好ましい。
【００７７】
また、請求項１０に記載される如く、請求項１から９のいずれかに記載の移動体搭載用のロボットにおいて、当該ロボットは外部入力装置との接続用のインターフェース部を備えた、構成が好ましい。
【００７８】
また、請求項１１に記載される如く、請求項１０記載の移動体搭載用のロボットにおいて、当該ロボットが通信機能を備え、前記外部入力装置により遠隔操作される、構成が好ましい。
【００７９】
また、請求項１２に記載される如く、請求項１０記載の移動体搭載用のロボットにおいて、当該ロボットは通信装置と接続可能とされている、構成が好ましい。
【００８０】
すなわち、請求項１〜１２に記載される発明でも、ロボットは自発行動モードを含む構成で自律制御しており、移動体の挙動に対応しつつ乗員とコミュニケーションを取りながら必要なサービスを提供することができる。
【００８１】
また、請求項１３に記載される如く、請求項１０記載の移動体搭載用のロボットにおいて、当該ロボットは、前記移動体側に設けた通信装置と交信するための通信機能を備え、移動体側から得る情報を前記自律制御に用いる、構成とすることが好ましい。
【００８２】
請求項１３記載の発明では、移動体側にも通信機能が設けられロボットと交信可能な状態であるので移動体側で得た情報をロボットが把握できる、よって、行動範囲が限られた移動体搭載用のロボットでも不足する情報を補完して前記自律制御に利用することができる。
【００８３】
なお、前記認識部及び思考部は、ロボット側だけに設けるといった形態だけでなく、移動体側にその一部が設定される形態としてもよい。乗員のサービスのためロボットが種々の動作を実質的に実行できる構成であればよい。
【００９９】
【発明の実施の形態】
以下、さらに図面に基づいて、移動体として車両を例として本発明を具体的に説明するが、その前に図１に基づき本発明の車載用ロボット（以下、ＣＲＳとする）の基本構成とその機能について概略を説明する。
【０１００】
図１はＣＲＳ１０の概略構成を機能ブロックで示す図である。ＣＲＳ１０は車両から或いは乗員から受ける諸条件（以下、車両乗員情報２０という）を認識する認識部１２を有する。この認識部１２は車両乗員情報２０を認識するためのＣＲＳ１０本体側に設けた各種センサ並びに車両側に取付けた各種センサ及びナビゲーション装置等を含み、さらにはこれらセンサ等で認識された車両乗員情報２０に所定の処理を施すＣＰＵ等の処理装置により具現化することができる。ここで使用される上記センサとしては、例えばＣＲＳ１０が車両の何処に位置しているのを検出する自己位置検出センサ、音を検出する聴覚センサ、ＣＲＳ１０が接触したものを検出する触覚センサ、周辺の状態を視覚的に捉えるＣＣＤ装置、車両内の雰囲気を検出するガスセンサ等がある。さらに、ＣＲＳ１０は車両に搭載されることから、例えば車両走行により生じる加速度、減速度、上下方向の加速度、ヨーレイト等を検出するセンサ、イグニッション（Ｉ／Ｇ）スイッチの状態、操舵角、スロットル開度を検出するセンサ等の他、車両情報を検出するための多種類のセンサも含まれる。なお、車両状態は前記車両乗員情報２０に含まれる。
【０１０１】
ＣＲＳ１０の認識部１２をどのようなセンサを用いて構成するかについては、ＣＲＳ１０に期待する機能を考慮して適宜選定すればよい。また、認識部１２により認識される車両乗員情報２０には、使用者に関する各種情報も含む。例えば、使用者登録情報等のデータ記録が必要なものについては、認識部１２に記憶部を設けてこれを保存し、逐次更新するようにしてもよい。また、これら使用者に関するデータは、後述する思考部１４が種々の判断をする際の基準となるので、思考部１４内に格納し、逐次データの更新ができるよに構成しておくことが好ましい。
【０１０２】
認識部１２で認識された車両乗員情報２０は思考部１４に供給されるが、使用したセンサの検出ノイズを除去する等の処理を施してから車両乗員情報２０を思考部１４側に供給することが好ましい。また、思考部１４からの要求があった車両乗員情報２０について供給するようにしてもよい。
【０１０３】
ＣＲＳ１０の思考部１４は前記認識部１２によって認識された車両乗員情報２０に基づいて、移動部１６及び動作部１８を駆動させる。思考部１４はＣＲＳ１０の中央処理部に相当するものであり、認識部１２から供給される車両乗員情報２０に基づいて移動部１６及び動作部１８を駆動させるための多種のプログラムを備えている。
【０１０４】
このプログラムには車両内で運転者を含めた乗員に対し行う種々のサービスに関するもの、車両の安全を保持するための監視に関するもの、さらに車両が衝突等に遭遇したときの緊急時対応に関するもの、車両内の清掃に関するもの、ＣＲＳ１０及び車両が通信機能を備え相互に交信する場合にはその交信に関するもの等、ＣＲＳ１０が実行する動作を規定するものが多数含まれる。
【０１０５】
上記思考部１４は、例えばデータ処理及び上記各部１２、１６、１８の制御を行うＣＰＵ（中央処理装置）と、このＣＰＵにデータバスや制御バス等のバスラインで接続されたＲＯＭ、ＲＡＭ、タイマ等を備えた構成で具現化できる。ＲＯＭにはＣＰＵで制御を行うための各種データやプログラムが予め格納され、ＲＡＭにはＣＰＵが用いるワーキングメモリ等が格納される。
【０１０６】
上記移動部１６は、車両周りにＣＲＳ１０本体を移動させる手段である。ＣＲＳ１０を移動させる範囲により、例えば車両の天井部、ドア周り部、センターコンソール部等に適宜レールを敷設し、移動用モータを駆動する構成で具現化される。この移動用モータは制動用の電磁ブレーキ或いは回生制動でブレーキを掛けるように構成できる。但し、この移動部１６はレールのように車両に固定された部材に沿ってＣＲＳ１０を移動可能とするものに限るものではない。前述したようにＣＲＳ１０自体が吸着手段等を有して移動範囲の限定なく移動できる自律歩行の形態を採用することも可能である。
【０１０７】
また、上記動作部１８はＣＲＳ１０が所定の動作、例えば車内の物を取る（捕獲）するとか、動かす、操作する等のロボットとして具体的な動作を実行する手段である。この動作手段１８は、例えば微小モータを関節に内蔵させたマニュピレータ等により具現化される。
【０１０８】
なお、ＣＲＳ１０が車両の運転状態或いは周辺を監視する等の動作を実行する場合には、思考部１４は前記認識部１４に含むＣＣＤ装置、聴覚センサ等を機能させる。
【０１０９】
さらに、このＣＲＳ１０の全体的な外形について説明すると、例えば擬人化された人型のキャラクタ或いはペット型のキャラクタとすることができる。このように構成した場合には、乗員が触れることが出来る具体的な存在であり乗員へのインパクトは画面で表示されていた従来の装置より大幅に改善される。このように実存するキャラクタとしてＣＲＳ１０を実現したときには、例えばこのキャラクタ内に前記思考部１４に相当するＣＰＵを配置する他、目、鼻、耳に対応するセンサを認識部１２として配置し、さらにマニュピレータによる腕を配置して動作部１８とする。また、キャラクタの表皮は乗員の安全確保等のため、衝撃吸収性の樹脂で形成する。そして、例えば車両の所定の位置に敷設したレールに沿ってこのキャラクタが車内を移動するような構成としてＣＲＳ１０を実現できる。
【０１１０】
ところで、本発明の特徴の１つとして本ＣＲＳ１０は自律動作を行う自律制御機能を備えている。この自律制御では、ＣＲＳ１０が上記車両乗員情報２０に基づいて自ら思考し、必要な行動を取るものである。
【０１１１】
本発明のＣＲＳ１０は車両に搭載されることから車両が発進し、走行する際には加速度、減速度、上下方向の加速度、ヨーレイト等を受けるので、乗員による補助或いは指示を待つことなく自ら判断して必要な行動を取ることが必要である。よって、この自律制御ではＣＲＳ１０が車両内で自己の体勢を安定に保持できるような基本的機能（自己保持モード）を備える。
【０１１２】
また、この自律制御にはＣＲＳ１０が車両に搭載され、その環境に対応するという観点から、乗員にとって好ましい行動を自発的に取る機能（自発行動モード）も有することが好ましい。この自発行動モードでは、例えば、車両に乗員が乗り込んできたときに邪魔にならない位置に移動するとか、車両がスピードオーバである場合には警告を発するようにするとか、駐車中の車両に近付く不審者があるときには警告音を発する、車両が衝突した場合には乗員保護のための救助行動を行う、さらには車内のゴミを拾ってゴミ箱に捨てる、曇ったウインドウを拭くなどの清掃行動等があり、ＣＲＳ１０は乗員の指示を待つことなく適切な行動を取る。そのために、前記思考手段１４内に自律思考部ＳＥＬを備えている。このような自律思考部ＳＥＬによる判断も例えばＣＰＵとＲＯＭ内に予め設定したプログラムとに基づいて実現される。なお、自律制御に含まれる自発行動モードの設定項目についてはＣＲＳ１０に期待する機能により使用者が適宜定めればよい。但し、乗員登録、夜間監視、落下物監視、車両走行時の監視アシスト、車両乗降時の監視アシスト、乗員救助及び清掃等の動作について、車両の使用者がＣＲＳ１０に対し、適宜指示することは煩瑣であるし、基本的に必要な事項であるので自発行動モードの項目に予め設定しておくことが望ましい。
【０１１３】
また、ＣＲＳ１０の上記自律制御の内で上記自己保持モードは基本的な機能であるが、上記自発行動モードについては運転者等の指示を受けてから実行するように思考手段１４内に設定してもよい。勿論、自己保持モード及び自発行動モードを含む自律制御自体を運転者等の指示を受けてから実行するように設定してもよい。
【０１１４】
さらに、ＣＲＳ１０はインターフェース（Ｉ／Ｆ）１７を介して外部側の入・出力装置１９と接続される。入・出力装置１９としては車内に設けたマイク及びスピーカを挙げることができるが、これに限らず車両本体側に据え付けらけられているタッチパネルの他、可搬性あるノートパソコン、情報携帯端末（ＰＡＤ）、携帯電話等がこれに含まれる。例えば、乗員の緊急時に、これらの装置を介して、レスキューセンタ等からＣＲＳ１０へ指示入力を行い、ＣＲＳ１０がこれに応答する行動を取るように構成しておくことも可能である。また、例えば、マイク、ノートパソコンのキ−ボードを介してＣＲＳ１０へ指示入力し、この指示に対してＣＲＳ１０は指示に沿った動作を行う、或いは指示に応答してスピーカ、ノートパソコン上の画面に所定の出力を行うように構成しておくことも可能である。通信機能を有した携帯電話等を用いた場合には車外からＣＲＳ１０への指示を行い、所定の動作を行わせることができ、その実行状況をＣＲＳ１０から出力される音声で確認するような構成とすることもできる。さらに、ＣＲＳ１０が通信機能を予め備えている構成としてもよい。
【０１１５】
さらに、車両側にも通信機能を設けＣＲＳ１０と交信できる状態を設定しておくことが好ましい。上記のようにＣＲＳ１０が自律制御を行うために、認識部１２が認識した諸条件を基に思考部１４が思考処理を行っている。ＣＲＳ１０及び車両が通信機能を有し、ＣＲＳ１０が車両側の情報を利用できるようなれば、ＣＲＳ１０が自律制御を実行するために、認識部１２及び思考部１４の全てをＣＲＳ１０の本体側に設ける必要がなくなる。
【０１１６】
すなわち、車両側に認識部１２及び思考部１４の一部を設け、その情報をＣＲＳ１０が利用して前記自律制御を実行できる。また、認識部１２及び思考部１４の一部がＣＲＳ１０及び車両の双方に重複して設定された状態では、ＣＲＳ１０及び車両の思考部が相互に交信し、その結果に基づいてＣＲＳ１０が最適な行動を取るというより好ましい形態も実現できる。
【０１１７】
特に、ＣＲＳ１０が歩行機能も備えた形態で場合には、車両から独立した存在である。よって、ＣＲＳ１０が車両外に持ち出される場合も想定される。このような場合には、通信機能を備えたＣＲＳ１０が離れた場所に駐車された車両の状態を監視したり、ＣＲＳ１０が車両に接近したときにドアロックの解除等がなされるようにすれば乗員へよりレベルの高いサービスを提供できる。
【０１１８】
上記のように本発明のＣＲＳ１０は、自律制御機能を備えているので、乗員に意識させることなく、好適なサービスを提供できると共に、乗員からの指示に応じたサービスも提供する。よって、運転者を含めた乗員は車内で快適に過ごすことができる。
【０１１９】
以下さらに、図面に基づき本発明の実施例を説明する。
【０１２０】
図２から図９は本発明の第１実施例について示す。本第１実施例はＣＲＳにより実行される、車両の使用開始から使用者の登録、車両発進に備えた自律制御動作、車両の走行中で制御動作、車両停止後の制御動作等を広く例示したものである。なお、繰返しとなるが、以下で示すＣＲＳ動作は多種のセンサ等を含み車両乗員情報２０を認識するＣＲＳの認識部１２と、この認識部１２から供給される信号に基づいて思考するＣＲＳの思考部１４とによりＣＲＳ本体の動作を制御することで実行されるものである。
【０１２１】
図２は、ステーションワゴンタイプの車両１にＣＲＳ１００を搭載した第１実施例について示している。車両１の天井にはＣＲＳ１００が移動するためのレール２が敷設されている。
【０１２２】
このＣＲＳ１００は、頭部１０２とこの頭部１０２に作動自在に接続された左右の腕１０４、１０６を備えた擬人的な外観（本体）を有している。ＣＲＳ１００の頭部１０２は接続アーム１１０を介して、レール２に移動自在に配設されている。レール２側にはスライダ１０８が接続され、その内部にはレール２に沿って移動するための移動用モータ（図示せず）と接続アーム１１０を回動させる回動用モータ（図示せず）が配設されている。よって、ＣＲＳ１００本体はレール２に沿って車両１内を前後に移動し、またスライダ１０８を中心として接続アーム１１０が回動することでその長さ範囲内をさらに移動することができる。さらに。この接続アーム１１０を伸縮駆動可能な部材で構成してもよい。
【０１２３】
また、頭部１０２はヘッド回動部１０９を介して接続アーム１１０に接続されている。ヘッド回動部１０８内には図示せぬモータを配設しており、ＣＲＳ１００本体をその下部において左右両方向に回動させ、また傾斜させること、及び所望の位置で停止させることができる。よって、ＣＲＳ１００本体が移動する際には、レール２に沿ってスライダ１０８が移動し、接続アーム１１０がスライダ１０８を中心に回転し、最後にヘッド回動部１０９を駆動して正面合わせを行うように駆動することで、車内の任意位置に移動させることができる。なお、ＣＲＳ１００は運搬する物品の質量を計量するための計量部を備えている。この計量部は頭部１０２、スライダ１０８或いはヘッド回動部１０９のいずれかに配設される。
【０１２４】
頭部１０２には、例えば、臭覚センサとしてガスセンサを用いた鼻１１１、視覚センサとしてＣＣＤを用いた目１１２と聴覚センサとしてマイクロホンを用いた耳１１４、さらにスピーカを用いた口１１３が形成され、さらに車両の状態を検出する加速度、減速度、ヨーレイト、上下加速度、ＩＧのＯＮ／ＯＦＦ等を検出する各種センサ、さらには座標系を認識するジャイロ或いは３軸加速度センサについてもその内部に配置されている。この車両挙動を検出する種々のセンサは、従来の車両本体側に配置されているので、通信機能を付加した車両本体側から検出信号を取得する構成とすることも可能である。しかし、本実施例のように、ＣＲＳ１００内にセンサ機能を集約することで、車両本体側の設備の軽減を図ることができる。
【０１２５】
また、ＣＲＳ１００の左右の腕１０４、１０６の先端には物体を把持するハンド１０４ＨＡ、１０６ＨＡが形成されている。このハンド１０４ＨＡ、１０６ＨＡには物を所定圧で捉えるため、感圧導電性ゴムマトリックス等で形成する触覚センサを備えている。
【０１２６】
頭部１０２には、前述した中央処理部として図示せぬＣＰＵが配設され、前記複数のセンサにより認識（検出）される車両乗員情報（ＣＲＳ１００が車両或いは乗員から受ける諸条件）に基づいて、スライダ１０８、ヘッド回動部１０９及び接続アーム１１０を駆動させて所定位置まで移動し、必要な動作を実行する。なお、前方監視等の動作の場合には、スライダ１０８によりＣＲＳ１００が所定位置に移動し、目（ＣＣＤ）１１２、耳（マイクロフォン）１１４が必要な方向に向くようにヘッド回動部１０９を回動させてから監視を実行する。
【０１２７】
前述したようにＣＲＳ１００は自律制御機能を有している。その内の基本的機能である自己保持モードを実行するときには、特に加速度、減速度、ヨーレイト、上下加速度、操舵角等を検出するセンサからの信号に基づいて、ＣＲＳ１００は自己の体勢が安定となるように行動する。例えば左右の腕１０４、１０６を天井に伸ばして揺れを防ぐようにしてもよいし、移動用及び動作用のモータを強く制動しロック状態としてもよいし、アーム１１０、ヘッド回動部１０８及び腕１０４、１０６を協働的に駆動させＣＲＳ１００本体のバランスが取れるような姿勢となるように設定していもよい。
【０１２８】
図３は本第１実施例のＣＲＳ１００の各部構成として採用できる具体的な要素をブロックで示す図である。図３のＣＲＳ認識部１２、ＣＲＳ思考部１４等は図１と対応しており、同一構成部には同一の符号を付している。
【０１２９】
ＣＲＳ認識部１２には車両乗員情報を得るための種々のセンサ、装置が接続される。ＣＲＳ認識部１２は必要に応じてその情報を処理或いは記憶しつつＣＲＳ思考部１４に供給する。
【０１３０】
ＣＲＳ認識部１２には使用者登録記憶部２１を含み、登録されている使用者であるか否か等についての認識情報をＣＲＳ思考部１４へ提供することが好ましい。車両使用者を登録するシステムを採用するときには、その使用者登録情報も車両乗員情報の１つとなる。使用者登録システムの機能は、認識部１２に設定してもよく、この場合にはＣＣＤ、マイク、キーボード等から使用者の容姿や音声、パスワード、使用者番号等の識別を行い使用者を特定する。認識部１２は使用者が未登録である場合には登録を促す。
【０１３１】
ＣＲＳ思考部１４では使用者登録記憶部２１からの使用者登録情報に基づき、所定の乗員データ４０を内部に蓄積し逐次更新する。必要の都度、動作指示履歴及び運転履歴等を呼び出してＣＲＳ１００の動作制御に用いる。なお、この乗員データ４０には、車両内で娯楽等を提供して世話をする必要がある子供等の乗員に関する挙動等についてのデータを含めることができる。
【０１３２】
また、ＣＲＳ認識部１２には自己位置認識部２２を含み、車両の位置を認識できる様にしておくことが好ましい。この自己位置情報はナビゲーション装置からの情報を認識するナビ情報認識部２３から供給できる。ナビ情報認識部２３では車両が走行している道路が間もなくカーブとなる等の道路インフラ情報を認識でき、また自己位置情報で車両の自己位置を確認できる。ＣＲＳ１００の安定動作を確保するため等の情報としてＣＲＳ思考部１４へ提供すると、前述した自律制御を規定する自律プログラム３３の実行に利用される。
【０１３３】
また、ＣＲＳ認識部１２にはＣＲＳ１００自身の充電状態を検出する充電検出部２４を含むことが好ましい。充電検出部２４により検出された充電情報はＣＲＳ思考部１４へ提供される。ＣＲＳ思考部１４側にはＣＲＳ１００が常時駆動可能となるように効率的な節電、充電プログラム３８が準備されている。この充電プログラム３８は、使用者の指示が無くともＣＲＳ１００が最適な充電状態であるようにするとの観点から自律プログラム３３の一部或いはこれに連動させて起動させるようにしておくことが好ましい。なお、ＣＲＳ１００本体内に緊急対応用のバッテリを設けておくとさらに好ましい。
【０１３４】
また、ＣＲＳ認識部１２は外部状況センサ処理部２５を含む。ＣＣＤ及びマイクロホン等のセンサにより、車両内外の環境を認識するための処理部である。これらセンサにより検出された信号は、車両間距離、路面状態、危険物接近、信号等が接近した等の交通インフラに関する車外の情報や車内での運転者の居眠り情報等の認識情報である。この認識情報がＣＲＳ思考部１４へ提供されると、自律プログラム３３を始めとして、動作パターンプログラム３１、動作補正プログラム３２、対話プログラム３５、フェールセーフプログラム３６、学習プログラム３７、音声制御プログラム３９等が適宜実行される。例えばＣＲＳ１００が、音声で車両間距離が短いことを注意したり、居眠りしている運転者に音声で注意を喚起し、それでも起きない場合には腕１０４、１０６を駆動させて揺り起こす等の動作も実行する。
【０１３５】
また、ＣＲＳ認識部１２は、車両の各操作のスイッチ（ＳＷ）、操作レバー、ドアノブ、装備品、さらにシートベルトＳＷ等について認識する車両インターフェース位置形状・操作方法認識部２６を含んでいることが好ましい。車両インターフェース位置形状・操作方法認識部２６からの情報もＣＲＳ思考部１４へ提供され、前述した認識情報と同様にＣＲＳ１００の動作制御に供される。
【０１３６】
また、ＣＲＳ認識部１２は、車内の物品位置、その形状、音声による品名確認記憶、ＣＣＤ画像処理の情報等を認識し、記憶している物品検出記憶部２７を含むことが好ましい。ＣＲＳ１００が乗員の指示により物品の運搬を実行する際等に、この物品検出記憶部２７からの情報が用いられる。
【０１３７】
また、ＣＲＳ認識部１２は、乗員の位置、移動有無、乗員数、配置、シート荷重、音声、登録有無について認識する乗員状態認識部２８を含んでいることが好ましい。これらの情報もＣＲＳ思考部１４へ提供され、前述した認識情報と同様にＣＲＳ１００の動作制御に供される。
【０１３８】
さらに、ＣＲＳ認識部１２は、車両制御の各種システム、例えば車両挙動制御装置、ＡＢＳ、電子制御サスペンション装置からのヨーレイト、加速度Ｇ、減速度Ｇ、路面状態上下Ｇの検出信号、また車両監視システムを設けた場合の前後ＣＣＤからの信号や、ＡＴからのシフト位置、変速信号、変速特性や、エンジンのイグニッションのＯＮ／ＯＦＦ、操舵角、スロットル開度、さらにナビゲーション装置からのルート設定に関する情報等を取得する車両制御システム信号部２９を含むことが好ましい。これらの情報もＣＲＳ思考部１４へ提供され、前述したと同様にＣＲＳ１００の動作制御に供される。
【０１３９】
なお、前記ヨーレイト、加速度Ｇ、減速度Ｇ等を検出するセンサはＣＲＳ１００側に設けてもよいし、車両側に設けたものを用いてもよい。さらに、特に電源を駆動エネルギーのひとつとする車両については、この車両制御システム信号部２９でハイブリッド（ＨＶ）、燃料電池（ＦＣ）の機能状態に関する情報等を取得するように設定してもよい。
【０１４０】
さらに、ＣＲＳ認識部１２は車両の状態を診断するダイアグノーシス装置からの検出信号を取得するダイアグ信号部３０を含むことが好ましい。各機能部の温度、雑音、軌跡作動監視ＣＣＤ情報がＣＲＳ思考部１４へ提供されるとダイアグノーシスプログラム３６が実行され不良箇所の有無の確認を行い、例えばＣＲＳ１００が音声で不良箇所の指摘を行い、必要な場合は停車を促すようにすることもできる。さらに、ＣＲＳ１００が車両のナビゲーション画面にアクセスできるようにしておき、この画面上に警告を文字表示できるようにしてもよい。
【０１４１】
以下さらに、上記のような構成を有する第１実施例のＣＲＳ１００が実行する動作（サービス）をフローチャートに基づいて説明する。このフローチャートは、車両の発進前準備段階、走行中、停車等の一連の流れの中で、ＣＲＳ１００が自律制御を実行しながら取る基本的な動作について示す。
【０１４２】
これらのフロチャートは、前述したように各種センサ及び車両内の装置や各部信号からＣＲＳ認識部１２が認識した車両乗員情報に基づきＣＲＳ思考部１４がＣＲＳ１００の身体（本体）をなす頭部１０２、腕１１４，１１６等を機能させて実行する。
【０１４３】
なお、このフローチャートで示す例は、車両の使用が開始されてから常にＣＲＳ１００が自律制御状態である場合の例について示している。
【０１４４】
図４から図９はＣＲＳ１００が自律制御を行いながら種々の動作（サービス）を実行する際の基本的なフローチャートを示している。まず、図４のステップ１０１（以下、ステップを単にＳで示す場合がある）で動作開始信号が受信されることで、自律制御が開始される。動作開始信号としては、例えば、初めて車両のドアが開錠されたとき等のセンサ信号を用いる。このようにすれば、メーカから車両が納品されたときには、自律制御が実行されている状態となる。
【０１４５】
上記動作開始信号が受信されると（Ｓ１０１）、自律制御が開始される（Ｓ１０３）。このステップ１０３の自律制御では前述したように、自己保持モードと自発行動モードが実行されている。
【０１４６】
自己保持モードでは、ＣＲＳ１００は例えば次のような動作を取るように設定されている。ＣＲＳ１００が車両中央コンソールボックス上部に位置し待機状態であるとき、車両のギアの変更による変速ショックに依る突然の外乱や、加速度Ｇの変化による外乱に対して変速信号を事前に認識して、対Ｇ逆慣性の制動制御で対応する。この制動動作ではスライダ１０８やヘッド回動部１０９の電磁ブレーキ等を駆動させ、ＣＲＳ１００のヘッド回動部１０９や腕１１４，１１６を傾斜させる等の体勢を取る。同様に、車速、前後加速度Ｇ、旋回Ｇ（ヨーレイト）、上下加速度Ｇ等を検出することで車両挙動による外乱に対して、体勢制御を実行する。さらに、ＣＲＳ１００に備えた目１１２（以下、ＣＣＤ１１２）による路面検出や、電子制御サスペンション装置からの走行安定信号に基づき体勢制御を実行するように設定することも可能である。この自己保持モードはＣＲＳ１００の体勢に影響を与えるような車両挙動（外乱）に対して実行される制御である。車両挙動は多様であるので、自己保持モードが実行される状況は種々存在する。自己保持モードの制御が実行される具体的な状況は後に示すフローチャートでより明らかとなる。
【０１４７】
また、自発行動モードは乗員の指示を受けることなくＣＲＳ１００が自発的に行う行動である。例えば運転者のわき見等がＣＣＤ１１２で認識されると、音声等の警告を発する。また、乗員が座席を移動することを検出すると、移動することが危険であると判断した場合には警告を発する等である。
【０１４８】
上記自己保持モードと自発行動モードとは、ＣＲＳ思考部１４が実行する基本的な制御である。その制御内容は上記に掲げた例に限るものではない。ＣＲＳ１００が車両挙動による外乱を受けたときに自己の体勢を安定保持するために実行されるのが自己保持モードであり、車両に関して使用者の指示を待つまでもなく実行することが好ましい動作（サービス）を行うのが自発行動モードである。以下順に説明するステップ１０５以降においても、これら自己保持モードと自発行動モードが機能状態にあり、ＣＲＳ思考部１４内に設定した自律プログラム３２より逐次実行される。
【０１４９】
なお、自己保持モードと自発行動モードは背反するものではない。自己保持モードと自発行動モードとが共に実行される場合や、いずれか一方が実行される場合もある。
【０１５０】
上記のように自律制御が開始されＣＲＳ１００側の準備が完了した状態で、車両の実際の使用に際して、運転者の認識・確認が実行される（Ｓ１０５）。キーレスエントリ、ドアの開閉信号等により、このＣＲＳ１００の動作が準備に入り運転者の認識が行われる。このステップ１０５では、運転者本人か、登録者か、その他の者が認識される。初めての運転者には登録を促す。なお、ＣＲＳ１００が自律制御を実行中であれば、車両への接近者をすべて認識するように設定しておいてもよい。
【０１５１】
次のステップ１０７では、過去の運転データを読込み運転者の運転技量、嗜好等を参照し、エンジン制御、ＡＴ変速制御定数等を設定する。このような準備を行っておくことで、車両走行時においてＣＲＳ１００が乗員に対して実行するサービスを円滑化できる。
【０１５２】
次に、乗員が１人のみか、複数かの判断がなされる（Ｓ１０９）。１人すなわち、運転者のみであればステップ１１１で初期定位置が確認される。複数である場合には、参照番号１で示すサブフロー（複数人処理フロー）での処理が実行され、この処理後は初期定位置が確認される（Ｓ１１１）。
【０１５３】
図５は上記複数人処理のフローチャートである。先ず、乗車定員が一杯か、否かの判断がなされ（Ｓ２０１）、一杯でなければステップ２０５に進む。ステップ２０５では、各乗員の車両外部の位置が確認され、どのドアから車両に乗り込んだかを認識する。このとき、ＣＲＳ１００は乗員の着座位置を判断或いは予想して空席に移動する。この複数人処理では、ＣＣＤ１１２を用いて乗員の認識を行っている。
【０１５４】
上記ステップ２０１で乗車定員が一杯であると判断されると、ステップ２０３でＣＲＳ１００が車内での居場所を乗員に音声等で伝える。乗員が希望する場合があるときには希望席近くに移動する。また、ステップ２０３で、ＣＲＳ１００が乗員全員に近くに居ることを拒否された場合には、所定の安全位置へ移動する。例えば、車両中央コンソールボックスの上部位置、或いは後方荷室位置等がＣＲＳ１００の安全位置として予め設定されている。
【０１５５】
上記ステップ２０３及びステップ２０５の処理が終了すると、乗員の確定と未登録者への登録を促す（Ｓ２０７）。これにより、複数人処理を終了して図４のメインフローに戻り、複数の乗員について初期所定位置の認識がされる（Ｓ１１１）。本実施例の場合、上記ステップ１１１までのフローは、ＣＲＳ１００が自発行動モードとして実行したものであり、ＣＲＳ思考部１４により制御されている。
【０１５６】
次のステップ１１３では運転者がイグニッショ（Ｉ／Ｇ）をＯＮするのを待ち、Ｉ／ＧがＯＮされないとき（Ｓ１１５）には、運転者が何をしているかを把握する。ＣＲＳ１００のＣＣＤ１１２により、運転者がＣＤ、ナビゲーション装置、エアコン等の操作をしている、或いは携帯電話を掛けている等が認識される。一方、Ｉ／ＧがＯＮされると、走行時の動作制御準備に入る（Ｓ１１７）。この準備では、車両が走る、曲る、止まるの各特性に応じた最適な自己保持モードで制御が実行されるように、ＣＲＳ１００の位置、体勢の準備や外乱認識のために使用するセンサや装置の状態等のチェック等が行われる。
【０１５７】
続くステップ１１９では、シフト操作によるシフト位置判別がなされ、前進レンジか、後進レンジかの判断がされる。前進レンジであると判断されると、次に「乗員の指示による動作なしか」の判断がされる（Ｓ１２１）。このステップ１２１では、乗員がＣＲＳ１００に対して何か指示（サービス要求）をしていないかの確認をする。この要求指示があった場合には、乗員の指示に応じた指示動作、例えばカップに入った飲料を後部座席から運転席に運搬する等の動作を行う（Ｓ１２５）。このステップ１２５では、自己保持モードの下で指示動作を実行している。すなわち、ＣＲＳ思考部１４は自己保持モードでＣＲＳ１００本体がＮ―Ｄシフトショックによる車両の揺れに対応できるように、前方発進により発生する加速度Ｇに対してアクセル開度に応じた逆慣性制御で備える制御を実行している。この逆慣性制御動作では、スライダ１０８やヘッド回動部１０９のブレーキ等を強めに駆動させると共に、ＣＲＳ１００のヘッド回動部１０９や腕１１４，１１６を傾斜させる等を行って、カップ内の飲料がこぼれないない様にしながら自己の体勢を取る。ステップ１２５の処理が終了するとステップ１２７の処理に入る。
【０１５８】
ステップ１２１で、乗員の指示による動作なしの場合には、このステップ１２３でＣＲＳ１００が前方監視のために車両中央前方に移動すると共に、ステップ１２５の場合と同様に自己保持モードでＮ―Ｄシフトショックによる車両の揺れに対応できるように、前方発進により発生する加速度Ｇに対してアクセル開度に応じた逆慣性制御で備える。なお、このステップ１２３で、ＣＲＳ１００が前方監視のために車両中央前方に移動する動作は自発行動モードに基づく。ＣＲＳ１００が特に指示がない場合でも運転者と共に前方を監視することで、車両の安全性が向上する。なお、ＣＲＳ１００は乗員からの指示に応じ、以後のフロー中であってもその指示を実行するようになっている。その際にも上記自己保持モードを実行しつつ乗員の要求に応じる動作を行うように設定されている。
【０１５９】
次に、ステップ１１９まで戻り後進レンジであると判断されると、参照番号で示す３のサブフロー（後進処理フロー）での処理へ進む。この後進処理フローでの処理が終了すると、図４のメインフローのステップ１２７での処理に入る。
【０１６０】
上記後進処理フローは図６に示されている。この後進処理フローでも前述した前進レンジの場合と同様に後進する車両に対する処理が実行される。「乗員の指示による動作なしか」の判断がされる（Ｓ２１１）。この指示があった場合には、乗員の指示に応じた指示動作を行う（Ｓ２１５）。ＣＲＳ思考部１４は自己保持モードでＣＲＳ１００本体がＮ−Ｒシフトショックによる車両の揺れに対応できるように、後方発進により発生する加減速Ｇに対してアクセル開度に応じた逆慣性制御を前方発進の場合と同様に実行する。このステップ２１５の処理が終了すると、図４で示すメインフローのステップ１２７へ戻る。
【０１６１】
ステップ２１１で、乗員の指示による動作なしとされた場合には、ＣＲＳ１００が後方監視のために車両後方に移動すると共に、ステップ２１５の場合と同様に自己保持モードでＮ−Ｒシフトショックによる車両の揺れに対応できるように、後方発進により発生する加減速Ｇに対してアクセル開度に応じた逆慣性制御で備える（Ｓ２１３）。なお、このステップ２１３で、ＣＲＳ１００が後方監視のために車両後方に移動する動作も自発行動モードに基づく。ＣＲＳ１００は指示がない場合にも運転者が確認し難い後方を監視することで、車両の安全確認を実行する。このステップ２１３の処理が終了すると、図４で示すメインフローのステップ１２７での処理に入る。
【０１６２】
図４のステップ１２７では、実際に発進した車両のアクセル開度が検出され、前進又は後進時に車両発進により発生する加速後Ｇに対応するように、ＣＲＳ１００が自己保持モードでの制御を実行する。続いて、図７に示す「乗員の指示による動作なしか」の判断がされる（Ｓ１２９）。前記ステップ１２１では発進前の乗員からの指示であるが、このステップ１２９では走行中において乗員がＣＲＳ１００に対して何か指示（サービス要求）をしていないかの判断をする。ステップ１２９で指示ありと判断されると、参照番号６のサブフロー（指示動作処理フロー）の処理に入る。ステップ１２９で指示ありと判断されるとメインフローのステップ１３１の処理に入る。
【０１６３】
上記指示動作処理フローは図９に示される。図９に例示されるように、この指示動作処理フローでは乗員により指示された動作内容が運搬動作か、或いは監視動作であるかをステップ２２１、２２３の順で判断し、それぞれのフローチャ−トに基づく処理が実行される。乗員により指示された動作処理が完了すると、再度、図７で示す指示確認の状態（Ｓ１２９）に戻り、メインフローによる処理が継続される。なお、図９で示した運搬動作及び監視動作について後述の実施例で詳細に示すこととし、ここでは省略する。なお、乗員がＣＲＳ１００に指示する動作は上記運搬、監視動作に限るものではない。
【０１６４】
図７に示すメインフローに戻り、ステップ１３１以後で実行される処理を引続き説明する。ステップ１３１では、ＣＲＳ１００の充電状態（ＳＯＣ）が所定値であるかのチェックが実行される。ここでの処理は前記自発行動モードによる。このようにＣＲＳ１００が充電状態をチェックすることで、運転者は適宜ＣＲＳ１００の充電状態をチェックすることも無く、ＣＲＳ１００のからのサービスを期待できる。よって、走行中において、指示した動作がＣＲＳ１００の充電不足であるために実行されないといった事態が回避される。
【０１６５】
ステップ１３１で充電不足が確認されると、ステップ１３５でＣＲＳ１００に予め設定した、充電手段を用いてＣＲＳ１００への充電が実行される。ここでＣＲＳ１００が用いることができる充電手段について説明すると、ＣＲＳ１００が車両に搭載されることから、例えば車両の振動エネルギを用いる変換発電や、エンジン熱、車内外の温度差等の熱エネルギを用いる変換発電や、ＦＣ（燃料電池）発電、ＨＶ（ハイブリッド）での回生制動を用いた発電等が好ましい。ＣＲＳ１００を駆動するためのバッテリはＣＲＳ１００の身体内に収納してもよいし、車両内の所定位置に配置しておきケーブルを介してＣＲＳ１００側へ電源を供給するようにしてもよい。ケーブルを介してＣＲＳ１００側へ電源を供給する構成を採用すると、充電を実行しながら（Ｓ１３５）、ＣＲＳ１００は乗員へのサービスを継続できるようなる。さらに、ＣＲＳ１００を駆動するために太陽電池を用いてもよい。太陽電池は車両天井の上面に配置すればよい。なお、ＣＲＳ１００は本体内に緊急時用の予備バッテリを備えている。
【０１６６】
ステップ１３１でＳＯＣが設定値以上である場合、ステップ１３５の処理が終了した場合はステップ１３３に進み、車両が停止状態であるか、否かの判断がされている。車両は停止状態ではなく、走行中であると判断されるとステップ１２９に戻り、同様の処理が繰返される。一方、ステップ１３３で車両は停止状態であると判断されると、ＩＧがＯＦＦ状態であるか、否かの判断が実行される（Ｓ１３７）。このステップ１３７でＯＦＦ状態ではない、すなわちＩＧがＯＮ状態であると、判断されるとステップ１３９で再発進に備え、図４に示したステップ１１７に戻って処理を継続する。一方、ステップ１３７でＩＧがＯＦＦ状態であると判断されると、車内に乗員がいるか、否かの判断がされる（Ｓ１４１）。このステップ１４１で乗員はいないとの判断がされると、図４に示したステップ１０５に戻る。一方、ステップ１４１で、乗員はいるとの判断がされると、自律制御で待ち（Ｓ１４３）、乗員が車外へ出る動作をしているかを判断する（Ｓ１４５）。このステップ１４５で、乗員が車外へ出る動作をしているとの判断をすると、ステップ１４７で予め設定した挨拶内容を音声で「…へ行きますね？気を付けて」等を口（スピーカ）１１３から発する。
【０１６７】
上記ステップ１４５で、乗員が車外へ出る動作をしていない場合、及びステップ１４７の処理を終了した場合は、図８に示すステップ１４９で乗員からさらに何か指示があるかを確認し、指示が無い場合には図７の前記ステップ１４１に戻り、処理を繰返す。一方、乗員から指示があった場合には、その指示に応じた指示動作を行い（Ｓ１５１）、運転者が車外に出たか、否かの判断を行う（Ｓ１５３）。
【０１６８】
ステップ１５３で運転者が車外に出ていないと判断された場合には図７の前記ステップ１４１に戻り、処理を繰返す。ステップ１５３で運転者が車外に出たと判断された場合には、ステップ１１５で例えば「気を付けて」、「また明日」、「おやすみなさい」等の挨拶をＣＲＳ１００が行い、これと共に運転者に対し降車時の確認項目を列挙して確認を促す。さらに、ＣＲＳ１００は運転者が車両に持ち込んだ物品や窓の閉め忘れがないか等の確認を促す。このとき合わせて、ＣＲＳ１００は車外を監視して安全を確認する。この動作は自発行動モードに基づくものである。最後に、ＣＲＳ１００は所定位置に戻り待機する（Ｓ１５７）。この状態でもＣＲＳ１００は自律制御を実行しており、例えば夜間では盗難防止のため監視を継続する。このステップ１５７の状態は、先に図４で説明したステップ１０５で説明した自律制御が実行され、運転者がドアを開けるのを待つ状態と同様である。すなわち、本基本フローに基づく処理は終了し、次に運転者が車両のドアを開錠することにより、前述した処理が同様に実行される。
【０１６９】
前述した第１実施例では、車両の使用開始と共に、ＣＲＳ１００の自律制御が当初から立ち上げられ、常に実行されている例を示したが、これに限らず、運転者が車両を使用開始する毎に、ＣＲＳ１００が自律制御を実行するか、否かの確認を行い。運転者の自律制御の実行指示に基づいて前述したと同様の自律制御を実行するようにしてもよい。このように構成した場合には、車両に運転者が乗り込んだときの確認、乗員乗員確認等、図４に示した処理はＣＲＳ思考部１４に初期実行プログラムとして別途設定して、自動的に実行されるようにしてもよい。なお、自律制御の実行指示を待つ状態のＣＲＳ１００は、ＣＲＳ１００本体を保護するために電磁ブレーキ等を機能させて、原則としてメカロック状態とする。ただし、乗員の保護の観点から、目１１２、耳１１４による周辺認識は実行状態にしておき、車両衝突時等の緊急事態には警告を発する等を行うように設定しておくことが好ましい。
【０１７０】
次に本発明の第２実施例についてい説明する。本第２実施例は前記第１実施例で説明を省略した乗員からの指示により、ＣＲＳが車両走行中に物品を運搬する際の制御動作について示す。なお、ＣＲＳの基本構成は第１実施例のＣＲＳ１００と同様であるので重複した説明は省略し、本第２実施理でも前記第１実施例と同一符号を用いて説明を行う。後述する第３実施例以下の実施例についても同様とする。
【０１７１】
図１０から図１４は、第２実施例の運搬動作のフローチャートである。ＣＲＳ１００は、車両が停止しているか、走行中であるかを問わず、乗員の指示に応じて車内の物品を運搬するサービスを実行する。第１実施例の図４で示した基本フローにおいては、ＣＲＳ１００が停車中の車内において乗員の指示に応じて車内の物品を運搬するサービスを実行し、車両発進のときには発進時の加速度Ｇ等を考慮した自己保持モードを実行しつつ、物品を運搬することについて説明している。本第２実施例で示す図１０から図１４のフローチャートは、車両内で最も多くなると推定される運搬の実行形態として、車両走行中においてＣＲＳ１００が実行する運搬動作処理を示している。
【０１７２】
図１０で、物品の運搬動作制御フローによる処理は乗員の指示に基づき実行され、所定の動作準備（Ｓ３０１）がされてから、登録者であるか、否かが確認される（Ｓ３０３）。登録者でなければ、ＣＲＳ１００は物品運搬の指示を出した乗員と音声認識による対話等を行い、その物品（以下、対象物品とする）とその位置を確認する（Ｓ３０７）。さらに、その対象物品を登録する処理を終了して、ＣＣＤによる検索を行う（Ｓ３０９）。
【０１７３】
なお、上記のように新たな物品に関して登録しておくことで、次回同様な指示が出たときにＣＲＳ１００は迅速に対応できる。この登録データは車内の物品位置リスト、物品形状等について詳細に記録しておくことが好ましい。この登録データはＣＲＳ思考部１４が用いる乗員データ４０に含めてもよい。
【０１７４】
一方、ステップ３０３で登録者であるとされると、ステップ３０５で登録データを検索して登録物の中から登録者が要求している物品を予測する。音声認識による対話等により対象物品とその位置を確認してから、ステップ３０９でＣＲＳ１００の目であるＣＣＤ１１２を用いた検索動作を開始する。なお、ステップ３０５で示すような処理を行うと、前述したように登録者については迅速なサービスが実行される。
【０１７５】
上記ステップ３０９では、ＣＣＤ１１２により車内の検索を行い、対象物品の位置を確認し、運搬経路を決定する。先ず、対象物品の位置を確認が済むと、指示者に音声で位置を告げ対象物品の確認を取る。次に、いつ、どこへ運搬するのかについて確認を取る。そして、シートのヘッドレスト形状、乗員の位置等を確認して凡その運搬経路を決定する。
【０１７６】
そして、ステップ３１１でＣＲＳ１００は対象物品に向けた移動行動を開始する。ＣＲＳ１００はシートのヘッドレスト形状、乗員の位置をリアルタイムに確認し、車両天井部に設けたレール２に沿って移動する。その際、運転者の視界を妨げないように移動する。なお。このＣＲＳ１００の移動・動作制御は、先に図２に基づいて説明したように、ＣＲＳ思考部１４が制御している。
【０１７７】
さて、このようにＣＲＳ１００が対象物品の位置へ向け移動状態であるとき、さらに対象物品を捕獲した以後の運搬のときにも、車両は走行中であり、車両挙動がＣＲＳ１００に対して外乱となる。この外乱に対しては、前述したようにＣＲＳ思考部１４が自己保持モードの制御を実行してＣＲＳ１００本体の体勢を保持しながら対象物品を指示者に運搬する。ＣＲＳ１００が、この自己保持モードに基づいて実際に行う制御動作は複数あるが、ステップ３１３以下の詳細な説明に伴い明らかにする。また、ＣＲＳ１００の認識部１２を構成しいるセンサ或いは各種装置についても複数の例が明らかとなる。
【０１７８】
再び、図１０において、ＣＲＳ１００が対象物品の位置へ向け移動状態のとき、ステップ３１３では車両の走行による外乱なしか、定常走行中か、が判断される。このステップ３１３で走行外乱なし及び定常走行中であると判断されると、ＣＲＳ１００の動作に影響を与える外乱がないので、ＣＲＳ１００は自己保持モードの制御を実行するとなく移動を継続する。よって、ＣＲＳ１００が対象物品のある所定位置まで移動して、指示者に音声による確認後、物品を腕１０４、１０６のハンド１０４ＨＡ、１０６ＨＡで捕獲して、運搬を開始する（Ｓ３１５）。
【０１７９】
一方、上記ステップ３１３で、走行外乱あり或いは定常走行中でないと判断されると、さらにステップ３１７で走行レンジのシフト操作ありか、否かが判断される。ステップ３１７で走行レンジのシフト操作ありとの判断がされると、ステップ３１９の処理に入る。ステップ３１９では、走行レンジシフト操作時のＣＲＳ１００の制動制御が自己保持モードに基づき実行される。ＣＲＳ１００はシフト信号を検出し、シフトショックによる車両揺れに対して所定制動力を持って備える。ここでの制動は先に説明した逆慣性制御と同様であり、スライダ１０８の制動を高める等により実行される。
なお、乗員の保護及びＣＲＳ１００保護の観点から、外乱に対して所定の閾値をＣＲＳ思考部１４に設定しておくことが好ましい。この閾値以上の外乱があるときには、ＣＲＳ１００はシフト操作終了まで停止する制御を実行する。ステップ３１９による制御が終了すると、前記ステップ３１５の処理に入り、対象物品を捕獲して運搬する動作を開始する。
【０１８０】
前記ステップ３１７で、走行レンジのシフト操作なしとの判断がされると、参照番号１２で示すサブフロー（シフトなし走行フロー）での処理に入る。このシフトなし走行フローの処理は図１１に示される。
【０１８１】
図１１のシフトなし走行フローの処理では、先ずステップ３３１で車両が加速中であるか、否かが判断される。ステップ３３１で加速中であると判断されるとステップ３３３の制御が実行される。ステップ３３３では車両からのアクセル開度信号に応じた加速度Ｇを予測して、移動中のＣＲＳ１００の制動力を適性に補正する。次のステップ３３５でＣＲＳ１００の移動方向と車両の加速方向とが一致しているか、否かが判断される。ＣＲＳ１００の移動方向と車両の加速方向とが一致していると判断されると、自己保持モードに基づく駆動力アップ制御が実行され（Ｓ３３７）、ＣＲＳ１００が加速度Ｇに負けて後退しないように制動力アップの制御がなされる。このステップ３３７での制御が実行されると、図１０に示した運搬動作のメインフローの前記ステップ３１５での処理に入り、対象物品を捕獲して運搬する動作を開始する。
【０１８２】
また、ステップ３３５でＣＲＳ１００の移動方向と車両の加速方向とが一致していない判断されると、ＣＲＳ１００が急速に移動しないように制御する（Ｓ３３９）。例えば、ＣＲＳ１００が車両後方に移動中であるとき、後席に向け加速されないように制動制御を実行する。このステップ３３９での制御が実行されると、図１０に示した運搬動作のメインフローの前記ステップ３１５での処理に入り、対象物品を捕獲して運搬する動作を開始する。
【０１８３】
さらに、図１１の前記ステップ３３１で、車両が加速中ではないとの判断がされると、参照番号２０で示す第２のサブフロー（加速なしフロー）の処理に入る。この加速なしフローは図１２に示される。
【０１８４】
図１２の加速なしフローでは、まずステップ３４１で車両がコーナリング（旋回）状態にあるか、否かが判断される。車両がコーナリング（旋回）状態にあると判断されると、車速とステアリングの操舵角、操舵速度などの運転者の操作をリアルタイムで演算して旋回Ｇ（ヨーレイト）を予測する（Ｓ３４３）。本ＣＲＳ１００が搭載された車両が、車両挙動制御システムを採用している場合には、目標ヨーレイト信号を入手して用いてもよい。そして、ＣＲＳ１００は車両の移動方向に対応して制動か、駆動かを判断して制御を実行する。また、低摩擦（μ）路等では車両挙動制御によって生じる車両挙動に協調したヨーレイト特性で移動補正の制御を実行する。このステップ３４３での制御が実行されると、図１０に示した運搬動作のメインフローの前記ステップ３１５での処理に入り、対象物品を捕獲して運搬する動作を開始する。
【０１８５】
前記ステップ３４１で車両がコーナリング状態ではないと判断されると、車両が制動中であるか、否かの判断がされる（Ｓ３４５）。このステップ３４５で制動中ではないとの判断がされると、ＣＲＳ１００の移動について特に制御の必要がないので、図１０に示した運搬動作のメインフローの前記ステップ３１５での処理に入り、対象物品を捕獲して運搬する動作を開始する。
【０１８６】
一方、ステップ３４５で制動中であると判断されると、エンジンブレーキとサービスブレーキどちらの制動であるかが確認される（Ｓ３４７）。そして、エンジンブレーキであればステップ３４９で、サービスブレーキであればステップ３５１での制御が実行される。
【０１８７】
ステップ３４９では、ＣＲＳ１００は車両のパワオフ（ＯＦＦ）時でのエンジンブレーキによるシフトダウンでの所定ギヤ段の減速度Ｇを推定し、制動側又は駆動側への移動補正の制御を行う。移動方向に対応して、制動か又は駆動かを判断して制御する。ただし、所定以上のピークＧが検出されたときには停止制御とする。このステップ３４９での制御が実行されると、図１０に示した運搬動作のメインフローの前記ステップ３１５での処理に入り、対象物品を捕獲して運搬する動作を開始する。
【０１８８】
一方、ステップ３５１では、ブレーキ制動力信号から減速度Ｇを検出し、移動方向に対応して制動か又は駆動かを判断して制御する。ブレーキのＯＮ−ＯＦＦが所定頻度、時間間隔で繰り返され補正制御が不可能であるときには、移動を中断して、繰り返しによる揺れを回避する。ステップ３５１の処理が終了すると、ステップ３５３の処理に入る。
【０１８９】
次のステップ３５３では、サービスブレーキにより車両が低速となっているときにパーキング（Ｐ）側へのレンジ切換の有無があったか、否かの判断がされる。車両が完全に停止する前にパーキング側へのレンジ切換があるとラチェットショックが大きくＣＲＳ１００への外乱となる。よって、ＣＲＳ１００がこれを予測して体勢を整えるためにステップ３５３が設けられている。なお、この処理を図１２のフローチャート上では低速Ｐシフトの有無と記載している。低速Ｐシフトへの切換え無しと判断されるとこれ以上の制御は行わず、ステップ３５１の制御を実行した状態で、参照符号１１で示すように図１０のステップ３１５での処理に入り、対象物品を捕獲して運搬する動作を開始する。なお、図１２では省略するが坂路等においては完全に車両が停止した後に、Ｐシフトへ切換えても傾斜の為に、上記と同様の外乱が発生することがある。よって、坂路での停止を考慮し、上記ステップ３１５による処理に入る前に、ラチェットショックに備えるステップ３５３と同内容の処理を付加しておいてもよい。
【０１９０】
ここで、低速Ｐシフト有りと判断されると（Ｓ３５３）、ラチェットショックを伴った停止と判断され、ＣＲＳ１００はステップ３５５でＰシフト時にＰ位置を検出し停止制御を実行する。ステップ３５３の処理が終了すると、図１０に示した運搬動作のメインフローの前記ステップ３１５での処理に入り、対象物品を捕獲して運搬する動作を開始する。
【０１９１】
再度、メインフローを示す図１０を参照すると、ステップ３１５において対象物品が捕獲され、運搬が開始される処理に続いて、次に物品運搬中フローによる処理が続く。
【０１９２】
この物品運搬中フローは図１３に示される。図１３ではＣＲＳ１００が対象物品を保持しながら移動して指示者まで運搬する移動・動作について示す。上記図１２までに示したＣＲＳ１００が対象物品の位置まで移動する際に実行した制御と同様、外乱に対する種々の制御実行される。ただし、図１３で示すフローは、ＣＲＳ１００が対象物品、例えばカップに入った飲料等を保持し運搬している点で異なっている。
【０１９３】
すなわち、図１３及び図１４に示す物品運搬フローでは、運搬対象物品の質量をＣＲＳ１００が予め認識し、前後左右、上下のＧによる物品の重量増加を考慮して、ＣＲＳ１００の腕１０４、１０６及びハンド１０４ＨＡ、１０６ＨＡにより、対象物品への保持力を向上させる制御を実行する。特にジュース等の流動性の物品を運搬するときには中味がこぼれないように容器を傾斜させ、また、手のひらで飴などを運ぶときには手のひらを傾斜させ、さらに雑誌等の柔軟性あるものを運搬するときには車両挙動に応じて、車内の乗員やシートに接触することが無いような制御がされる。
【０１９４】
なお、全体としての運搬動作フローを見ると、先ずＣＲＳ１００は対象物品の位置まで到達し、次にＣＲＳ１００は対象物品を捕獲し、指示者まで対象物品を運搬するという行動を実行している。この物品運搬フローに関しては、対象物品を捕獲して保持する点を主に説明を加える。但し、ＣＲＳ１００の物品運搬に関しては、先に説明した対象物品の位置への制御が同様に実行されている。
【０１９５】
図１３のステップ３６１で、車両の走行による外乱なしか、及び定常走行中か、否かが判断される。ステップ３６１で走行外乱なし及び定常走行中であると判断されると、ＣＲＳ１００の運搬動作に影響を与える外乱がないことになるので、特に制御を実行することなく運搬動作を行うことができる。よって、ＣＲＳ１００は対象物品を指示者の位置（所定位置）まで運搬し、物品を捕獲していた腕１０４、１０６のハンド１０４ＨＡ、１０６ＨＡを緩めて物品を指示者に渡して運搬動作を完了し（Ｓ３６３）、このフローチャートによる処理を終了する。
【０１９６】
一方、ステップ３６１で走行外乱あり或いは定常走行中でないと判断されるとステップ３６５で走行レンジのシフト操作ありか、否かが判断される。ステップ３６５で走行レンジのシフト操作ありと認識されると、ステップ３６７の制御が実行される。ステップ３６７では、走行レンジシフト操作時のＣＲＳ１００の制動制御が自己保持モードに基づき実行される。ＣＲＳ１００はシフト信号を検出し、シフトショックによる車両揺れに対して所定制動力を持って備える。ここでの制動は、先に説明した逆慣性制御と同様であり、スライダ１０８の制動を高める等により実行される。また、ＣＲＳ１００は所定以上の外乱量であるときには、シフト操作終了まで停止する場合もある。本ステップ３６７では、ＣＲＳ１００が対象物品をハンド１０４ＨＡ、１０６ＨＡで捕獲している点が前述した対象物品位置へのＣＲＳ１００の移動とは異なる。ＣＲＳ１００は計量部を備えているので、運搬物の質量を予め検出しており、この質量に基づいてシフト時についての記憶データから車体の揺れ等により生じる物品の重量増加を考慮し、ハンド１０４ＨＡ、１０６ＨＡの保持力をアップする制御を実行する。ステップ３６７での制御をが実行された後は、前記ステップ３６３による処理に入り、対象物品を指示者の位置まで運搬し、物品を捕獲していた腕１０４、１０６のハンド１０４ＨＡ、１０６ＨＡを緩めて物品を指示者に渡して運搬動作を完了する。
【０１９７】
一方、前記ステップ３６５で走行レンジのシフト操作なし、との判断がされると、さらに加速中であるか、否かが判断される（Ｓ３６９）。ステップ３６９で加速中であると判断されると、ステップ３７１でアクセル開度信号に応じた加速度Ｇを予測して、移動中のＣＲＳ１００の制動力を適性に補正する。続くステップ３７３では、ＣＲＳ１００の移動方向と車両の加速方向との一致を考慮しつつ、加速中の駆動変化による加速度Ｇ変化、変速ショックに伴う加速度Ｇ変化等を各走行状態についてデータに基づいて対応し、対象物品を落下させないようにハンド１０４ＨＡ、１０６ＨＡの保持力を制御する。このステップ３７３での制御が実行された後は、前記ステップ３６３の処理に入り、指示者に対象物品を渡して運搬動作を完了する。
【０１９８】
前記ステップ３６９で、加速中ではないとの判断がされると、車両がコーナリング状態にあるか、否かが判断される（Ｓ３７５）。ここで、車両がコーナリング状態にあると判断されるとステップ３７７による制御が実行される。ステップ３７７では車速とステアリングの操舵角をリアルタイムで演算して旋回Ｇ（ヨーレイト）を予測する。車両が車両挙動制御システムを採用している場合には、目標ヨーレイト信号を入手して用いてもよい。そして、腕１０４，１０６の動作に対応して制御する。対象物品の質量から予測した加速度Ｇによる本体への負荷を予測し保持力がアップするように制御を実行する。
【０１９９】
続くステップ３７９では、所定値以下の旋回Ｇであるかの確認がされる。所定値を超えるとステップ３８１での制御が実行され、所定値以下であればステップ３８３の制御が実行される。
【０２００】
ステップ３８１では、旋回Ｇが許容限度を超え、対象物品の運搬を行うことが困難、或いは危険となる場合の制御である。ＣＲＳ１００は、一時的に移動、運搬の動作を停止する制御に入る。まず、ジュースなど流動物を運搬している場合には容器を旋回Ｇに対抗するように傾け、こぼれないよう傾斜制御を実行する。さらに大きな旋回Ｇの場合には、ＣＲＳ１００は近くのフロアに退避する等の行動を取る。
【０２０１】
なお、ＣＲＳ１００が車両挙動制御システムや電子制御スロットルへ電気的な指示入力が可能な状態に設定されいる場合、安全が確認できるときには、これらにアクセスし旋回Ｇ自体を弱める制御を行ってもよい。
【０２０２】
他方のステップ３８３は、旋回Ｇが所定値以下であるときの対象物品の運搬制御である。ＣＲＳ１００はジュース等の流動性物の場合、容器を旋回Ｇに応じて腕１０４，１０６及びハンド１０４ＨＡ，１０６ＨＡを傾け、運搬中にこぼれないようにする。例えば、車両が右旋回するときに車両内で左方向に飲料入りカップを運搬中であるときには、旋回Ｇに対抗するように飲料入りカップを手前（右方向）に傾けて運搬する。また、雑誌など柔軟性のあるものの場合は、左方に反り曲るようになるので、シートや乗員に接触しないように、リアルタイムで周囲の状態を認識して運搬ルートを修正しつつ旋回Ｇに対抗する制御も実行する。さらに、飴等をハンド１０４ＨＡ、１０６ＨＡ上に乗せて運搬するときには旋回Ｇに対抗するようにハンド１０４ＨＡ、１０６ＨＡを傾斜させる。
【０２０３】
上記ステップ３８１、ステップ３８３の処理が終了すると、前記ステップ３６３による処理に入り、対象物品を指示者の位置まで運搬して、運搬動作を完了する。
【０２０４】
また、前記ステップ３７５で車両がコーナリング状態ではない、と判断されると参照番号１３で示すサブフロー（直進フロー）の処理に入る。この直進フローは図１４に示される。
【０２０５】
図１４のステップ３８５では、制動中であるか、否かの判断がされる。ステップ３８５で制動中ではないとの判断がされると、図１３の前記ステップ３６３の処理に入り、対象物品を指示者の位置まで運搬し、指示者に渡して運搬動作を完了する。一方、ステップ３８５で制動中であると判断されるとステップ３８７へ進み、エンジンブレーキとサービスブレーキどちらの制動であるかが、確認される。エンジンブレーキであればステップ３８９での制御が実行され、サービスブレーキであればステップ３９１での制御が実行される。
【０２０６】
ステップ３８９では、パワーオフ（ＯＦＦ）時のエンジンブレーキでシフトダウンの所定ギヤ段に応じた減速度Ｇを推定し、制動側又は駆動側への移動補正の制御を行う。このエンジンブレーキはギア比による減速であり、シフトダウン時のギヤ段に応じ減速度Ｇを予測する。特に、ＣＲＳ１００はＬＯＷレンジへのシフト時にシフト信号を検出すると、流動性物品の運搬時にはフロア−付近に退避する等の制御を実行する。
【０２０７】
さらに、ＣＲＳ１００が車両側のトランスミッションを電気的操作できるように設定されている場合には、前車との安全が確保されていることが確認したときに、ＬＯＷギア比から一度に変速比を変更するのではなく、ＨＩＧＨギア比を一定時間維持する様にして段階的に変速比を変更し、ピークＧを低減する制御を実行するようにしてもよい。また、ＣＶＴを搭載した車両に好適に適用可能であり、変速速度を遅らせてピークＧを低減する制御を行ってもよい。
【０２０８】
ただし、所定以上のピークＧが検出されたときには停止制御とする。このステップ３８９での制御が実行されると、図１３の前記ステップ３６３の処理に入り、対象物品を指示者の位置まで運搬し、指示者に渡して運搬動作を完了する。
【０２０９】
一方、ステップ３９１では、車両への制動操作の信号或いは制動力から減速度Ｇを検出或いは予測し、Ｇ方向に対して対象物品の運搬が可能か否かを判断する。図１４のステップ３９１ではブレーキ制動力信号から減速度Ｇを検出する例について示す。ＣＲＳ１００は、運搬している対象物品を指示内容とＣＣＤから認識してジュース等の流動物の場合には減速度Ｇの応じて傾斜させる。ブレーキＯＮ−ＯＦＦが所定頻度、時間間隔で繰り返され補正制御が不可能であるときには、減速度Ｇの変化に応じて傾斜−水平の制御を実行する。所定頻度以上又は長時間収束しないときには、運転者にブレーキのＯＮ−ＯＦＦ操作を緩めるか、スムーズな操作とするように音声で警告してもよい。また、急制動など所定以上の減速度Ｇを検出したときには、ＣＲＳ１００は運搬動作を中断して、フロアマット上等に退避して、対象物品の落下防止行動を取る。さらに、車内が満員であり、客室側に退避空間が無いときには後部荷室に緊急退避をするように予め、ＣＲＳ１００を設定しておいてもよい。
【０２１０】
なお、ＣＲＳ１００が車両のブレーキシステムに電気的に接続され、制動指示が出せるような構成を採用してもよく、前方の安全を確かめられる場合にはピークＧの低減のために予めＡＢＳ作動の閾値を変更して滑らかな停止となるような制御を実行してもよい。
【０２１１】
次のステップ３９３は前述したステップ３５３と同様な低速Ｐシフトの有無の判断の処理である。低速Ｐシフト無しと判断されると外乱がないので、これ以上の制御は行わず、前記ステップ３６３に進み、対象物品を指示者の位置まで運搬して物品を指示者に渡して運搬動作を完了する。一方、低速Ｐシフト有りと判断されると、ステップ３９５でＰシフト時にＰ位置を検出し、保持力アップの制御を実行してから、図１３の前記ステップ３６３の処理に入り、対象物品を指示者の位置まで運搬し、指示者に渡して運搬動作を完了し、本フローチャートによる処理を終了する。なお、本実施例で、例えば旋回時の横Ｇ、悪路等での上下Ｇには、道路情報等からこれらのＧを予測して、外乱に対応するように構成してもよい。
【０２１２】
次に本発明の第３実施例についてい説明する。本第３実施理は、車両走行中において乗員からの指示でＣＲＳが実行する監視動作について示す。図１５から図１７は、第３実施例の監視動作制御のフローチャートである。
【０２１３】
図１５で、乗員からの指示によりＣＲＳ１００の監視動作が実行される。指示された監視制御内容に応じて、メインフローとサブフローでの処理を実行する。ここでは、メインフローでチャイルドシートが必要な子供等、世話を必要とする乗員の監視について示し、サブフローで車両前方監視及び車内の落下物監視について示す。図１６は参照番号１６の（前方監視フロー）を、図１７は参照番号１７の（落下物監視フロー）をそれぞれ示している。
【０２１４】
図１５において、指示者（例えば母親等）が子供の監視を指示していることをＣＲＳ１００が音声対話等により確認すると（Ｓ４０１）、子供の監視処理に入る（Ｓ４０３）。
【０２１５】
ステップ４０３では、ＣＲＳ１００が指示された子供の位置をＣＣＤ１１２で確認する。さらに、ＣＲＳ１００は乗員データから登録者であるかを確認し、その子供の母親等についてのデータも参照する。次のステップ４０５では、シートベルト装着のスイッチ（ＳＷ）がＯＦＦか、否かが確認される。シートベルトが装着されているときには、子供から何か動作要求があるかを確認する（Ｓ４１３）。
【０２１６】
ステップ４０５でシートベルトが装着されていないと判断されると、ＣＲＳ１００はその子供のシート位置まで移動して、母親の声などでシートベルトの装着を促す。子供に拒否された場合はＣＲＳ１００が腕１１４、１１６及びハンド１０４ＨＡ、１０６ＨＡを動かして、子供にシートベルトを強制的に装着する。又は、ＣＲＳ１００は車両の停止或いは他の乗員による子供へのシートベルト装着を音声により警告する。ここで、ＣＲＳ１００がどのような動作を実行するかは、ＣＲＳ思考部１４に予め設定した動作パターンプログラム３１による。
【０２１７】
次のステップ４０９では、子供が所定の座席を離れたか、否かについて確認される。席を離れていないと判断すると、子供から何か動作要求があるか確認する（Ｓ４１３）。
【０２１８】
ステップ４０９で子供が席を離れたと判断すると、ＣＲＳ１００は子供に位置を確認してから、例えば母親の音声により着席を促す（Ｓ４１１）。子供が音声による注意で席に戻らない場合には、ＣＲＳ１００が腕１１４，１１６を駆動させて子供を座席へ誘導する。その際、車両が加速、旋回、制動等で子供が横転する可能性がある場合等には、ＣＲＳ１００は子供の衣服をハンド１０４ＨＡ、１０６ＨＡで掴み保持しつつ子供を着席させる。このときには、前記自己保持モードの制御が実行されている。
【０２１９】
さらに、子供から何か動作要求があるかを確認する（Ｓ４１３）。このステップ４１３で特に動作要求がなければ、ＣＲＳ１００はステップ４０３に戻り同様の監視動作を繰返す。
【０２２０】
ステップ４１３で、動作要求があると判断されると、ＣＲＳ１００はこれに応じるように動作する（Ｓ４１５）。このステップ４１５では、子供の行動を詳細に観察する。チャイルドシートに着席させられている子供は、何かしようとするときには、チャイルドシートを外そうとする。そこで、子供が何かするための移動なら、チャイルドシートを外そうとしている時点で、ＣＲＳ１００は移動理由を音声で問い合わせる。また、ＣＲＳ１００は駐車中又は停車中で、親の了解があるときにはシートベルトを外す動作を実行する、或いはおもちゃ等が取りたい等であればその玩具の位置を確認して運搬動作を実行する。物品の運搬動作は先に詳述した通りである。
さらに、ＣＲＳ１００への何か娯楽（アミューズメント）要求があればアイテムを実行する。このステップ４１５での処理が終了した後は、ステップ４０１或いは４０３に戻り同様の監視動作を繰返すようにしても良いし、ステップ４１５による処理が完了すると本フローチャ−トによる処理を終了するようにしてもよい。なお、ＣＲＳ１００が実行するアミューズメント動作については後に詳細するさらに、本第３実施例で示す監視動作には車両前方の監視動作が含まれている。以下ＣＲＳ１００が実行する前方監視動作の一例を説明する。ＣＲＳ１００は車両内を移動可能である。このように車内を移動可能なＣＲＳ１００が監視を行うことで、運転者の死角について監視できる。さらに、ＣＲＳ１００が車両に搭載されているナビゲーション装置からの情報を用いることで、運転者から指示がなくとも適切な監視を実行することもできる。
【０２２１】
図１６は前方監視フローを示している。図１５において指示者が前方の監視を指示していることをＣＲＳ１００が音声対話等により確認すると（Ｓ４０１）、図１６の前方監視フローを実行するための所定の準備に入る（Ｓ４３１）。この準備では、前方監視を実行するために必要なセンサ等の状態が正常に機能しているか等のチェックが含まれる。続くステップ４３３で、ＣＲＳ１００は運転者の視線を検出し、同時に前方の視界を邪魔しない位置に移動してから障害物の有無を監視する。ＣＲＳ１００はＣＣＤ１１２を用いて前方の画像を認識するほか、ナビゲーションシステム等を用いてインフラからの障害物、対向車等の情報も用いた適切な監視を実行する。ＣＲＳ１００は運転者の視線に合わせて移動し、運転者の死角となる方向の情報を音声で知らせたり、インパネに設置されているＣＲＴ等に映像化して知らせる等のサービスを実行する。
【０２２２】
さらに、ＣＲＳ１００は運転者が所定時間前方を見ていないと、判断すると（Ｓ４３５）、スピーカ１１３から音声で警告したり、腕１１４，１１６を作動させ運転者の体にさわって覚醒を促す（Ｓ４３７）。さらに、ＣＲＳ１００はナビゲーション装置等からの情報を用いて、交叉点、横断歩道等の危険領域が迫っている場合の警告や、前車が迫って車間距離が所定値以下となったときに障害物があることを警告し、その方向を指し示す等の行動を取る（Ｓ４４１）。
【０２２３】
さらに、運転者の動作では危険回避が不可能であるとＣＲＳ１００が判断したときには、ＣＲＳ１００が車両の操作或いは操作の補助を行うようにしてもよい。この場合に、例えばフローチャートに示すようにＣＲＳ１００がブレーキ、ハンドル等に腕１１４，１１６を延ばして車両操作を代行してもよい（Ｓ４４３）。
【０２２４】
さらに、ＣＲＳ１００が車両の各制御を行なう制御部などと通信を行い、各制御部への命令を行うことで車両を操作する構成としてもよい。また、ＣＲＳ１００が電子制御スロットル装置、車両挙動制御装置、電動ステアリング制御装置等の車両側のシステムと電気的に接続され、これらの電子制御ユニット（ＥＣＵ）にアクセス可能な構成となっている場合には、ブレーキペダル、ハンドル、シフトレバー等を操作して車両の操作を代行するような構成としてもよい。
【０２２５】
このステップ４４３での処理が終了した後は、ステップ４０１或いは４３３に戻り同様の監視動作を繰返すようにしても良いし、ステップ４４３による処理が完了すると本フローチャ−トによる処理を終了するようにしてもよい。
【０２２６】
また、上記前方監視動作では車両走行中のでのＣＲＳ１００の動作例を説明したが、ＣＲＳ１００は駐車、車庫入れ時にも運転者の指示に応じて、車両の進行軌跡から逸脱の防止、接近物の有無を監視し、音声で警告する等のサービスを実行する。この際にも、運転者の操作では危険が回避できないと判断すると、前述したと同様に、ＣＲＳ１００が車両の操作を代行する。
【０２２７】
なお、上記のような処理が実行された際の運転者に関する種々の情報は、ＣＲＳ１００がＣＲＳ思考部１４の乗員データとして登録、順次更新しておき、次の監視動作の際に用いるなど以降の制御に用いるデータとして記憶する構成としてもよい。
【０２２８】
さらに、図１７は第３実施例に含まれる落下物監視フローチャ−トを示している。このフローチャ−トは指示者が車両内で物を落としたと思ったときに、ＣＲＳ１００にその落下物の監視を指示したときに実行される。
【０２２９】
図１５において指示者が落下物監視を指示していることをＣＲＳ１００が音声対話等により確認すると（Ｓ４０１）、落下物監視フローを実行するための所定の準備に入る（Ｓ４５１）。この準備で、ＣＲＳ１００は指示者がどのような物品を落としたのか、音声対話等で確認する。ＣＲＳ１００は記憶された所定位置にその物品がないかを確認する（Ｓ４５３）。ＣＲＳ１００が所定位置にその物品があることを確認すると、ＣＲＳ１００は指示者に、落ちていない旨を音声で報告して、本フローチャ−トによる処理を終了する。
【０２３０】
このステップ４５３で、ＣＲＳ１００が記憶した所定位置に物品がないとの判断をすると、乗員が保持していないかを確認する。乗員が保持していることを確認すると、本フローチャ−トによる処理を終了する。
【０２３１】
ステップ４５５で、ＣＲＳ１００は乗員がその物品を保持していないと判断すると、記憶された位置の物品の形状と類似の形状を車内で検索する。発見出来ない場合は、指示者にどの辺りかを音声対話で尋ねる。ＣＲＳ１００が落下物を発見すると、落下物を元の位置に戻すのかを確認する（Ｓ４５９）。
【０２３２】
指示者が落下物をそのままにしておくとの指示を出したら、ＣＲＳ１００はその場所を伝達し、本フローチャ−トによる処理を終了する（Ｓ４６３）。指示者が落下物を元に戻すせ、との指示を出したら、近くの乗員に物品の捕獲し当初位置に戻すことを依頼する。乗員が一人、すなわち運転者のみであるである場合、ＣＲＳ１００が物品の捕獲、運搬を実行する。その際、ＣＲＳ１００は車両が定常走行時に運搬動作を実行する。この際の運搬動作は先に詳述した制御で実行される（Ｓ４６１）。このステップ４６１での処理が終了した後は、ステップ４０１に戻り同様の監視動作を繰返すようにしてもよいし、ステップ４６１による処理が完了すると、本フローチャ−トによる処理を終了するようにしてもよい。
【０２３３】
なお、上記各ステップ４５３、４５５、４６３での処理の後、終了（ＥＮＤ）とした場合ついてもステップ４０１に戻り同様の監視動作を繰返すものとしてもよい。
【０２３４】
前述した第３実施例では、車両の走行中において日常的に生じると想定される子供等の監視、前方監視、落下物監視について関連付けて示した。ＣＲＳ１００が実行する監視動作はこれに限るものではない。また、上記監視動作は各々独立したフローチャ−トにより実行されるように構成してもよい。
【０２３５】
さらに、本発明の第４実施例としてＣＲＳ１００が実行する夜間監視動作について説明する。この監視動作は使用者が車両から離れた以後の夜間監視をＣＲＳ１００が実行する点で上記実施例とは異なる。また、夜間監視動作は自発行動モード基づくのが好ましいので、ここではＣＲＳ１００の自発的な夜間監視動作について説明する。
【０２３６】
次に、図１８はＣＲＳ１００が夜間監視動作する場合のフローチャートである。本夜間監視の処理は、前述した自発行動モードの１項目として予め設定されている。自発行動モードによりＣＲＳ１００が実行する様になっていれば、運転者が逐次夜間における監視を指示しなくとも、車両を離れたＣＲＳ１００が必要な監視動作を実行する。勿論、運転者の指示を受けて夜間監視する様に設定することも可能である。この夜間監視と合わせて前述した図１６の前方監視動作も自発行動モードにより実行するように設定すると、運転者等へのサービス向上になる。
【０２３７】
図１８に示す夜間監視のフローチャートにおいて、例えば夜、運転者が車両を停車（駐車）して車外に出ようときに実行され、ＣＲＳ１００が所定の夜間監視準備に入る（Ｓ４２１）。この準備では、夜間監視を実行するために必要なセンサ等の状態が正常に機能しているか等のチェックが含まれる。続くステップ４２３で設定時間帯であるか、否かが確認される。この設定時間は使用者が夜間監視が必要である時間帯として予め設定しておく時間である。ＣＲＳ１００は設定時間帯でないとの判断をすると、指示者に夜間監視が必要かを確認する。指示者が監視不要であるとしたときには自律制御を実行して待機状態となる。
【０２３８】
ステップ４２３で設定時間帯であると判断した場合或いはステップ４２４で監視を実行する様に指示されると、車内外の監視動作を開始する（Ｓ４２５）。この夜間監視では、車両に接近するものを監視し、特に盗難防止機能をＯＮとする。また、ＣＲＳ１００が暗視ＣＣＤ等の夜間の画像読取りに適したセンサを備えているときには、これを機能させて登録者か否かの確認を行う。さらに、緊急時には通信ネットワークを用いて、所定のセキュリティーセンタや使用者の携帯電話等にアクセスして緊急事態を連絡する。さらに、ＣＲＳ思考部１４内のプログラムにこのセキュリティーセンタ或いは使用者の携帯電話からの指示を受けて緊急時の最適対処が実行されるような設定となっているときにはＣＲＳ１００を遠隔操作して盗難に対処できる。
【０２３９】
次に、第５実施例としてＣＲＳ１００が実行する娯楽（アミューズメント）動作について説明する。乗員に子供等が含まれており、車内にいることに飽きないように所定の世話をすることが必要になった際に、ＣＲＳ１００により実行されるサービスである。図１９から図２１に第４実施例の娯楽（アミューズメント）動作のフローチャートを示す。
【０２４０】
本フローチャートによる処理は、子供等の世話が必要な乗員（以下、本フローチャートでは子供を例にする）が含まれているときに他の乗員（子供の親等）による指示、或いはＣＲＳ１００の自発行動モードの１項目として予め設定されたプログラムに基づき子供が座席或いはチャイルドシート内でもぞもぞと動き、落ち着かない動作を繰り返した場合等に実行される。
【０２４１】
図１９で、ＣＲＳ１００は子供が動きたいことを検出する（Ｓ５０１）。この検出方法は子供の動作頻度の増加をチェックすること等により行う。例えば、ＣＣＤ１１２により、子供の頭の動きを監視しており１分間に所定回数を越えたとき子供が動こうとしているとの判断をする。また、子供の顔の表情、目の動きや瞬きの回数、さらには耳（マイクロフォン）１１４で子供が発したグズリ回数等を参照する。その際、ＣＲＳ１００はＣＲＳ思考部１２のデータべ−スにアクセスする（Ｓ５０３）。ここでのデータベースには、子供の動きの回数や表情から動こうとしているかの判断を行う基準が設定されている。また、子供が示した行動から車両内で子供が何を欲するのかが複数の項目で設定され、子供の欲する行動を予測できるようになっている。このデータベースは多くの子供の行動に基づき、予めＣＲＳ思考部１４に準備されている。そして、ある子供が車両に乗車すると新規に登録され、その子供について固有のデータベースが追加記憶される。このデータベースは子供が乗車する度毎にデータ更新され、ＣＲＳ１００が次にこの子供の世話をするとき参照できるようになっている。なお、このデータベースはＣＲＳ思考部１４内の乗員データ４０に含まれる。
【０２４２】
次に、この子供が何をしたいのかを推測する（Ｓ５０５）。その際にも上記データベースが参照される（Ｓ５０７）。ＣＲＳ１００は世話が必要な子供に向け移動しながら、子供に音声（スピーカ）で話し掛けながら子供の動き、表情をＣＣＤ１１２で逐次認識する。この過程で、協調指数の計算を実行する（Ｓ５０９）。この協調指数は、前記データベースに基づくもので、子供の行動、表情から総合的に算出され、ＣＲＳ１００が子供への対応をどのように実行するかの基準となる。この協調指数もＣＲＳ１００が子供の世話を実行した際に最新のものに更新される。ＣＲＳ１００はこの協調指数が所定の閾値以上か、否かを判断する（Ｓ５１１）。このステップ５１１で、協調指数が所定の閾値以上、即ち、ＣＲＳ１００が子供の機嫌が悪く子供との協調が必要であると判断した場合には図２１に示す協調フローの処理に入る。一方、協調が必要無い、即ち、子供の機嫌が良くＣＲＳ１００側から提案を行っても受け入れられるとの判断をすると、図２０に示す提案フローの処理に入る。
【０２４３】
協調フローは、ＣＲＳ１００が機嫌の悪い子供との協調を図ろうとする処理である。ただし、ＣＲＳ１００が子供とのやり取りで、後に協調できないと判断する場合もある。また、提案フローはＣＲＳ１００が上記データベースに基づいて子供の欲することを順次探り、最終的に子供を満足させるようにする処理である。上記協調フロー及び提案フローでの処理過程は乗員情報としてデータ記憶され、逐次更新される。
【０２４４】
図２０で、提案フローでの処理に入ると、ＣＲＳ１００は上記データベースにアクセスして（Ｓ５６１）、データベース上に予め準備されている「後で」、「今は疲れている」、「今はできない」等の回答をして子供（対象）に対し、今は何もしない提案や、相手が求めていることに近い事の提案、或いは相手が求めていることは程遠い提案等をコミュニケーションを取りながら順次行う（Ｓ５６３）。これらの中のいずれかの提案を対象が受け入れると（Ｓ５６５）、その行動過程をデータベースに登録後、その受け入れられた行動をＣＲＳ１００が実行して（Ｓ５６７）、ステップ５０１に戻り待機状態に入る。
【０２４５】
一方、ＣＲＳ１００の提案を子供が受け入れない場合（Ｓ５６５）、ＣＲＳ１００は所定の行動、例えば踊る、歌う等の動作を一方的に実行し（Ｓ５６９）、ＣＲＳ１００のこの動作を子供が何か受け入れたか、否かを判断する（Ｓ５７１）。
【０２４６】
ステップ５７１で、子供がＣＲＳ１００の行動を受け入れたと判断されると、その行動過程をデータベースに登録後（Ｓ５７３）、ステップ５０１に戻り待機状態に入る。
【０２４７】
図２１で、協調フローの処理に入ると、ＣＲＳ１００は音声、画像等を用いて相手に質問をして（Ｓ５３１）、対象がやりたい事の把握を試みる（Ｓ５３３）。このステップ５３３で、対象の要求の把握に失敗するとその過程をデータベースに登録し、上記協調指数の更新を行う（Ｓ５５１）。この更新後、再度協調指数が閾値以上であるか、否かの判断を行い（Ｓ５５３）。ステップ５５３で協調指数が閾値以上であると判断したときには、ステップ５３１に戻り再度、対象の把握を試みる。一方、協調指数が閾値未満であると判断したときには、前述した提案フローによる処理を開始する。
【０２４８】
ステップ５３３で、ＣＲＳ１００が対象の欲することを把握することに成功すると、データベースにアクセスしてデータを送受信して、（１）対象のやりたい事をどの程度推測できたか、（２）ＣＲＳ１００の「検出・推測キー」と推測結果の相関、さらに（３）協調フローに入った割合の計算等についてデータ記録される（Ｓ５３５）。
【０２４９】
つぎに、ＣＲＳ１００は再度、協調指数が閾値以上か、否かを判断する（Ｓ５３７）。このステップ５３７で協調指数が閾値未満であると判断したときには、前記提案フローによる処理に入る。一方、協調指数が閾値以上であり何らかの協調行動が必要であると判断されるとステップ５３９の処理に入る。
【０２５０】
ステップ５３９では、把握した対象の要求がＣＲＳ１００がサポート実行できる条件の範囲内か、否かを判断する。なお、ＣＲＳ１００が相手の要求がサポート範囲内か、否かを、車両の状態及び子供の状態などに基づいて動作を実行できる状態であるかを判断するように、設定しておくことが好ましい。サポートできる範囲内であれば、ＣＲＳ１００はサポートする選択範囲から相手の要求に応じた行動を実行する。ＣＲＳ１００は、例えば▲１▼物を取りたい▲２▼今とは違う景色が見たい、▲３▼音楽が聞きたい等の相手の要求に応じる行動を取る（Ｓ５４１）。その後、その過程をデータベースに登録して（Ｓ５４３）、待機状態に入る（Ｓ５０１）。
【０２５１】
一方、ステップ５３９でＣＲＳ１００がサポート範囲外であるとの判断をすると、例えば「ちょっと待って」等と対話をしながら（Ｓ５４５）、対象が待つことができるか、否かを判断する（Ｓ５４７）。対象が待てないとの判断をすると、前記提案フローの処理に入る。待てるとの判断をすると、ステップ５３７に戻って処理を継続する。
【０２５２】
以上説明した第５実施例では、ＣＲＳ１００が乗員の状態を確認できる認識手段と、この認識情報に基づいて思考する思考手段とを備えるので、対象となる乗員等の状況、要求等に応じて、乗員の要求に沿うような行動（この場合は娯楽行動）を取ることができる。なお、上記では子供を例として示したが、対象は子供に限定するものではない。
【０２５３】
さらに、以下には第６実施例から第８実施例として、ＣＲＳ１００が実行する事故時におけるＣＲＳ１００の乗員救助動作の例を示す。ＣＲＳ１００による乗員への救助動作は、乗員による指示を待つことなく、自発的に実行されるのが望ましい。以下に示す実施例はＣＲＳ１００の自発行動モードに基づい実行される。
【０２５４】
第６実施例はＣＲＳ１００が実行する車両衝突時の動作例である。図２２及び図２３に示したフローチャートに基づき説明する。なお、以下のフローチャートで説明する例は、ＣＲＳ１００が通信機能を有し、自ら車両事故の連絡を実行できるように設定されている場合である。さらに、ＣＲＳ１００が事故の際に、その報告を行うと所定の指示を出すレスキューセンタが開設され、このレスキューセンタ等からの指示を受けた場合にＣＲＳ１００がこの指示に応じて所定の救助行動を実行できるように、ＣＲＳ思考部１４にプログラムが設定されている。
【０２５５】
また、衝突時に乗員の保護を実行するためには、ＣＲＳ１００自身が衝突に対応できることが必要である。さらに、衝突時の衝撃でＣＲＳ１００が乗員に２次的に衝突することも防止する必要がある。よって、本フローチャートで示す例は、ＣＲＳ１００自身がエアバックを備えている。これにより、ＣＲＳ１００による乗員への２次衝突を防止できる。なお、ＣＲＳ１００自身を保護することにもなり、事故後の乗員保護行動を円滑に実行することができる。
【０２５６】
本第６実施例では、ＣＲＳ１００は衝突時に乗員の指示を受けず自らを生存できる状態に自己保持の制御を実行しつつ、事故時の乗員救助を実行する。ここでのＣＲＳ１００の動作は自律制御に基づいて実行されている。また、この例ではＣＲＳ１００が非常時用の予備電源（バッテリ）を体内に有している。
【０２５７】
図２２で、車両が衝突状態になった際に、ＣＲＳ１００は監視動作実行中（Ｓ６０１）であれば衝突の可能性ありかを判断し（Ｓ６０３）それ以後の処理に入る。一方、監視動作を行っていないときに、突発での事故であるときには、ＣＲＳ１００は車両内での行動を停止し、自律制御を実行しつつ異常Ｇの検出等により衝突の状態を判断し、以後の処理を実行する（Ｓ６１５）。
【０２５８】
まず、監視動作実行中で衝突の可能性ありとの判断をしてから（Ｓ６０３）、衝突の方向を確認し、さらに相手車両の種類及び体格並びに相対速度から車両が受けたダメージを推定する（Ｓ６０５）。そして、車両の対衝突計算から変形度合を推定し、ＣＲＳ１００が生存できる生存空間の位置、大きさを算出してその位置に移動する（Ｓ６０７）。このようにＣＲＳ１００が自身生存を確保するように移動することで、ダメージを最小限に止て、以後の乗員救助が実行できるようにする。その際、ＣＲＳ１００は生存空間を乗員の脱出空間として利用できるか、否かについても検討し、記憶しておくことが好ましい。さらに、衝突時のＧが所定の閾値以下であるかを判断する（Ｓ６０９）。この衝突Ｇが所定の閾値以下であれば、その位置でその衝突Ｇに対してレールに固定制動するような制御を実行する（Ｓ６１１）。衝突Ｇが所定の閾値を越え危険と判断すれば、レールに固定制動する制御と自己保護のためのエアバックを作動させる（Ｓ６１３）。上述のように、ＣＲＳ１００は車両内で自己保持の制御を完了してから、車両の状態を把握する動作に入る（Ｓ６２１）。
【０２５９】
つぎに、ＣＲＳ１００自らの機能損傷をチェックし、電源不良であるなら自己の本体内の予備電源に切り換える。また、ＣＲＳ１００が移動に用いるレール２の損傷についてもチェックする。さらに、ＣＲＳ１００は上記生存空間も含めて乗員の退避ルート（空間）の確保が可能か等についてチェックを行う（Ｓ６２３）。
【０２６０】
なお、上記突発での事故で異常Ｇの検出等により衝突の状態を判断した場合は（Ｓ６１５）、衝突Ｇを検出し対衝撃制御を実行すると共に、レールに固定制動する制御と自己保護のためのエアバックを作動させる（Ｓ６１７）。そして、衝突Ｇからその方向と大きさを確認し（Ｓ６１９）、同様に上記ステップ６２１の車両状態把握処理の処理に入る。
【０２６１】
ＣＲＳ１００は、自身のシステムに問題があるか、否かを判断し（Ｓ６２７）、問題があり完全にダメージを受け、作動不能となっているような場合はレスキューセンタに救助信号を発信し（Ｓ６２９）、以後は自律制御で待機する。
【０２６２】
一方、自身のシステムに問題がないとの判断をした場合は（Ｓ６２５）、実質的な乗員保護として乗員の脱出空間を確保する等の行動を実行する（Ｓ６２７）。車内のダメージをＣＣＤ１１２により確認し、登録乗員については顔等記憶した形態からその存在の確認を行う。さらに、登録され物品の位置や車両形体と事故後を比較しその差異の大きさから車両が受けたダメージを確認する。
【０２６３】
さらに、図２３に示すように、ＣＲＳ１００は乗員の全員が動作管理範囲にいるかの確認を実行し（Ｓ６３１）、範囲外の乗員が居たらその乗員の状態を確認し、レスキューセンタへ連絡し、乗員の位置とその状況説明を行う。さらに他の乗員に報告を行い、動作指示を待つ（Ｓ６３５）。
【０２６４】
ＣＲＳ１００が乗員の全員が動作管理範囲にあることを確認すると（Ｓ６３１）、障害の有無を音声対話等で各乗員に確認して、レスキューセンタへ連絡し、乗員の位置とその状況説明を行う。ＣＲＳ１００にレスキューシステムがインストールされている場合は、レスキューセンタからの指示に基づきＣＲＳ１００が救護動作を実行する（Ｓ６３３）。なお、ＣＲＳ１００にレスキューシステムがインストールされていない場合には、双方向通信等を利用し、レスキューセンタからインストールを実行してから救助動作を実行するようにしてもよい。
【０２６５】
ＣＲＳ１００は、さらに火災について可能性がないかのチェックを行い（Ｓ６３７）、火災の可能性が無ければ乗員救助を実行する。インストールされている救助動作では乗員の救出が不可能な場合にはレスキューセンタからの指示による遠隔操縦制御に変更し、この指示に基づきＣＲＳ１００が救助動作、障害の手当てを実行する（Ｓ６３９）。
【０２６６】
一方、火災の虞があるとの判断したときには（Ｓ６３７）、乗員に脱出を促す（Ｓ６４１）。ＣＲＳ１００は脱出不可能か、否かを判断して（Ｓ６４３）、脱出が可能であれば、全員の脱出を確認し（Ｓ６４９）、備え付けの消火器等があれば遠隔操作で消化活動を実行する（Ｓ６５１）。ＣＲＳ１００が脱出不可能であるとの判断をした場合には、レスキューセンタからの指示による、遠隔操縦制御に変更し、脱出支援動作を実行する。その際、ＣＲＳ１００は障害となる破損物品の除去動作も実行する。また、さらに車両内に備え付けの消火器があるような場合には、ＣＲＳ１００を遠隔操作して消火器で消化活動を実行させる（Ｓ６４７）。
【０２６７】
ＣＲＳ１００は上記一連の救助動作の動作を完了すると、自律制御で待機状態に入る。
【０２６８】
第７実施例はＣＲＳ１００が実行する車両横転時の救助動作例である。図２４及び図２５に示したフローチャートに基づき説明する。本実施例のフローチャートは前記第６実施例のフローチャートと近似する。よって、相違する動作を主に説明する。
【０２６９】
図２４及び図２５は、車両が横転した時にＣＲＳ１００が実行する第７実施例の救助動作の例を示すフローチャートである。図２４で、車両が横転状態になった際に、ＣＲＳ１００は運転監視動作実行中であれば、衝突の可能性ありかを判断し（Ｓ７０３）それ以後の処理に入る。一方、監視動作を行っていないときに、突発での車両が横転したときには、ＣＲＳ１００は車両内での行動を停止し、自律制御を実行しつつジャイロにより座標系の異常を検出することにより横転の状態を判断し、以後の処理を実行する（Ｓ７１５）。
【０２７０】
ＣＲＳ１００は監視動作実行中、急ハンドル旋回時の許容横Ｇ以上であるか、脇見等による車線逸脱、路肩突入、ガードレール接触を検出或いは予測して、横転の可能性ありとの判断をする（Ｓ７０３）。次に、ＣＲＳ１００は警告を発し、それまでの動作を中断し、乗員との２次衝突が生じないように移動する。また、ＣＲＳ１００が生存空間を確保する位置に移動してもよい。例えば、剛性が比較的高い中央又は後部のピラーの下部付近等に移動する（Ｓ７０５）。さらに、トランクルーム等まで退避する構成としてもよい。これにより、ＣＲＳ１００が自身のダメージを最小限に留めて生存可能性が高め、事故後の乗員救出或いは通信によるレスキューセンタへの連絡などの適切な行動が取れるようなる。ＣＲＳ１００が確保した生存空間は乗員の脱出空間として利用してもよい。また、センサにて横転過渡状態を確認すると共に、内蔵ジャイロから車両の横転の状態を検出する。その際、横Ｇから横転Ｇを判断する（Ｓ７０７）。
【０２７１】
さらに、横転時の横転Ｇが所定の閾値以下であるかを判断する（Ｓ７０９）。このＧが所定の閾値以下であれば、車両の状態を把握する。内部ジャイロ等から左・右・逆さ・元の状態に戻ったかについて横転状態を検出する（Ｓ７１１）。横転Ｇが所定の閾値を越え危険と判断すれば、レールに固定制動する制御と自己保護のためのエアバックを作動させる（Ｓ７１３）。
【０２７２】
つぎに、ＣＲＳ１００自らの機能損傷をチェックし、重力方向が変化したために座標系（Ｘ，Ｙ，Ｚ）が異なる場合は、重力方向に従って座標系（Ｘ，Ｙ，Ｚ）を変更する。さらに、車内の物品の位置をＣＣＤ１１２で確認する。座標変換後の位置とＣＣＤでの実態映像で検証する（Ｓ７２１）。
【０２７３】
また、電源不良であるなら自己の本体内の予備電源に切り換える。また、ＣＲＳ１００が移動に用いるレール２の損傷についてもチェックする。さらに、乗員の退避ルートの確保が可能か等についてチェックを行う（Ｓ７２３）。
【０２７４】
なお、上記突発での事故で横転状態を判断した場合は（Ｓ７１５）、剛性の比較的高い中央部又は後部のピラー付近の車両中央又は後部に移動する共に、レールに固定制動する制御と自己保護のためのエアバックを作動させる（Ｓ７１７）。そして、横転Ｇからその方向と大きさを確認し（Ｓ７１９）、同様に上記ステップ７１１の車両状態把握の処理の実行に入る。
【０２７５】
引き続き図２５に示すように、ＣＲＳ１００は、自身のシステムに問題があるか、否かを判断し（Ｓ６２５）、問題があり完全にダメージを受け、作動不能となっているような場合はレスキューセンタに救助信号を発信し（Ｓ７２９）、以後は自律制御で待機する。なお、レスキューセンタへの救助信号を発進する装置は耐衝撃性部材で覆い、ＣＲＳ１００本体に内蔵する構成としてもよい。
【０２７６】
本第７実施例のステップ７２５以後の処理は、第６実施例のステップ６２５以後の処理と同様であるので、これ以降の説明は省略する。
【０２７７】
さらに、第８実施例はＣＲＳ１００が実行する車両水没時の救助動作例である。図２６及び図２７に示したフローチャートに基づき説明する。
【０２７８】
本実施例で示すフローチャートについても、ＣＲＳ１００が通信機能を有し自ら車両事故の連絡を実行できるように設定されている場合である。さらに、ＣＲＳ１００が事故の際に、その報告を行うと所定の指示を出すレスキューセンタが開設され、このレスキューセンタ等からの指示を受けた場合にＣＲＳ１００がこの指示に応じて所定の救助行動を実行できるように、ＣＲＳ思考部１４にプログラムが設定されている。
【０２７９】
また、車両水没時に乗員の保護を実行するためには、ＣＲＳ１００自身が水没に対応できることが必要である。よって、本フローチャートで示す例は、ＣＲＳ１００が自身を保護するエアバックを備えている。すなわち、ＣＲＳ１００は車両水没時に乗員の指示を受けず自らを生存できる状態に駆動制御し、水没時の乗員保護を実行する。ここでのＣＲＳ１００の動作は、前述した自己保持モードに基づいて実行される点は前述したフローチャートと同様である。
【０２８０】
図２６で、車両が水没する状態になった際に、ＣＲＳ１００は監視動作実行中（Ｓ８０１）であれば河川、海等への突入の可能性ありかを判断し（Ｓ８０３）それ以後の処理に入る。一方、監視動作を行っていないときに、突発での水没事故であるときには、ＣＲＳ１００は車両内での行動を停止し、自律制御を実行しつつ突入時に衝突Ｇ等を検出し、レールへ自己を固定する制動制御を実行して、以後の処理を実行する（Ｓ８１５）。
【０２８１】
ＣＲＳ１００は監視動作実行中、急ハンドル旋回、脇見等により車線逸脱したことにより水没の場合、ナビゲーション装置（ＮＡＶＩ）により河川、海への突入の可能性を判断すると共に、３Ｄ機能があるＮＡＶＩであれば、高度差も確認する（Ｓ８０３）。次に、ＣＲＳ１００は警告を発し、ＣＲＳ１００はそれまでの動作を中断し、自らの生存のために生存空間を確保する。例えば、積載量、乗員位置により重心位置が変化するので、前後輪の軸重により重心位置を確認して車両の中心に対して重心位置と反対側の車内端への移動を試みる（Ｓ８０５）。
【０２８２】
さらに、水面への衝突時のＧが所定の閾値以下であるかを判断する（Ｓ８０９）。この衝突Ｇが所定の閾値以下であれば、自己保護のためエアバックを展開する（Ｓ８１１）。Ｇが所定の閾値を越えてより危険と判断すれば、レールに固定制動する制御とエアバックを展開させる（Ｓ８１３）。さらに、ＣＣＤ１１２により水面位置を確認し、内蔵ジャイロ等から実傾斜を検出し、上方への移動を実行する（Ｓ８２１）。つぎに、ＣＲＳ１００自らの機能損傷をチェックする（Ｓ８２３）。
【０２８３】
さらに、図２７に示すように、電源不良であるなら自己の本体内の予備電源に切り換える。また、ＣＲＳ１００が移動に用いるレール２の損傷についてもチェックする。また、乗員の退避ルートの確保が可能か等についてチェックを行う（Ｓ８２５）。
【０２８４】
なお、図２６のフローチャートに示す突発事故で車両が水没状態となった場合は（Ｓ８１５）、水に突入した時に衝突Ｇを検出し対衝撃制御を実行すると共に、レールに固定制動する制御を即実行する。ジャイロにより車体の傾斜を検出し、上方に移動する。ジャイロにより座標系の異常、揺れ検出で突入を判断して（Ｓ８１７）、前記ステップ８２１の処理を実行する。
【０２８５】
さらに図２７で、ＣＲＳ１００は自身のシステムに問題があるか、否かを判断し（Ｓ８２７）、問題があり完全にダメージを受け、作動不能となっているような場合は本体の耐衝撃ボックス内に内蔵されたＥＣＵからレスキューセンタに救助信号を発信し（Ｓ８２９）、さらに腕１０４，１０６として使用していたマニュピレータを外し、車両の窓を割ることが可能であること、さらにエアバックを取り外し浮き輪として使用可能であることのサインを出し、以後は自律制御で待機する。
【０２８６】
一方、自身のシステムに問題がないとの判断をした場合は（Ｓ８２７）、車内のダメージをＣＣＤ１１２により確認し、登録乗員については顔等記憶した形態からその存在の確認を行う（Ｓ８３３）。さらに、水面上の窓ガラスをレスキュ工具で割る動作を実行し（Ｓ６３５）、続いて乗員全員が脱出したかの判断をする（Ｓ８３７）。全員が脱出していないときには、さらに反対側の水面上の窓ガラスをレスキュ工具で割る動作を実行する（Ｓ８３９）。ＣＲＳ１００は全員が脱出したことを確認すると待機状態に入る。
【０２８７】
さらに、第９実施例としてＣＲＳ１００が実行する車内清掃動作の例を説明する。図２８は清掃動作１として走行中で車内清掃のフローチャート、図２９は清掃動作２として窓の曇り及びシート汚れに対する車内清掃のフローチャート、図３０は清掃動作３として乗員が降車した後の車内清掃のフローチャートを示している。
【０２８８】
図２８に示す処理は、ＣＲＳ１００の自発行動モードの１つとして実行される。車両の走行中でも、ＣＲＳ１００は車内に菓子などが落下したかを監視しており（Ｓ９０１）、落下物があったことを確認すると、その落下前の初期画面と落下後の画面を比較することにより落下物を探索する（Ｓ９０３）。ＣＲＳ１００はその落下物を確認すると捕捉し、乗員にその捨て場所を確認する。ＣＲＳ１００は捨て場所まで落下物を運搬して廃棄する（Ｓ９０５）。
【０２８９】
さらに、ＣＲＳ１００はその周辺の乗員の衣服、シートにゴミが付着していないか落下物を発見する場合と同様にチェックし（Ｓ９０９）、ゴミが付着していた場合にはハンド１０４ＨＡ、１０６ＨＡでゴミを摘み、落下物の場合と同様に処理する。乗員等にゴミが付着していなかった場合及び付着したゴミを処理した後は、自律制御を実行しつつ同様に清掃のための監視を継続する（Ｓ９０１）。
【０２９０】
図２９には、車両が走行中にガラス窓が曇った場合、シートが汚れていた場合、さらには乗員からの清掃指示が合った場合を含めてＣＲＳ１００が実行する清掃動作のフローチャ−トが示されている。
【０２９１】
図２９で、ＣＲＳ１００は車両のガラス窓に曇りが生じていないか監視する（Ｓ９１１）。例えば、ＣＲＳ１００は変化する車外風景と車両と一体に変化する画像（ガラスの汚れ）との面積比較から、透過率に基づいてガラス窓の曇りを検出する。ＣＲＳ１００は、ガラス窓に曇りを検出したときは窓を拭く動作を実行し（Ｓ９１３）、ガラス窓を通して見える動的風景の視界が広がるかチェックしながら（Ｓ９１５）、曇りがなくなるまで窓拭きを実行する。
【０２９２】
なお、車両前方の窓が曇った状態にあるときには、運転に支障が出る場合もある。よって、前方の窓拭きが必要なときには、ＣＲＳ１００は窓拭きが必要である旨、運転者に伝えてから運転に邪魔にならないように窓拭き動作を実行するようにプログラム設定してもよいし、運転者に警告を発するようにプログラム設定してもよい。
【０２９３】
さらに、ＣＲＳ１００はシートの汚れも検出する。ＣＲＳ１００はシート表面の散乱が所定値以上となっていることを検出すると（Ｓ９１７）、ハンド１０４ＨＡ、１０６ＨＡを動かして掃く等の動作を実行して、シートの汚れを取る清掃動作を実行する（Ｓ９１９）。例えば、ＣＲＳ１００のハンド１０４ＨＡ、１０６ＨＡに吸引手段を更に付加してシートの汚れを吸引して除去するようにしてもよい。このシート汚れについても、シート表面の散乱が所定値以下となるまで、繰返される（Ｓ９１７）。なお、散乱の所定値を運転者等が設定できるようにしてもよい。また、ティッシュ箱或いはブランケットなどの比較的大きな物品を検出した場合には、その位置を記憶して運転者に報告するように、又は登録された場所の位置に運搬するように設定しておいてもよい。
【０２９４】
上述したシート汚れを除く動作は、ＣＲＳ１００は車両が停車或いは駐車していることを認識しているときに実行するように設定しておくことが望ましい。
【０２９５】
さらに、ＣＲＳ１００は乗員の降車時に清掃指示があった場合に（Ｓ９２１）、所定の清掃動作を実行する（Ｓ９２３）。このような指示による清掃動作の場合にもシート表面の散乱が所定値以下となるまで、繰返される（Ｓ９２５）。
【０２９６】
乗員による清掃指示が無い場合（Ｓ９２１）やシート表面の散乱が所定値以下となった場合は車両内で自律制御しながら待機する。
【０２９７】
さらに、図３０には、夜間等で駐車された車両内に乗員は居らず、ＣＲＳ１００が自発行動モードで車内全般の清掃を実行する場合の清掃動作３が示されている。
【０２９８】
図３０で、ＣＲＳ１００が車内に誰もいないことを確認すると（Ｓ９３１）、雑巾が置いてある所定の場所まで移動して雑巾を持つ（Ｓ９３３）。ＣＲＳ１００は、雑巾で前方、後方及び側面の窓を拭き（Ｓ９３５）、その際、傷や拭いても取れない汚れがないか確認しながら（Ｓ９３７）、視界が広がるまで拭く動作を繰返す（Ｓ９３９）。なお、ステップ９３７で、ＣＲＳ１００は傷や拭いても取れない汚れがあるときには、その場所を登録しながら（Ｓ９４１）、上記窓拭き動作を繰返す。
【０２９９】
ＣＲＳ１００は、窓が綺麗になると、雑巾を所定の場所に返却して（Ｓ９４７）、さらに車室内の清掃を継続する。シートにゴミが散乱していると（Ｓ９４９）、これを回収してゴミ箱へ運搬する（Ｓ９５１）。
【０３００】
さらに、ＣＲＳ１００は飲料ホルダーに空き缶が残っていないか確認し（Ｓ９５３）、空き缶を発見したときにはその場所まで移動して、空き缶を捕捉する。その際、缶の重量が所定値以下であるかを確認する（Ｓ９５５）。前述のステップ９５３では、空き缶に限らず、ペットボトル、紙パック、或いは他の容器等であったもよい。また、飲料ホルダーに限らず、フロアやシート上を確認するように設定してもよい。
【０３０１】
上記ステップ９５５で、缶の重量が所定値以上であれば飲み残しがあるので、その場所を登録し（Ｓ９５９）、その缶を元の飲料ホルダーに戻しておく。その逆に、缶の重量が所定値以下の場合には飲み残しは無いので、ゴミ箱の位置まで移動してゴミ箱に缶を回収する（Ｓ９５７）。
【０３０２】
ＣＲＳ１００は、上記一連の清掃動作が終了すると、所定場所に移動して、自律制御のもと待機状態となる（Ｓ９６５）。そして、運転者が車両に乗車してきた時に、前記シート汚れや飲み残しのある缶の登録場所を報告する。この報告後は、登録場所の記憶を削除する。
【０３０３】
以上、複数のフローチャートに基づいてＣＲＳ１００が車載ロボットとして、運転者を含む乗員の保護救助や娯楽、さらには車内清掃等のサービスを提供することを例示したが、ＣＲＳ１００が実行するサ−ビスはこれらに限るものではない。
【０３０４】
また、前述した実施例の記載では、ＣＲＳ１００が実行する基本動作については第１実施例として説明し、物品運搬動作等の個別動作については第２実施例以後で示した。しかし、車載されるＣＲＳ１００が乗員等に提供するサービスの向上の面からは、これらのフローチャートを相互に関連したものとし、一連のフローチャ−トとして構成することがより望ましい。
【０３０５】
さらに、図３１から図３３にはＣＲＳの他の実施形態が示される。図３１はＣＲＳ１００を車載する上での変形例、図３２はＣＲＳが携帯電話内蔵型で形成された例、さらに図３３は車両のインストルメントパネから飛び出す様に構成して、よりアミューズメント機能を高めたＣＲＳの例である。
【０３０６】
図３１では、コンパチブルタイプの車両５にＣＲＳ１００を搭載した変形例を示している。ＣＲＳ１００は車両の後方トランク６内を待機空間としており、必要なときにトランクと車室側に設けた切欠き部（図示していない）から出現する。図３１で示すＣＲＳ１００の移動はドア等に付設したレールに沿って移動する構成にしてもよいし、アーム１１０に伸縮嵌合管等を用いてＣＲＳ１００が車室内を移動できる構成にしてもよい。
【０３０７】
図３２に示したＣＲＳ２００は携帯電話内蔵型である。このＣＲＳ２００は本体に携帯電話２５０を収納する凹部２０２を備えている。この凹部２０２に携帯電話２５０が嵌め込まれるとＣＲＳ２００は通信機能を備えるようになる。よって、車両の使用者等が車両外から指示を出してＣＲＳ２００に所定の動作をさせることができる。また、ＣＲＳ２００がこの指示に応じて行った動作を電話により確認すること等も可能である。なお、ＣＲＳ２００の本体内に通信装置を予め内蔵した構成としてもよい。
【０３０８】
図３３はアミューズメント機能を高めたＣＲＳ３００の例である。このＣＲＳ３００は車両のインストルメントパネル５５から飛び出す様に構成して、よりアユーズメント機能を高めている。
【０３０９】
テレビ、ナビゲーション情報等を表示するＣＲＴ５５がインストルメントパネル５５に嵌め込まれており、このＣＲＴ５５の背後にはＣＲＳ３００が待機（収納）できる空間５７が形成されている。ＣＲＴ５５の一端にはヒンジが形成され図示の如く開閉可能であり、ＣＲＴ５５が開くとＣＲＳ３００が出現する様に構成する。さらに、コンソールボックス５３上にはＣＲＳ３００移動用のレール５２が敷設されている。
【０３１０】
このような、アユーズメント機能を有するＣＲＳ３００を動作させるときには、例えば先ず空間５７内で待機状態としておいてＣＲＴ５５上にＣＲＳ３００と同じ画像５６を表示する。つぎに、ＣＲＴ５５を開いて、ＣＲＳ３００を出現させて踊る、歌う等の行動を実行させＣＲＴ５５上の画像とＣＲＳ３００を協調させることで車内にいる乗員を楽しませることができる。
【０３１１】
以上、図３１から図３３で説明したＣＲＳについても、前述したＣＲＳ１００と同様な機能を備えた車載用ロボットとして構成される。よって、このようなロボットが搭載されている車両は従来よりも快適で楽しく、さらに安全性や盗難防止機能も向上したものとなる。
【０３１２】
上記で示したＣＲＳ１００等はキャラクタとして１つの形態に具現化されたものであるが、本発明の想定するＣＲＳはこのような一体的とされたロボットを意図したものではない。本発明のＣＲＳには、例えば、インストルメントパネル内に認識手段１２と思考手段１４に相当する構成をビルドインすると共に車内空間にキャラクタの３Ｄ画像或いはバーチャルリアリティ画像を出現させる装置を準備し、マニュピレータのみが実存して動作を行うような構成も含む。
【０３１３】
また、ＣＲＳ１００の各構成が車両周りに分散して存在する状態でもよい。例えばＣＲＳ１００の頭部は周辺の監視と乗員とのコミュニケーションを主目的に車両天井部に設定され、乗員の指示に応じて物品等を運搬するマニュピレータ等からなる腕のみがレールに沿って移動可能であるような構成を採用してもよいのである。
【０３１４】
前述した第１から第９の実施例は、ＣＲＳが車両内に設定されており、レール等に沿って所定位置まで移動する形態を主に説明した。しかし、本発明の範疇に入るＣＲＳはこのような形態に限定されるものではない。車両から離れた状態ではアミューズメント用のペットロボット或いは作業を手伝う補助ロボットとして機能し、車両内に持込んだ際には前述した実施例のＣＲＳのように車両内でのサービスを実行するロボットでもよい。このようなロボットは、車両から独立した存在であり移動手段として本体に歩行機能を備えている。また、このようなロボットにワイヤレスの通信機能を設けると共に、車両側にも同様の通信機能を備えると、ロボットは車両から離れていても車両の状態を認識できる形態となる。
【０３１５】
次に、図３４〜図３８に示す第１０実施例のＣＲＳ４００は、自ら歩行することができる歩行機能を有すると共に、ワイヤレス通信機能も備えて車両側の情報を用いながら自律制御を行うロボットである。よって、車両も所定の通信機能を備え、ＣＲＳ４００の自律制御に用いることができる情報を送信可能に設定されている。また、本第１０実施例では、ＣＲＳ４００と交信可能な車両側に設けられた一連のシステムを車載システムと称して説明する。
【０３１６】
図３４は、車両内で助手席に座っている乗員ＨＵＢにＣＲＳ４００が抱っこされた状態が示されている。本実施例のＣＲＳ４００は、頭部４０２を有する上部半身４０１と歩行機能を有する下部半身４０８とで形成されている。上部半身４０１は前述した実施例と同様の腕４０４、４０６を備えている。
【０３１７】
本実施例のＣＲＳ４００も前述したＣＲＳ１００と同様に自律制御を行うための構成は備ている。そして、さらに図示は省略するがワイヤレスの通信手段が頭部４０２内等のＣＲＳ４００に配設されている。
【０３１８】
すなわち、本実施例のＣＲＳ４００は、先に示した実施例のＣＲＳ１００と比較して、独立歩行できる機能及び車両と交信できる機能をさらに備えた構成である。なお、図３４において参照符号４１０で示すのは、ＣＲＳ４００専用のシートである。乗員或いはＣＲＳ４００自身の判断で、ＣＲＳ４００が専用シート４１０にセッティングされると車両からの外乱に対して安定に保持されるようなる。
【０３１９】
図３５〜図３８に示されるフローチャートを参照して、ＣＲＳ４００による動作の例を説明する。図３５において、車外にあったＣＲＳ４００が運転者ともに車両に接近すると、ＣＲＳ４００は車両が自分の乗るべき車両（登録車）であることを確認する（Ｓ１００１）。
【０３２０】
ＣＲＳ４００は、運転者とともに車内には入ると、車載システムとの協調回線のチェックを行い（Ｓ１００５）、合わせて車内での位置を検知する（Ｓ１００７）。
【０３２１】
次に、ＣＲＳ４００は車内で専用シート４１０にセットされたか、否かを検出し（Ｓ１００９）、専用シート４１０にセッティングされた場合には参照番号３０に示すセッティングフローによる自律制御を行う。サブフローとなるセッティングフローについては、後に図３７に基づいて説明する。
【０３２２】
ＣＲＳ４００は、専用シート４１０にセッティングされていないと判断すると（Ｓ１００９）、乗員により抱っこされているか、否かを検出する（Ｓ１０１１）。このステップ１０１１で、乗員に抱っこされている場合には、参照番号３１に示す抱っこフローによる自律制御を行う。この抱っこフローについても後に図３８に基づいて説明する。
【０３２３】
ＣＲＳ４００は、専用シート４１０にセッティングされておらず、さらに乗員に抱っこもされていないと判断すると（Ｓ１０１１）、車内でフリーな状態で自律制御を実行する。例えば、乗員に居場所を問い合わせ、その場所に移動する等の行動を実行する。その際、必要により車両からの外乱に備える姿勢としてお座り等の態勢を取る（Ｓ１０１３）。
【０３２４】
さらに、ＣＲＳ４００は車載システムからの情報を得て、車両のシフト位置を検出し、前進するか、後進するかを検知する（Ｓ１０１５）。車両が前進すると判断した場合には、さらに車載システムからアクセルの開度を検知して、発進時の加速度Ｇを予測し、必要によりシート背もたれに胴体を接近させる等の行動を取り自身を支える（Ｓ１０１７、Ｓ１０１９、Ｓ１０２１）。また、車両が後進すると判断した場合にも、車載システムからアクセルの開度を検知して発進時の加速度Ｇを予測し、必要によりシートに捉まる等の行動を取り自身を支える（Ｓ１０２３、Ｓ１０２５、Ｓ１０２７）。
【０３２５】
なお、ＣＲＳ４００が立った状態であるときのために、車両外乱に対してＺＭＰ（ゼロ・モーメント・ポイント）に一致するようなＺＭＰ制御などによる歩行制御プログラムを予め設定しておいてもよい。
【０３２６】
さらに、図３６に続いて示されるように、車両走行中においてＣＲＳ４００は車両が旋回するときには（Ｓ１０２９）、ヨーレイトセンサによりヨーレイトをリアルタイムに検出し（Ｓ１０３１）、旋回Ｇに応じて踏ん張る、シートに捉まる等の動作を実行する（Ｓ１０３３）。なお、上記ヨーレイトの検出には、舵角センサを用いることができる。この場合には、舵角センサにより検出した操舵角から予想されるヨーレイトを算出して、旋回Ｇの発生を予測して制御を開始するようにしてもよい。
【０３２７】
続いて、ＣＲＳ４００は、車両が減速したときには（Ｓ１０３５）、減速度Ｇが所定レベル以上であるか判断する（Ｓ１０３７）。減速度Ｇが所定レベル以上であるときには、ＣＲＳ４００は前記専用シート４１０へ退避して自らセッティングするか、或いは乗員に専用シート４１０にセッティングして欲しい旨を告げる（Ｓ１０３９）。
【０３２８】
ＣＲＳ４００は、車両走行中でも前述の自律制御を実行しており、乗員から所定のサービスを求める動作要求があると（Ｓ１０４１）、定常走行中である場合には（Ｓ１０４３）、これに応じて先の実施例で示したと同様に運搬、監視、エンタテイメント等の動作を実行する（Ｓ１０４５）。定常走行中でない場合には（Ｓ１０４３）、定常走行となるまで動作できない旨を乗員に告げる（Ｓ１０４７）。
【０３２９】
その後も、ＣＲＳ４００は乗員にサービスできるよう自律制御で待機し、必要に応じて所定の動作を実行する（Ｓ１０４９）。
【０３３０】
最後に、車両が駐車したときには、ＣＲＳ４００は乗員と一緒に車両から降ろされたか、否かを判断する（Ｓ１０５１）。ＣＲＳ４００も降車した場合には、車載システムと交信して車外から車両の状態を監視する（Ｓ１０５５）。ＣＲＳ４００が車内に残された場合には、前述したＣＲＳ１００の場合と同様に監視、清掃等の自発動作を行う（Ｓ１０５３）。
【０３３１】
図３７は、図３５及び図３６で示したメインフローに対して、図３５でＣＲＳ４００が専用シート４１０にセッティングされたときのサブフローを示している。図３７では、ＣＲＳ４００は専用シート４１０に着座した状態のままで、乗員に提供できるサービス、例えば、監視、エンタテイメント等の動作を実行する（Ｓ１１０１）。その後、図３６の参照番号３２に示したメインフローによる動作がが同様に実行される。
【０３３２】
図３８は、図３５でＣＲＳ４００が乗員に抱っこされているときのサブフローを示している。図３８で、ＣＲＳ４００は車両のアクセルがオンとなったことを検知すると（Ｓ１１５１）、アクセル開度信号を検知して発進時の加速Ｇを予測する（Ｓ１１５３）。その際、ＣＲＳ４００は、乗員の着衣に抱き着く力を増加させ、乗員に対し「しっかり掴んで」等の言葉を発して注意を喚起する（Ｓ１１５５）。
【０３３３】
続いて、車両走行中においてＣＲＳ４００は車両が旋回するときには（Ｓ１１５７）、ヨーレイトセンサによりヨーレイトをリアルタイムに検出し（Ｓ１１５９）、旋回Ｇに応じて踏ん張る、乗員の着衣に捉まる等の動作を実行し、上半身を旋回Ｇに対抗させて傾斜させる（Ｓ１１６１）。
【０３３４】
さらに、ＣＲＳ４００は、車両が減速したときには（Ｓ１１６３）、減速度Ｇが所定レベル以上であるか判断する（Ｓ１１６５）。減速度Ｇが所定レベル以上であるときにも、減速度Ｇに応じて踏ん張り、乗員の着衣に捉まる等の動作を実行し、上半身を減速度Ｇに対抗させて傾斜させる（Ｓ１１６７）。その後、図３６の参照番号３２に示したメインフローによる動作が同様に実行される。
【０３３５】
なお、上記第１０実施例では、車両から離れたＣＲＳ４００であっても車両と交信できる例を示している。しかし、このような実施形態に限らず、ＣＲＳ４００が車両内にある場合に限り、車両と交信状態となるように設定してもよい。
【０３３６】
さらに、第１１実施例として車両に対して着脱自在であるＣＲＳの例を示す。図３９で、ＣＲＳ５００は上半身５６０と、下半身となる歩行キット５５０に分離可能に構成されている。上半身５６０は車両のコンソール等にセットされて、車両搭載のロボットとなる。
【０３３７】
図３９に示すＣＲＳ５００は、上半身５６０と歩行キット５５０をセットしたときには、例えば乗員の自宅においてペットロボット等となる。上半身５６０を車両内に持込み所定位置にセットすると、上半身５６０が前述した車載ロボットと同様に機能する。図３９で示すＣＲＳ５６０は車両に設けた案内溝５６５を移動する構成であり、第１から第８実施例として説明したＣＲＳ１００と同様に自律制御を実行しながら乗員に種々のサービスを提供する。
【０３３８】
図４０に示す第１２実施例は、車両に対して着脱自在である第１のＣＲＳ６５６と、シート形状に構成された第２のＣＲＳ６００が車両内に併存している例を示す。なお、第１のＣＲＳ６５６は前記第１１実施例の場合と同様に、ＣＲＳ６５６に歩行キット６５０をセットすると歩行機能を有したペットロボットであるような構成でもよい。
【０３３９】
図４０で、第１のＣＲＳ６５６は第２のＣＲＳ６００（以下、シートロボット６００と称す）の所定位置６０１に着脱可能に配置される。シートロボット６００はＣＣＤ等を備える頭部６０４と乗員を両脇から抱えられるように延びた一対の腕状のマニュピレータ６０２を備えている。
【０３４０】
また、シートロボット６００は通常のシートと同様にシートベルト６０６も備えている。そして、シートロボット６００の好ましい形態では、付加機能として、シートに着座した乗員に対してシートベルトを緊締する手段、シートを加熱冷却する手段、シートに着座した乗員の血圧を測定する手段、シートに着座した乗員の脈拍を測定する手段、シートに着座した乗員の脳波を測定する手段、シートを回転させる手段、シートを前後に移動させる手段、シートを傾斜させる手段等を備え、乗員の安全確保と共に健康状態についてもチェックする機能を備えている。
【０３４１】
このシートロボット６００も本発明でいうＣＲＳの一形態であり、外形がシート形状であり移動手段を有していないが、他のＣＲＳと同様に認識部及び思考部を備え、車両内において乗員に好ましいサービスを提供する。このシートロボット６００も車両のシートＣＡＳに対して着脱可能であり、従来のチャイルドシートに変わるものとして特に有効である。
【０３４２】
図４１及び図４２に示したフローチャートを参照して、上記ＣＲＳ６５６とシートロボット６００による動作の例を説明する。なお、ここでは、ＣＲＳ６５６及びシートロボット６００が共に通信機を備え、協調しながらシートロボット６００に着座した子供に対してサービスを提供する場合を示す。
【０３４３】
図４１において、シートロボット６００は接近者があると、登録者であるか、否かを確認する（Ｓ２００１）。登録者である場合には、運転者がＣＲＳ６５６を持参したかチェックし、忘れている場合には取りに行くように注意する。運転者がＣＲＳ６５６を持参した場合には、所定位置６０１にセッティングすることを促す（Ｓ２００３）。
【０３４４】
シートロボット６００が、ＣＲＳ６５６が所定位置６０１にセッティングされたことを確認すると（Ｓ２００５）、シートロボット６００及びＣＲＳ６５６はサポート動作を開始する（Ｓ２００７）。
【０３４５】
シートロボット６００は車載システムからの情報を得て、車両のシフト位置を検出し、前進するか、後進するかを検知する（Ｓ２００９）。車両が前進すると判断した場合には、アクセルがオンされても腕状のマニュピレータ６０２を緩めたままとする。一方、車両が後進すると判断した場合には（Ｓ２００９）、アクセルがオンされたことを検知した際には腕状のマニュピレータ６０２で子供が前方に傾かないように適度に締付ける（Ｓ２０１７）。
【０３４６】
なお、その際ＣＲＳ６５６は、前述した自律制御で車両からの外乱に対応しつつ、乗員に対して必要なサービスを提供する。以下の説明においても同様である。
【０３４７】
さらに、車両走行中においてシートロボット６００は車両が旋回するときには（Ｓ２０１９）、ヨーレイトセンサによりヨーレイトをリアルタイムに検出し（Ｓ２０２１）、旋回Ｇに応じて腕状のマニュピレータ６０２が子供を適切に保持するように制御する（Ｓ２０２３）。
【０３４８】
続いて、シートロボット６００は車両が減速したときには（Ｓ２０２５）、減速度Ｇが所定レベル以上であるか判断し、減速度Ｇが所定レベル以上であるときには（Ｓ２０２７）、ステップ２０２３の場合と同様に、減速度Ｇに応じて腕状のマニュピレータ６０２が子供を適切に保持するように制御する（Ｓ２０２９）。
【０３４９】
さらに、子供からサービス動作の要求があると（Ｓ２０３１）、ＣＲＳ６５６は子供の動作をチェックして気分を推定してから、前述したエンタテイメント動作等を実行する（Ｓ２０３５）。
【０３５０】
また、上記ステップ２０３１で、子供からサービス動作の要求がない場合には、図４２で示すように、シートロボット６００は予め付加されている機能に基づいて、子供の心拍数、体温、脳波等の体調チェックを実行して、子供が車酔いしていなかを確認する（Ｓ２０３７）。
【０３５１】
シートロボット６００が、子供が車酔いしていると判断すると（Ｓ２０３９）、シートロボット６００とＣＲＳ６５６が協調し、例えば運転席のナビゲーション画面に子供の体調が良くない旨の表示を出して運転者に停車を提案し（Ｓ２０４１）、車両が停車するまで子供を癒す動作を繰返す（Ｓ２０４３、Ｓ２０４５）。
【０３５２】
また、子供が寝た場合には（Ｓ２０４７）、シートロボット６００及びＣＲＳ５６５が協調して、他の乗員の要求に応じ、例えばエンタテイメント等の動作を実行する（Ｓ２０４９）。
【０３５３】
さらに、ステップ２０５１以降は車両が駐車した場合のフロー例を続けて示している。シートロボット６００は、子供がシートから降りたいかを問い合わせ（Ｓ２０５１）、子供が降りたいとの態度を示したら、子供をサポートしていた腕状のマニュピレータ６０２等を緩め、必要によりシートを回転させ、シート高さを下げて、子供が降りられるようにする（Ｓ２０５３、Ｓ２０５５、Ｓ２０５７）。
【０３５４】
ステップ２０５１で、子供が降りたいとの態度を示さない場合は、車両内でシートロボット６００及びＣＲＳ６５６が協調して子供の面倒をみる。他の乗員が降車してしまった場合には、シートロボット６００及びＣＲＳ６５６は自律制御で、車内温度、エアコン（Ａ／Ｃ）等の車内環境を制御すると共に、車両に近付く接近者についても監視する（Ｓ２０６３）。乗員が子供を長期に置き去りにしたような場合には、置き去りは止めるように乗員へ警告する（Ｓ２０６１）。
【０３５５】
最後に、乗員が降車する際には（Ｓ２０６７）、シートロボット６００はＣＲＳ６５６がシートの所定位置６０１から外され、乗員と共に車両を出たことを検知すると自律制御で夜間監視等の動作を継続する。（Ｓ２０６９）。また、ＣＲＳ６５６がシートの所定位置６０１に残されままであることを検知すると、ＣＲＳ６５６と協調しながら自律制御で夜間監視等の動作を継続する。
【０３５６】
上記第１２実施例は、第２のＣＲＳとしてのシートロボット６００が、第１のＣＲＳ５６５と協調して乗員にサービスを提供する形態を示したが、勿論、シートロボット６００のみを車両内に配置させるだけでも乗員に好ましいサービスを提供できる。さらに、このシートロボット６００に歩行機能又は走行機能を付加してもよい。さらに、シートロボット６００にベビーカー或いは車椅子としての機能を付加して車外に持ち出すことができるように構成してもよく、その際には前記ＣＲＳと協調した動作を行うように設定してもよい。
【０３５７】
さらに、第１３実施例として車両を構成する部品の一部であるシートがＣＲＳである例を示す。
【０３５８】
図４３で、ＣＲＳ７１０は前席用シートと一体に形成され、ＣＲＳ７２０は後席用シートと一体に形成されている。シートのヘッドレストにはＣＣＤ、マイク、車内のガス状態を検出するガスセンサ等を備え、ＣＲＳ７１０、７２０の頭部７１４、７２４となる。前席用のＣＲＳ７１０及び後席用のＣＲＳ７２０は、前記第１２実施例のロボットシートと同様に各々が腕状のマニュピレータ７１２、７２２を有している。
【０３５９】
本実施例の前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０も、本発明のＣＲＳの一形態である。ＣＲＳ７１０及びＣＲＳ７２０は、車両のシートと一体型であり移動手段を有していないが、他のＣＲＳと同様に認識部及び思考部を備え、車両内において乗員に好ましいサービスを提供する。第１から第８実施例として説明したＣＲＳ１００と同様に自律制御を実行しながら乗員に種々のサービスを提供する。
【０３６０】
図４４及び図４５に示したフローチャートを参照して、上記前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０が互いに通信する機能を備え、協調して乗員にサービスを提供する動作例を説明する。
【０３６１】
図４４において、ＣＲＳ７１０、７２０は車両に接近する者がいると登録者であるか、否かを確認する（Ｓ３００１）。登録者である場合にはあいさつをする（Ｓ３００３）。
【０３６２】
上記前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０は、着座した乗員が大人であるか、否かを判断し（Ｓ３００５）、子供である場合には子供用のサポートシステムを稼動させる（Ｓ３００９）。この子供用のサポートシステムは前記第１２実施例でのロボットシート６００が実行した動作と同様であり、ここでの重複した説明は省略する。
【０３６３】
運転席のシートとなる前席用ＣＲＳ７１０は、着座した乗員が大人である場合に（Ｓ３００５）、飲酒していないかチェックし（Ｓ３０１１）、ガスセンサ等によりアルコール成分が検出された場合には、車両システムをロックし、警告を発する（Ｓ３０１３）。
【０３６４】
ステップ３０１１で、運転者が飲酒していないと判断すると、前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０はサポート動作を開始する（Ｓ３０１７）。
【０３６５】
前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０は車載システムからの情報を得て、車両のシフト位置を検出し、前進するか、後進するかを検知する（Ｓ３０１９）。車両が前進すると判断した場合には、アクセルがオンされても腕状のマニュピレータ７１２、７２２を緩めたままとする（Ｓ３０２３）。一方、車両が後進すると判断した場合には（Ｓ３０１９）、アクセルがオンされたことを検知した際には腕状のマニュピレータ７１２、７２２で乗員が前方に傾かないように適度に締付ける（Ｓ３０２７）。
【０３６６】
さらに、図４５に示すように、車両走行中において前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０は車両が旋回するときには（Ｓ３０２９）、ヨーレイトセンサによりヨーレイトをリアルタイムに検出し（Ｓ３０３１）、旋回Ｇに応じて腕状のマニュピレータ７１２、７２２が乗員を適切に保持するように制御する（Ｓ３０３３）。
【０３６７】
続いて、前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０は、車両が減速したときには（Ｓ３０３５）、減速度Ｇが所定レベル以上であるかを判断し、減速度Ｇが所定レベル以上であるときには（Ｓ３０３７）、ステップ３０３３の場合と同様に、減速度Ｇに応じて腕状のマニュピレータ７１２、７２２が乗員を適切に保持するように制御する（Ｓ３０３９）。
【０３６８】
また、前席用ＣＲＳ７１０は、車載システムからの情報で運転者が暴走行為をしていると認識したときには、車載システムと協調してエンジン出力の低下、エンジンブレーキ制御を行うと共に、運転者に警告を発する（Ｓ３０４３）。
【０３６９】
通常運転であると判断されている場合に（Ｓ３０４１）、乗員からサービス動作の要求があると（Ｓ３０４５）、前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０はその要求をチェック（Ｓ３０４７）する。例えば、乗員の要求が物品の運搬であり、腕状のマニュピレータ７１２、７２２が届く範囲にある物品であれば、前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０を動作させることで物品を捕捉し、運搬する。必要に応じて、腕状のマニュピレータ７１２、７２２間での手渡しも行う（Ｓ３０４９）。
【０３７０】
さらに、前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０は、ヘッドレストのＣＣＤ等を用いて監視動作を実行する。その際、前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０は監視エリアを分担し、チェックを行う。特に前席用ＣＲＳ７１０は運転者の状態も監視する（Ｓ３０５１）。
【０３７１】
最後に、前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０は乗員が降車すると（Ｓ３０５３）、協調しながら自律制御で夜間監視等の動作を継続する（Ｓ３０５５）。
【０３７２】
上記第１３実施例は、ＣＲＳがシートである場合を示したが、車両を構成する他の物品でもよい。また、前席用ＣＲＳ７１０及び後席用ＣＲＳ７２０が協調して乗員にサービスを提供する形態を示したが、勿論、前席用ＣＲＳ７１０と後席用ＣＲＳ７２０が独立して乗員にサービスを提供する形態でもよい。このようなＣＲＳは車両に既存の部品を用いるので車両内にロボットを設けても車室内のスペースを従来と同様に維持できる。
【０３７３】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【０３７４】
なお、特許請求範囲の認識手段はＣＲＳ認識部１２に、思考手段はＣＲＳ思考部１４に、移動手段はレール２及びスライダ１０８に、動作手段は腕１１４，１１６及びハンド１０４ＨＡ、１０６ＨＡに、諸条件は車両乗員情報２０にそれぞれ対応している。
【０３７５】
【発明の効果】
【０３９３】
また、請求項１記載の発明によれば、移動体内の所定位置に設定されたロボットが乗員と間で双方向のコミュニケーションを取りながら動作（サービス）する。よって、乗員は移動体内で快適且つ安全に過ごすことができるとともに、移動体の構成部品をロボット化するので乗員の居住スペースを減少させることなく、乗員へのサービスを提供できる。
また、請求項２に記載の発明によれば、好ましい付加機能を有したシートがロボットであるので、例えばチャイルドシート等を別途準備することなく、自律制御により子供を安全に保持できる。さらに、子供に限らず大人に対しても安全で、体調にまで配慮するロボットなる。
また、請求項３に記載の発明によれば、ロボットが腕状のマニュピレータを備えるので移動できなくても物品の受け渡し等を行うことができる。さらに、移動体が急発進・停車等して過度の減速度が生じたときに腕状のマニュピレータが乗員を抱込むように設定しておけば、乗員の保護により効果的である。
【０３９４】
また、請求項４記載の発明によれば、移動体内で乗員が欲するような好ましいサービスをロボットが実行するので、乗員は移動体内で快適かつ安心して過ごすことができる。
【０３９５】
また、請求項１〜１２に記載される発明によれば、ロボットは自発行動モードを含む構成で自律制御しており、乗員とコミュニケーションを取りながら必要なサービスを提供することができる。
【０３９６】
また、請求項１３に記載される発明によれば、移動体側にも通信機能が設けられロボットと交信可能な状態であるので移動体側で得た情報をロボットが把握できる。
【図面の簡単な説明】
【図１】ＣＲＳの概略構成を機能ブロックで示す図である。
【図２】ステーションワゴンタイプの車両にＣＲＳを搭載した第１実施例について示す図である。
【図３】第１実施例のＣＲＳの各部構成として採用できる具体的な要素をブロックで示す図である。
【図４】第１実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際の基本フローチャートである。
【図５】第１実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際の基本フローチャートである。
【図６】第１実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際の基本フローチャートである。
【図７】第１実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際の基本フローチャートである。
【図８】第１実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際の基本フローチャートである。
【図９】第１実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際の基本フローチャートである。
【図１０】第２実施例でＣＲＳが実行する運搬動作の詳細を示すフローチャートである。
【図１１】第２実施例でＣＲＳが実行する運搬動作の詳細を示すフローチャートである。
【図１２】第２実施例でＣＲＳが実行する運搬動作の詳細を示すフローチャートである。
【図１３】第２実施例でＣＲＳが実行する運搬動作の詳細を示すフローチャートである。
【図１４】第２実施例でＣＲＳが実行する運搬動作の詳細を示すフローチャートである。
【図１５】第３実施例でＣＲＳが実行する監視動作の詳細を示すフローチャートである。
【図１６】第３実施例でＣＲＳが実行する監視動作の詳細を示すフローチャートである。
【図１７】第３実施例でＣＲＳが実行する監視動作の詳細を示すフローチャートである。
【図１８】第４実施例でＣＲＳが実行する夜間監視動作の詳細を示すフローチャートである。
【図１９】第５実施例でＣＲＳが実行する娯楽動作例を示したフローチャートである。
【図２０】第５実施例でＣＲＳが実行する娯楽動作例を示したフローチャートである。
【図２１】第５実施例でＣＲＳが実行する娯楽動作例を示したフローチャートである。
【図２２】第６実施例でＣＲＳが車両衝突時に実行する動作例を示したフローチャートである。
【図２３】第６実施例でＣＲＳが車両衝突時に実行する動作例を示したフローチャートである。
【図２４】第７実施例でＣＲＳが車両横転時に実行する動作例を示したフローチャートである。
【図２５】第７実施例でＣＲＳが車両横転時に実行する動作例を示したフローチャートである。
【図２６】第８実施例でＣＲＳが車両水没時に実行する動作例を示したフローチャートである。
【図２７】第８実施例でＣＲＳが車両水没時に実行する動作例を示したフローチャートである。
【図２８】第９実施例でＣＲＳが車両清掃時に実行する動作１を示したフローチャートである。
【図２９】第９実施例でＣＲＳが車両清掃時に実行する動作２を示したフローチャートである。
【図３０】第９実施例でＣＲＳが車両清掃時に実行する動作３を示したフローチャートである。
【図３１】図２に示したＣＲＳをコンパチブルタイプの車両に車載する変形例について示す図である。
【図３２】ＣＲＳが携帯電話内蔵型で形成された例について示す図である。
【図３３】インストルメントパネから飛び出す様に構成して、よりアミューズメント機能を高めたＣＲＳの例について示す図である。
【図３４】第１０実施例の歩行機能を有するＣＲＳについて示した図である。
【図３５】第１０実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際のフローチャートである。
【図３６】第１０実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際のフローチャートである。
【図３７】第１０実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際のフローチャートである。
【図３８】第１０実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際のフローチャートである。
【図３９】第１１実施例の車両に対して着脱自在であるＣＲＳについて示す図である。
【図４０】第１２実施例の、車両に対して着脱自在である第１のＣＲＳと、シート形状に構成された第２のＣＲＳについて示す図である。
【図４１】第１２実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際のフローチャートである。
【図４２】第１２実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際のフローチャートである。
【図４３】第１３実施例のシートと一体に形成されたＣＲＳについて示す図である。
【図４４】第１３実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際のフローチャートである。
【図４５】第１３実施例でＣＲＳが自律制御を行いながら種々の動作を実行する際のフローチャートである。
【符号の説明】
１ 車両（移動体）
２ レール
１０、１００ ＣＲＳ（移動体搭載用ロボット）
１２ 認識部
１４ 思考部
１６ 移動部
１８ 作動部
１０２ 頭部
１０４，１０６ 腕
１０４ＨＡ、１０６ＨＡ ハンド
１１２ 目（ＣＣＤ）
１１３ 口（スピーカ）
１１４ 耳（マイクロフォン）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a robot mounted on a moving body such as an automobile, a ship, a passenger train, a passenger plane, and the like, and particularly according to a situation in which the robot has autonomy and is placed on its own, or by an occupant. This invention relates to a robot mounted on a moving body that executes a necessary operation in accordance with the instructions.
[0002]
In this specification, the robot mounted on the moving body means a robot that performs a preferable operation (service) corresponding to various conditions received from the moving body or the occupant in relation to the moving body. The robot is not limited to a dedicated one or a robot fixed to a moving body. For example, a robot that is used for other purposes in a place away from a moving body, but provides a service corresponding to various conditions received from the moving body or an occupant when it is brought into the moving body. Included in onboard robots.
[0003]
[Prior art]
In recent years, many proposals have been made so that, for example, an environment in an automobile (hereinafter simply referred to as a vehicle) becomes comfortable. For example, Japanese Patent Laid-Open No. 11-272640 discloses a technology of an agent device that communicates with a driver so that the driving environment is comfortable. In this technology, an anthropomorphic agent appears on the screen and transmits various information to the driver. This agent learns the driver's response and reaction, changes his appearance and clothes, becomes an agent specific to the driver, and makes the driving environment comfortable.
[0004]
[Problems to be solved by the invention]
However, the conventionally proposed devices including the agent device have a limit in providing amusement and a comfortable driving environment because they are images that appear on a fixed screen. Further, since the main focus is on improving the driver's environment among the occupants, there is a problem that improvement in comfort for the occupant sitting on the rear seat is not considered.
[0005]
Also, conventionally proposed devices for vehicles such as audio or navigation systems are realized in a form that unilaterally provides a predetermined service to the occupant under certain conditions, and communicates with the occupant as necessary. Since it was not realized in the form of providing services while taking the vehicle, there was a limit to the comfort given to passengers.
[0006]
Recently, robots having various entities have been proposed. Such robots have been proposed mainly for indoor pets or work assistance. However, no proposal has yet been made for a robot that can provide a service that satisfies the occupant while responding to the situation in the vehicle where the surrounding situation changes every moment. Furthermore, regarding the robot for the vehicle, since the space in the vehicle is limited, it is necessary to consider that it is efficiently arranged.
[0007]
Therefore, a main object of the present invention is to provide a robot mounted on a moving body that allows all passengers including the driver to spend comfortably in the vehicle.
[0008]
[Means for Solving the Problems]
[0063]
  Claim 1Based on the result of the recognition means, the recognition means for recognizing the conditions received from the moving body or the occupant, the thinking means for thinking to cope with the conditions recognized by the recognition means, and A robot mounted on a moving body, which includes an operation means for performing a necessary operation, and operates in two-way communication with the occupant.InThe robot can also be achieved by a moving body mounting robot characterized in that the robot is integrated with a sheet constituting the moving body.
[0064]
  Claim 1In the described invention, the robot set at a predetermined position in the moving body operates (services) while performing bidirectional communication with the occupant. Therefore, passengers can spend comfortably and safely in the moving body.In addition, since the components of the moving body are converted into robots, services can be provided to passengers without reducing the passenger's living space.
    According to a second aspect of the present invention, in the robot for mounting a moving body according to the first aspect, the robot executes a function added to the seat based on a result of the thinking means. be able to.
    Further, in the mobile body mounting robot according to claim 2, as a function added to the seat, tightening a seat belt, driving a heating / cooling means provided in the seat, and adjusting the temperature, Drive the blood pressure measurement means provided in the seat to measure the occupant's blood pressure; drive the pulse measurement means provided in the seat to measure the occupant's heart rate; rotate the seat; Moving the sheet, tilting the sheet, and the like.
    In the invention of claim 2, since the seat having a preferable additional function is a robot, for example, a child can be safely held by autonomous control without separately preparing a child seat or the like. Furthermore, it will be safe for adults as well as children, and will be a robot that takes into consideration the physical condition.
  According to a third aspect of the present invention, in the mobile body mounting robot according to the first aspect, the seat may further include an arm-shaped manipulator.
  In the invention of claim 3, since the robot is provided with an arm-shaped manipulator, it is possible to deliver the article even if it cannot move. Furthermore, it is more effective to protect the occupant if the arm-shaped manipulator is set so as to hold the occupant when the mobile body suddenly starts / stops or the like and excessive deceleration occurs.
  Such a moving body can be provided as an extremely user-friendly moving body because the occupant can spend comfortably in the moving body and can cause the robot to perform a monitoring operation after leaving the moving body.
[0065]
The robot is realized in a form in which the robot is arranged at a predetermined position in the moving body. However, by setting a plurality of predetermined positions in the moving body, the robot can provide services to the passengers in the rear seat.
[0066]
Further, this robot does not have to be configured only for use in the moving body, and can be separated, for example, a pet robot for amusement at a passenger's home or an auxiliary robot itself used as a work assistant, or these. In some cases, a part thereof may be arranged at the predetermined position.
[0067]
  AndClaim 4As described inClaims 1-3Also in the mobile body mounting robot described above, an autonomous thinking unit for the robot itself to act is set in the thinking unit, and the autonomous thinking unit performs the operation unit based on the conditions recognized by the recognition unit. It is preferable to adopt a configuration in which it is driven to execute autonomous control.
[0068]
  Claim 4According to the described invention, since the robot performs a desirable service that the occupant desires in the moving body, the occupant can spend comfortably and safely in the moving body.
[0072]
  Claims5As claimed in4In the mobile robot described above, it is more preferable that the autonomous control further includes a self-issued movement mode in which the robot takes a necessary action regarding an occupant based on the conditions recognized by the recognition unit. .
[0073]
  Claims6As claimed in5In the mobile body mounting robot described above, the behavior in the self-issued movement mode includes occupant registration, nighttime monitoring, monitoring of falling objects in the mobile body, monitoring assist during traveling of the mobile body, monitoring assist when moving into and out of the mobile body, movement It preferably includes at least one selected from cleaning of the body, collection of dust, and window cleaning.
[0074]
  Claims7As claimed in5The mobile body mounting robot described above is preferably configured such that the self-issued movement mode is executed in anticipation of the behavior of the occupant.
[0075]
  Claims8In the mobile body mounting robot according to any one of claims 1 to 4, it is preferable that the thinking unit drives the operating unit in accordance with an occupant's command.
[0076]
  Claims9As described in claim 18In the mobile body mounting robot according to any one of the above, it is preferable that the recognition unit includes at least a visual unit and / or a hearing unit in order to recognize the various conditions.
[0077]
  Claims10As described in claim 19In the robot for mounting a moving body according to any one of the above, it is preferable that the robot includes an interface unit for connection with an external input device.
[0078]
  Claims11As claimed in10The mobile body mounting robot described above preferably has a configuration in which the robot has a communication function and is remotely operated by the external input device.
[0079]
  Claims12As claimed in10In the described mobile body mounting robot, a configuration in which the robot is connectable to a communication device is preferable.
[0080]
  That is, the claim1~12In the invention described inIsAutonomous control is performed with a configuration including the self-issued movement mode, and necessary services can be provided while communicating with the occupant while corresponding to the behavior of the moving body.
[0081]
  Claims13As claimed in10Preferably, the robot for mounting on the moving body includes a communication function for communicating with a communication device provided on the mobile body side, and uses information obtained from the mobile body side for the autonomous control. .
[0082]
  Claim13In the described invention, since the communication function is also provided on the mobile body side and communication with the robot is possible, the robot can grasp the information obtained on the mobile body side. Therefore, even a robot mounted on a mobile body with a limited action range can be used. Insufficient information can be supplemented and used for the autonomous control.
[0083]
  In addition,The recognition unit and the thinking unit may be configured not only in the form of being provided only on the robot side but also in a form in which a part thereof is set on the moving body side. Any configuration may be used as long as the robot can substantially execute various operations for occupant service.
[0099]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be specifically described with reference to the drawings, taking a vehicle as an example of a moving body. Before that, the basic configuration of the in-vehicle robot (hereinafter referred to as CRS) of the present invention and its An outline of the function will be described.
[0100]
FIG. 1 is a diagram showing a schematic configuration of the CRS 10 in function blocks. The CRS 10 includes a recognition unit 12 that recognizes various conditions (hereinafter referred to as vehicle occupant information 20) received from a vehicle or a passenger. The recognition unit 12 includes various sensors provided on the CRS 10 main body side for recognizing the vehicle occupant information 20, various sensors attached to the vehicle side, a navigation device, and the like, and further includes vehicle occupant information 20 recognized by these sensors and the like. The present invention can be realized by a processing device such as a CPU that performs predetermined processing. As the sensor used here, for example, a self-position detection sensor that detects where the CRS 10 is located, an auditory sensor that detects sound, a tactile sensor that detects contact with the CRS 10, and a peripheral sensor There are a CCD device that visually captures the state, a gas sensor that detects the atmosphere in the vehicle, and the like. Further, since the CRS 10 is mounted on a vehicle, for example, a sensor that detects acceleration, deceleration, vertical acceleration, yaw rate, etc. generated by vehicle travel, the state of an ignition (I / G) switch, steering angle, throttle opening In addition to a sensor for detecting vehicle information, various types of sensors for detecting vehicle information are also included. The vehicle state is included in the vehicle occupant information 20.
[0101]
What kind of sensor is used to configure the recognition unit 12 of the CRS 10 may be appropriately selected in consideration of a function expected of the CRS 10. In addition, the vehicle occupant information 20 recognized by the recognition unit 12 includes various information related to the user. For example, for information that requires data recording, such as user registration information, a storage unit may be provided in the recognition unit 12 and stored, and updated sequentially. In addition, since the data related to these users becomes a reference when the thinking unit 14 to be described later makes various determinations, it is preferable to store the data in the thinking unit 14 so that the data can be updated sequentially. .
[0102]
The vehicle occupant information 20 recognized by the recognizing unit 12 is supplied to the thinking unit 14, but the vehicle occupant information 20 is supplied to the thinking unit 14 side after performing processing such as removing detection noise of the used sensor. Is preferred. Alternatively, the vehicle occupant information 20 requested by the thinking unit 14 may be supplied.
[0103]
The thinking unit 14 of the CRS 10 drives the moving unit 16 and the operating unit 18 based on the vehicle occupant information 20 recognized by the recognition unit 12. The thinking unit 14 corresponds to a central processing unit of the CRS 10 and includes various programs for driving the moving unit 16 and the operating unit 18 based on the vehicle occupant information 20 supplied from the recognition unit 12.
[0104]
This program includes various services for passengers including drivers in the vehicle, monitoring for maintaining the safety of the vehicle, and emergency response when the vehicle encounters a collision, There are many things that regulate the operations performed by the CRS 10, such as those related to cleaning inside the vehicle, and those related to the communication when the CRS 10 and the vehicle have communication functions and communicate with each other.
[0105]
The thinking unit 14 includes, for example, a CPU (central processing unit) that performs data processing and control of the units 12, 16, and 18, and a ROM, RAM, and timer connected to the CPU via a bus line such as a data bus or a control bus. And so on. Various data and programs for control by the CPU are stored in advance in the ROM, and working memory and the like used by the CPU are stored in the RAM.
[0106]
The moving unit 16 is means for moving the CRS 10 main body around the vehicle. Depending on the range in which the CRS 10 is moved, for example, a rail is appropriately laid on the ceiling, door periphery, center console, etc. of the vehicle, and the moving motor is driven. The moving motor can be configured to apply a brake by a braking electromagnetic brake or a regenerative braking. However, the moving unit 16 is not limited to the moving unit 16 that can move the CRS 10 along a member fixed to the vehicle such as a rail. As described above, it is also possible to adopt an autonomous walking form in which the CRS 10 itself has an adsorbing means and can move without limitation of the moving range.
[0107]
The operation unit 18 is a means for executing a specific operation as a robot in which the CRS 10 performs a predetermined operation, for example, taking (capturing), moving, or operating an object in the vehicle. The operation means 18 is realized by a manipulator having a micro motor built in a joint, for example.
[0108]
When the CRS 10 performs an operation such as monitoring the driving state or the surroundings of the vehicle, the thinking unit 14 causes a CCD device, an auditory sensor, and the like included in the recognition unit 14 to function.
[0109]
Further, the overall outline of the CRS 10 will be described. For example, an anthropomorphic human character or a pet character can be used. When configured in this way, it is a specific presence that can be touched by the occupant, and the impact on the occupant is greatly improved over the conventional device displayed on the screen. When the CRS 10 is realized as an existing character in this manner, for example, a CPU corresponding to the thinking unit 14 is arranged in the character, sensors corresponding to the eyes, nose, and ears are arranged as the recognition unit 12, and a manipulator The arm 18 is arranged to be the operation unit 18. The skin of the character is formed of a shock-absorbing resin for the safety of passengers. For example, the CRS 10 can be realized as a configuration in which the character moves in the vehicle along a rail laid at a predetermined position of the vehicle.
[0110]
By the way, as one of the features of the present invention, the CRS 10 has an autonomous control function for performing autonomous operation. In this autonomous control, the CRS 10 thinks by itself based on the vehicle occupant information 20 and takes necessary actions.
[0111]
Since the CRS 10 of the present invention is mounted on a vehicle, it receives acceleration, deceleration, vertical acceleration, yaw rate, etc. when the vehicle starts and travels, so it makes a judgment without waiting for assistance or instructions from the passenger. It is necessary to take necessary actions. Therefore, in this autonomous control, the CRS 10 has a basic function (self-holding mode) that can stably hold its own posture in the vehicle.
[0112]
Moreover, it is preferable that this autonomous control also has a function (self-issued movement mode) for taking a behavior preferable for the occupant from the viewpoint that the CRS 10 is mounted on the vehicle and corresponds to the environment. In this self-issued movement mode, for example, when an occupant gets into the vehicle, it moves to a position where it does not get in the way, or when the vehicle is overspeeding, a warning is issued, or a suspicious person approaches a parked vehicle. If there is a person who makes a warning sound, if the vehicle collides, rescue action is taken to protect the occupant, and there are cleaning actions such as picking up trash in the car and throwing it into the trash can, wiping a cloudy window, etc. The CRS 10 takes appropriate action without waiting for the passenger's instruction. For this purpose, the thinking means 14 includes an autonomous thinking unit SEL. Such determination by the autonomous thinking unit SEL is also realized based on, for example, a CPU and a program preset in the ROM. Note that the setting items of the self-issued movement mode included in the autonomous control may be appropriately determined by the user depending on the function expected from the CRS 10. However, it is bothersome for the user of the vehicle to properly instruct the CRS 10 about operations such as occupant registration, nighttime monitoring, fallen object monitoring, monitoring assistance during vehicle travel, monitoring assistance during boarding / exiting, occupant rescue and cleaning. Since it is basically a necessary item, it is desirable to set the item in the self-issued movement mode in advance.
[0113]
The self-holding mode is a basic function in the autonomous control of the CRS 10, but the self-issued movement mode is set in the thinking means 14 so as to be executed after receiving an instruction from the driver or the like. Also good. Of course, the autonomous control itself including the self-holding mode and the self-issued movement mode may be set to be executed after receiving an instruction from the driver or the like.
[0114]
Further, the CRS 10 is connected to an external input / output device 19 via an interface (I / F) 17. Examples of the input / output device 19 include a microphone and a speaker provided in the vehicle. However, the input / output device 19 is not limited to this, and includes a touch panel installed on the vehicle body side, a portable notebook personal computer, a portable information terminal (PAD). ), Mobile phones and the like. For example, in the event of an occupant's emergency, it is possible to input an instruction from the rescue center or the like to the CRS 10 via these devices, and the CRS 10 may take an action in response to the instruction. Also, for example, an instruction is input to the CRS 10 via a microphone or a notebook computer keyboard, and the CRS 10 performs an operation in accordance with the instruction or responds to the instruction on a screen on the speaker or the notebook computer. It is also possible to configure to perform a predetermined output. When a mobile phone or the like having a communication function is used, the CRS 10 can be instructed from the outside of the vehicle to perform a predetermined operation, and the execution status can be confirmed by voice output from the CRS 10. You can also Furthermore, the CRS 10 may have a communication function in advance.
[0115]
Furthermore, it is preferable to set a state in which a communication function is also provided on the vehicle side so that communication with the CRS 10 is possible. In order for the CRS 10 to perform autonomous control as described above, the thinking unit 14 performs the thinking process based on various conditions recognized by the recognition unit 12. If the CRS 10 and the vehicle have a communication function and the CRS 10 can use information on the vehicle side, the recognition unit 12 and the thinking unit 14 need to be provided on the main body side of the CRS 10 in order for the CRS 10 to perform autonomous control. Disappears.
[0116]
That is, a part of the recognition unit 12 and the thinking unit 14 is provided on the vehicle side, and the CRS 10 can use the information to execute the autonomous control. Further, in a state where a part of the recognition unit 12 and the thinking unit 14 is set to overlap both the CRS 10 and the vehicle, the CRS 10 and the thinking unit of the vehicle communicate with each other, and the CRS 10 performs an optimal action based on the result. A more preferable form can be realized.
[0117]
In particular, when the CRS 10 is provided with a walking function, it is independent of the vehicle. Therefore, it is assumed that the CRS 10 is taken out of the vehicle. In such a case, it is possible to monitor the state of the vehicle parked in a place where the CRS 10 having a communication function is separated, or to release the door lock when the CRS 10 approaches the vehicle. Can provide a higher level of service.
[0118]
As described above, since the CRS 10 of the present invention has an autonomous control function, it can provide a suitable service without making the occupant aware of it, and also provide a service according to an instruction from the occupant. Therefore, passengers including the driver can spend comfortably in the vehicle.
[0119]
Further embodiments of the present invention will be described below with reference to the drawings.
[0120]
2 to 9 show a first embodiment of the present invention. The first embodiment widely illustrates the registration of the user from the start of use of the vehicle, the autonomous control operation in preparation for the start of the vehicle, the control operation during traveling of the vehicle, the control operation after stopping the vehicle, etc. executed by the CRS. Is. It is to be noted that the CRS operation shown below includes a variety of sensors and the like. The CRS recognition unit 12 recognizes the vehicle occupant information 20 and the CRS thinking that thinks based on the signal supplied from the recognition unit 12. This is executed by controlling the operation of the CRS main body by the unit 14.
[0121]
FIG. 2 shows a first embodiment in which a CRS 100 is mounted on a station wagon type vehicle 1. A rail 2 for moving the CRS 100 is laid on the ceiling of the vehicle 1.
[0122]
The CRS 100 has an anthropomorphic appearance (main body) including a head 102 and left and right arms 104 and 106 operatively connected to the head 102. The head 102 of the CRS 100 is movably disposed on the rail 2 via the connection arm 110. A slider 108 is connected to the rail 2 side, and a moving motor (not shown) for moving along the rail 2 and a rotating motor (not shown) for rotating the connecting arm 110 are arranged inside the slider 108. It is installed. Therefore, the CRS 100 main body can move back and forth in the vehicle 1 along the rail 2 and can further move within the length range of the connecting arm 110 by rotating around the slider 108. further. You may comprise this connection arm 110 with the member which can be extended-contracted.
[0123]
The head 102 is connected to the connection arm 110 via the head rotating unit 109. A motor (not shown) is disposed in the head rotation unit 108, and the CRS 100 main body can be rotated in both the left and right directions at the lower part thereof, and can be tilted and stopped at a desired position. Therefore, when the CRS 100 main body moves, the slider 108 moves along the rail 2, the connection arm 110 rotates around the slider 108, and finally, the head rotating unit 109 is driven to perform frontal alignment. Can be moved to any position in the vehicle. The CRS 100 includes a measuring unit for measuring the mass of the article to be transported. This measuring unit is disposed in any one of the head 102, the slider 108, and the head rotating unit 109.
[0124]
The head 102 is formed with, for example, a nose 111 using a gas sensor as an odor sensor, an eye 112 using a CCD as a visual sensor, an ear 114 using a microphone as an audio sensor, and a mouth 113 using a speaker. Various sensors for detecting acceleration, deceleration, yaw rate, vertical acceleration, ON / OFF of IG, etc. for detecting the state of the vehicle, as well as a gyro or three-axis acceleration sensor for recognizing the coordinate system are also arranged therein. . Since the various sensors for detecting the vehicle behavior are arranged on the conventional vehicle body side, it is also possible to obtain a detection signal from the vehicle body side to which a communication function is added. However, by integrating the sensor functions in the CRS 100 as in the present embodiment, it is possible to reduce the equipment on the vehicle body side.
[0125]
Further, hands 104HA and 106HA for gripping an object are formed at the tips of the left and right arms 104 and 106 of the CRS 100. The hands 104HA and 106HA are provided with a tactile sensor formed of a pressure-sensitive conductive rubber matrix or the like in order to catch an object at a predetermined pressure.
[0126]
The head 102 is provided with a CPU (not shown) as the above-described central processing unit, and based on vehicle occupant information (conditions received by the CRS 100 from the vehicle or the occupant) recognized (detected) by the plurality of sensors, The slider 108, the head rotating unit 109, and the connection arm 110 are driven to move to predetermined positions, and necessary operations are performed. In the case of an operation such as forward monitoring, the CRS 100 is moved to a predetermined position by the slider 108, and the head rotating unit 109 is rotated so that the eyes (CCD) 112 and the ears (microphones) 114 are directed in necessary directions. And then monitor.
[0127]
As described above, the CRS 100 has an autonomous control function. When executing the self-holding mode, which is a basic function of the CRS 100, the CRS 100 stabilizes its posture, particularly based on signals from sensors that detect acceleration, deceleration, yaw rate, vertical acceleration, steering angle, and the like. Act like that. For example, the left and right arms 104 and 106 may be extended to the ceiling to prevent shaking, the moving and operating motors may be strongly braked to be in a locked state, the arm 110, the head rotating unit 108, and the arm. The posture may be set so that the CRS 100 main body can be balanced by driving 104 and 106 cooperatively.
[0128]
FIG. 3 is a block diagram showing specific elements that can be adopted as the components of the CRS 100 of the first embodiment. The CRS recognition unit 12, the CRS thinking unit 14 and the like in FIG. 3 correspond to those in FIG. 1, and the same components are denoted by the same reference numerals.
[0129]
Various sensors and devices for obtaining vehicle occupant information are connected to the CRS recognition unit 12. The CRS recognition unit 12 supplies the information to the CRS thinking unit 14 while processing or storing the information as necessary.
[0130]
It is preferable that the CRS recognition unit 12 includes a user registration storage unit 21 and provides the CRS thinking unit 14 with recognition information on whether or not the user is a registered user. When a system for registering vehicle users is adopted, the user registration information is also one of vehicle occupant information. The functions of the user registration system may be set in the recognition unit 12, in which case the user's appearance, voice, password, user number, etc. are identified from the CCD, microphone, keyboard, etc. to identify the user. To do. The recognition unit 12 prompts registration when the user is not registered.
[0131]
Based on the user registration information from the user registration storage unit 21, the CRS thinking unit 14 accumulates predetermined occupant data 40 and sequentially updates it. When necessary, the operation instruction history and the operation history are called up and used for operation control of the CRS 100. The occupant data 40 may include data on behaviors related to occupants such as children who need to provide entertainment in the vehicle and take care of them.
[0132]
The CRS recognition unit 12 preferably includes a self-position recognition unit 22 so that the position of the vehicle can be recognized. This self-location information can be supplied from the navigation information recognition unit 23 that recognizes information from the navigation device. The navigation information recognizing unit 23 can recognize road infrastructure information such as a road on which the vehicle is traveling will soon become a curve, and can confirm the self position of the vehicle with the self position information. When the information is provided to the CRS thinking unit 14 as information for ensuring the stable operation of the CRS 100, the information is used to execute the autonomous program 33 that defines the autonomous control described above.
[0133]
Moreover, it is preferable that the CRS recognition unit 12 includes a charge detection unit 24 that detects a charge state of the CRS 100 itself. The charging information detected by the charging detection unit 24 is provided to the CRS thinking unit 14. An efficient power saving and charging program 38 is prepared on the CRS thinking unit 14 side so that the CRS 100 can always be driven. It is preferable that the charging program 38 is started in conjunction with or a part of the autonomous program 33 from the viewpoint that the CRS 100 is in an optimal charging state without any instruction from the user. It is more preferable to provide an emergency response battery in the CRS 100 main body.
[0134]
The CRS recognition unit 12 includes an external situation sensor processing unit 25. It is a processing unit for recognizing the environment inside and outside the vehicle by sensors such as a CCD and a microphone. The signals detected by these sensors are recognition information such as information outside the vehicle regarding traffic infrastructure such as distance between vehicles, road surface condition, approach of dangerous objects, signal approach, etc., and driver's doze information in the vehicle. When this recognition information is provided to the CRS thinking unit 14, the autonomous pattern 33, the motion pattern program 31, the motion correction program 32, the dialogue program 35, the fail safe program 36, the learning program 37, the voice control program 39, etc. It is executed as appropriate. For example, the CRS 100 uses voice to warn that the distance between vehicles is short, or alerts a sleeping driver to voice, and if it still does not happen, the arm 104, 106 is driven to shake Also execute.
[0135]
The CRS recognizing unit 12 may include a vehicle interface position shape / operation method recognizing unit 26 for recognizing a switch (SW) of each operation of the vehicle, an operation lever, a door knob, equipment, and a seat belt SW. preferable. Information from the vehicle interface position shape / operation method recognizing unit 26 is also provided to the CRS thinking unit 14 and is used for operation control of the CRS 100 in the same manner as the recognition information described above.
[0136]
Moreover, it is preferable that the CRS recognition unit 12 includes an article detection storage unit 27 that recognizes and stores an article position in the vehicle, its shape, a product name confirmation storage by voice, information on CCD image processing, and the like. The information from the article detection storage unit 27 is used when the CRS 100 executes transportation of an article according to an instruction from the passenger.
[0137]
The CRS recognizing unit 12 preferably includes an occupant state recognizing unit 28 that recognizes the position of the occupant, the presence / absence of movement, the number of occupants, the arrangement, the seat load, the sound, and the presence / absence of registration. These pieces of information are also provided to the CRS thinking unit 14 and are used for operation control of the CRS 100 in the same manner as the recognition information described above.
[0138]
Further, the CRS recognition unit 12 detects various vehicle control systems such as a vehicle behavior control device, ABS, a yaw rate from an electronically controlled suspension device, an acceleration G, a deceleration G, a road surface state up / down G detection signal, and a vehicle monitoring system. Signals from front and rear CCDs when installed, shift position from AT, shift signal, shift characteristics, engine ignition ON / OFF, steering angle, throttle opening, route setting information from navigation device, etc. It is preferable that the vehicle control system signal part 29 to acquire is included. These pieces of information are also provided to the CRS thinking unit 14 and used for operation control of the CRS 100 as described above.
[0139]
The sensor for detecting the yaw rate, acceleration G, deceleration G and the like may be provided on the CRS 100 side, or one provided on the vehicle side. Further, particularly for a vehicle whose power source is one of driving energy, the vehicle control system signal unit 29 may be set to acquire information on the function status of the hybrid (HV) and the fuel cell (FC).
[0140]
Further, the CRS recognition unit 12 preferably includes a diagnosis signal unit 30 that acquires a detection signal from a diagnosis device that diagnoses the state of the vehicle. When the CRS thinking unit 14 is provided with temperature, noise, and trajectory operation monitoring CCD information of each functional unit, a diagnosis program 36 is executed to check the presence or absence of a defective part. For example, the CRS 100 indicates the defective part by voice. If necessary, the vehicle can be urged to stop. Further, the CRS 100 may be allowed to access the navigation screen of the vehicle, and a warning may be displayed on the screen.
[0141]
Hereinafter, an operation (service) executed by the CRS 100 according to the first embodiment having the above-described configuration will be described with reference to a flowchart. This flowchart shows basic operations that the CRS 100 takes while executing autonomous control in a series of flows such as a pre-starting stage of a vehicle, running, and stopping.
[0142]
As described above, these flowcharts include a head 102 in which the CRS thinking unit 14 forms the body (main body) of the CRS 100 based on vehicle occupant information recognized by the CRS recognition unit 12 from various sensors, devices in the vehicle, and signals from each unit. The operation is performed with the arms 114, 116, etc. functioning.
[0143]
In addition, the example shown in this flowchart has shown about the example in case CRS100 is always in an autonomous control state after the use of a vehicle is started.
[0144]
4 to 9 show basic flowcharts when the CRS 100 executes various operations (services) while performing autonomous control. First, autonomous control is started by receiving an operation start signal in step 101 of FIG. 4 (hereinafter, the step may be simply indicated by S). As the operation start signal, for example, a sensor signal such as when the vehicle door is unlocked for the first time is used. In this way, when the vehicle is delivered from the manufacturer, the autonomous control is executed.
[0145]
When the operation start signal is received (S101), autonomous control is started (S103). In the autonomous control in step 103, as described above, the self-holding mode and the self-issued movement mode are executed.
[0146]
In the self-holding mode, the CRS 100 is set to take the following operation, for example. When the CRS 100 is located at the upper part of the vehicle central console box and is in a standby state, the shift signal is recognized in advance in response to a sudden disturbance due to a shift shock due to a change in the vehicle gear or a disturbance due to a change in the acceleration G. This is handled by braking control of G reverse inertia. In this braking operation, the slider 108 and the electromagnetic brake of the head rotating unit 109 are driven, and the head rotating unit 109 and the arms 114 and 116 of the CRS 100 are tilted. Similarly, posture control is executed against disturbance due to vehicle behavior by detecting vehicle speed, longitudinal acceleration G, turning G (yaw rate), vertical acceleration G, and the like. Furthermore, it is possible to set so that the posture control is executed based on the road surface detection by the eyes 112 (hereinafter referred to as the CCD 112) provided in the CRS 100 and the running stability signal from the electronically controlled suspension device. This self-holding mode is control executed for vehicle behavior (disturbance) that affects the posture of the CRS 100. Since vehicle behavior varies, there are various situations where the self-holding mode is executed. The specific situation in which the control in the self-holding mode is executed will become clearer in the flowchart shown later.
[0147]
The self-issued movement mode is an action that the CRS 100 voluntarily performs without receiving an instruction from the passenger. For example, when a driver's sidewalk is recognized by the CCD 112, a warning such as a voice is issued. Further, when it is detected that the occupant moves the seat, a warning is issued if it is determined that moving is dangerous.
[0148]
The self-holding mode and the self-issued movement mode are basic controls executed by the CRS thinking unit 14. The contents of the control are not limited to the examples given above. When the CRS 100 is subjected to disturbance due to vehicle behavior, it is a self-holding mode that is executed in order to stably maintain its posture, and it is preferable that the CRS 100 be executed without waiting for the user's instruction regarding the vehicle (service ) Is the self-issued mode. Also in step 105 and later described in order, the self-holding mode and the self-issued movement mode are in a functional state and are sequentially executed by the autonomous program 32 set in the CRS thinking unit 14.
[0149]
Note that the self-holding mode and the self-issued movement mode are not contradictory. There are cases where both the self-holding mode and the self-issued movement mode are executed, or one of them is executed.
[0150]
In the state where the autonomous control is started and the preparation on the CRS 100 side is completed as described above, the driver is recognized and confirmed when actually using the vehicle (S105). The operation of the CRS 100 is prepared and recognition of the driver is performed by a keyless entry, a door opening / closing signal, and the like. In step 105, the driver himself / herself, the registrant, or another person is recognized. Encourage first-time drivers to register. In addition, as long as CRS100 is performing autonomous control, you may set so that all the approachers to a vehicle may be recognized.
[0151]
In the next step 107, the past driving data is read, the driving skill and preference of the driver are referred to, and engine control, AT shift control constant, etc. are set. By making such preparations, it is possible to smooth the service that the CRS 100 executes for the occupant during vehicle travel.
[0152]
Next, it is determined whether there is only one occupant or a plurality of occupants (S109). If there is only one person, that is, only the driver, the initial home position is confirmed in step 111. If there are a plurality of processes, the process in the subflow (multi-person process flow) indicated by reference numeral 1 is executed, and after this process, the initial home position is confirmed (S111).
[0153]
FIG. 5 is a flowchart of the multi-person process. First, it is determined whether or not the boarding capacity is full (S201). In step 205, the position of each occupant outside the vehicle is confirmed and it is recognized from which door the vehicle has entered. At this time, the CRS 100 determines or predicts the seating position of the occupant and moves to an empty seat. In this multi-person process, the occupant is recognized using the CCD 112.
[0154]
If it is determined in step 201 that the number of passengers is full, in step 203, the CRS 100 informs the occupant of whereabouts in the vehicle by voice or the like. When there is a case where the occupant desires, it moves near the desired seat. In step 203, if it is rejected that the CRS 100 is close to all passengers, the CRS 100 moves to a predetermined safe position. For example, the upper position of the vehicle center console box, the rear luggage compartment position, or the like is set in advance as the safety position of the CRS 100.
[0155]
When the processing of step 203 and step 205 is completed, the occupant is confirmed and registered to an unregistered person (S207). As a result, the multi-person process is terminated and the process returns to the main flow of FIG. 4 to recognize the initial predetermined positions for the plurality of occupants (S111). In the case of the present embodiment, the flow up to step 111 is executed by the CRS 100 as the self-issued movement mode, and is controlled by the CRS thinking unit 14.
[0156]
In the next step 113, it waits for the driver to turn on the ignition (I / G), and when the I / G is not turned on (S115), it grasps what the driver is doing. It is recognized by the CCD 112 of the CRS 100 that the driver is operating a CD, a navigation device, an air conditioner, etc., or is making a mobile phone call. On the other hand, when the I / G is turned on, operation control preparation for traveling starts (S117). In this preparation, sensors and devices used for CRS 100 position and posture preparation and disturbance recognition so that control is executed in the optimum self-holding mode according to the characteristics of the vehicle running, turning, and stopping. Checking the status etc.
[0157]
In the following step 119, the shift position is determined by the shift operation, and it is determined whether the range is the forward range or the reverse range. If it is determined that the vehicle is in the forward range, it is next determined whether or not there is no action according to the passenger's instruction (S121). In this step 121, it is confirmed whether or not the occupant has given any instruction (service request) to the CRS 100. When this request instruction is given, an instruction operation according to the instruction from the occupant, for example, an operation such as transporting a beverage in the cup from the rear seat to the driver's seat is performed (S125). In step 125, an instruction operation is executed under the self-holding mode. That is, the CRS thinking unit 14 is provided with reverse inertia control according to the accelerator opening with respect to the acceleration G generated by the forward start so that the CRS 100 main body can cope with the vehicle shake due to the ND shift shock in the self-holding mode. Control is being executed. In this reverse inertia control operation, the brakes of the slider 108 and the head rotating unit 109 are driven strongly, and the head rotating unit 109 and the arms 114 and 116 of the CRS 100 are tilted, so that the beverage in the cup is Take care of yourself while avoiding spills. When the process of step 125 is completed, the process of step 127 is entered.
[0158]
In step 121, when there is no operation in accordance with the instruction of the passenger, in step 123, the CRS 100 moves forward in the center of the vehicle for forward monitoring, and in the self-holding mode as in step 125, the ND shift shock is performed. In response to the acceleration G generated by the forward start, reverse inertia control according to the accelerator opening is provided. In this step 123, the operation in which the CRS 100 moves forward in the center of the vehicle for forward monitoring is based on the self-issued movement mode. Even when the CRS 100 is not instructed, the safety of the vehicle is improved by monitoring the front with the driver. The CRS 100 is configured to execute the instruction even in the subsequent flow in response to an instruction from the occupant. At that time, the self-holding mode is set to perform an operation according to the passenger's request.
[0159]
Next, the process returns to step 119, and if it is determined that it is in the reverse range, the process proceeds to the process of the subflow 3 (reverse process flow) indicated by the reference number. When the process in the backward process flow is completed, the process in step 127 of the main flow in FIG. 4 is entered.
[0160]
The reverse processing flow is shown in FIG. Also in this reverse process flow, the process for the reverse vehicle is executed in the same manner as in the forward range described above. A determination is made as to “there is no action according to the passenger's instruction” (S211). When this instruction is given, an instruction operation according to the instruction from the passenger is performed (S215). The CRS thinking unit 14 performs forward inertial control in accordance with the accelerator opening degree with respect to the acceleration / deceleration G generated by the backward start so that the CRS 100 main body can cope with the vehicle shake due to the N-R shift shock in the self-holding mode. Execute in the same way as above. When the process of step 215 is completed, the process returns to step 127 of the main flow shown in FIG.
[0161]
If it is determined in step 211 that no action is taken by an occupant's instruction, the CRS 100 moves to the rear of the vehicle for rearward monitoring, and, as in step 215, in the self-holding mode, In order to cope with the shaking, the acceleration / deceleration G generated by the backward start is provided by the reverse inertia control according to the accelerator opening (S213). In this step 213, the operation in which the CRS 100 moves rearward for rearward monitoring is also based on the self-issued movement mode. The CRS 100 performs vehicle safety confirmation by monitoring the rear which is difficult for the driver to confirm even when there is no instruction. When the processing in step 213 is completed, the processing in step 127 of the main flow shown in FIG. 4 is entered.
[0162]
In step 127 of FIG. 4, the accelerator opening of the vehicle that has actually started is detected, and the CRS 100 executes control in the self-holding mode so as to correspond to the post-acceleration G that occurs due to vehicle start when moving forward or backward. Subsequently, a determination is made as to “no action according to passenger instruction” shown in FIG. 7 (S129). In step 121, the instruction is given by the occupant before starting. In step 129, it is determined whether the occupant has given any instruction (service request) to the CRS 100 during traveling. If it is determined in step 129 that there is an instruction, a sub-flow (instruction operation process flow) of reference number 6 starts. If it is determined in step 129 that there is an instruction, the process enters step 131 of the main flow.
[0163]
The instruction operation process flow is shown in FIG. As illustrated in FIG. 9, in this instruction operation processing flow, it is determined in order of steps 221 and 223 whether the operation content instructed by the occupant is a transportation operation or a monitoring operation. Processing based on this is executed. When the operation process instructed by the occupant is completed, the process returns to the instruction confirmation state (S129) shown in FIG. 7 again, and the process according to the main flow is continued. The transporting operation and the monitoring operation shown in FIG. 9 will be described in detail in an embodiment described later, and are omitted here. The operation that the occupant instructs the CRS 100 is not limited to the above transportation and monitoring operations.
[0164]
Returning to the main flow shown in FIG. 7, processing executed after step 131 will be described. In step 131, it is checked whether the state of charge (SOC) of the CRS 100 is a predetermined value. The processing here depends on the self-issued movement mode. As the CRS 100 checks the state of charge in this way, the driver can expect a service from the CRS 100 without checking the state of charge of the CRS 100 as appropriate. Therefore, a situation in which the instructed operation is not executed because the CRS 100 is insufficiently charged during traveling is avoided.
[0165]
When it is confirmed in step 131 that charging is insufficient, charging to the CRS 100 is performed using the charging means preset in the CRS 100 in step 135. Here, the charging means that can be used by the CRS 100 will be described. Since the CRS 100 is mounted on the vehicle, for example, conversion power generation using vibration energy of the vehicle, conversion using thermal energy such as engine heat, temperature difference inside and outside the vehicle, and the like. Power generation, FC (fuel cell) power generation, power generation using regenerative braking in HV (hybrid), and the like are preferable. A battery for driving the CRS 100 may be housed in the body of the CRS 100, or may be disposed at a predetermined position in the vehicle so that power is supplied to the CRS 100 via a cable. If a configuration is adopted in which power is supplied to the CRS 100 via a cable, the CRS 100 can continue service to the occupant while performing charging (S135). Further, a solar cell may be used to drive the CRS 100. What is necessary is just to arrange | position a solar cell on the upper surface of a vehicle ceiling. The CRS 100 includes an emergency spare battery in the main body.
[0166]
If the SOC is greater than or equal to the set value in step 131, the process proceeds to step 133 when the process of step 135 is completed, and it is determined whether or not the vehicle is in a stopped state. If it is determined that the vehicle is not in a stopped state but is running, the process returns to step 129 and the same processing is repeated. On the other hand, if it is determined in step 133 that the vehicle is in a stopped state, it is determined whether or not the IG is in an OFF state (S137). If it is determined in this step 137 that it is not in the OFF state, that is, if the IG is in the ON state, in step 139 it is prepared for a restart, and the process returns to step 117 shown in FIG. On the other hand, if it is determined in step 137 that the IG is in the OFF state, it is determined whether there is a passenger in the vehicle (S141). If it is determined in step 141 that there is no passenger, the process returns to step 105 shown in FIG. On the other hand, if it is determined in step 141 that there is an occupant, the control waits for autonomous control (S143) and determines whether the occupant is moving out of the vehicle (S145). If it is determined in step 145 that the occupant is moving out of the vehicle, the greeting set in advance in step 147 is voiced and the message “go to…? Depart from 113.
[0167]
If the occupant is not moving out of the vehicle at step 145 and if the processing of step 147 is completed, it is confirmed whether there is any further instruction from the occupant at step 149 shown in FIG. If not, the process returns to step 141 in FIG. 7 to repeat the process. On the other hand, when there is an instruction from the occupant, an instruction operation according to the instruction is performed (S151), and it is determined whether or not the driver has left the vehicle (S153).
[0168]
If it is determined in step 153 that the driver is not out of the vehicle, the process returns to step 141 in FIG. 7 and the process is repeated. If it is determined in step 153 that the driver has left the vehicle, in step 115 the CRS 100 gives a greeting such as “Be careful”, “See you tomorrow”, “Good night”, etc. Encourage confirmation by listing confirmation items when getting off. Further, the CRS 100 prompts the user to confirm whether the driver has forgotten to close the article or window that the driver has brought into the vehicle. At the same time, the CRS 100 confirms safety by monitoring the outside of the vehicle. This operation is based on the self-issued operation mode. Finally, the CRS 100 returns to a predetermined position and waits (S157). Even in this state, the CRS 100 performs autonomous control, and continues monitoring to prevent theft at night, for example. The state of step 157 is the same as the state in which the autonomous control described in step 105 described earlier with reference to FIG. 4 is executed and the driver waits for the door to be opened. That is, the process based on this basic flow is completed, and then the process described above is similarly performed when the driver unlocks the door of the vehicle.
[0169]
In the first embodiment described above, an example is shown in which the autonomous control of the CRS 100 is started up from the beginning and is always executed along with the start of use of the vehicle. However, the present invention is not limited to this, and every time the driver starts using the vehicle. In addition, it is confirmed whether or not the CRS 100 performs autonomous control. You may make it perform the autonomous control similar to having mentioned above based on the execution instruction | indication of a driver | operator's autonomous control. When configured in this way, the processing shown in FIG. 4 such as confirmation when the driver gets into the vehicle, occupant occupant confirmation, etc., is separately set as an initial execution program in the CRS thinking unit 14 and automatically executed. You may be made to do. In addition, the CRS 100 in a state of waiting for an execution instruction for autonomous control is in principle in a mechanical lock state by functioning an electromagnetic brake or the like in order to protect the CRS 100 main body. However, from the viewpoint of protecting the occupant, it is preferable to set the peripheral recognition by the eyes 112 and the ears 114 to be in an execution state and to issue a warning in an emergency such as a vehicle collision.
[0170]
Next, a second embodiment of the present invention will be described. The second embodiment shows a control operation when the CRS transports an article while the vehicle is traveling, in accordance with an instruction from an occupant whose explanation is omitted in the first embodiment. Since the basic configuration of the CRS is the same as that of the CRS 100 of the first embodiment, a duplicate description will be omitted, and in the second reason, description will be made using the same reference numerals as those of the first embodiment. The same applies to the third and subsequent embodiments described later.
[0171]
10 to 14 are flowcharts of the transport operation of the second embodiment. Regardless of whether the vehicle is stopped or traveling, the CRS 100 executes a service for transporting articles in the vehicle in accordance with an instruction from the passenger. In the basic flow shown in FIG. 4 of the first embodiment, the CRS 100 executes a service for transporting articles in the vehicle in response to an instruction from the occupant in the parked vehicle. It describes carrying an article while performing a self-holding mode that takes into account. The flowcharts of FIG. 10 to FIG. 14 shown in the second embodiment show the transport operation process executed by the CRS 100 during traveling of the vehicle as the transport execution mode estimated to be the largest in the vehicle.
[0172]
In FIG. 10, the processing based on the article transport operation control flow is executed based on an instruction from the occupant, and after a predetermined operation preparation (S301), it is confirmed whether or not the user is a registrant (S303). If it is not a registrant, the CRS 100 performs a dialogue or the like by voice recognition with an occupant who gives an instruction to carry the article, and confirms the article (hereinafter referred to as a target article) and its position (S307). Further, the process of registering the target article is terminated, and a search by the CCD is performed (S309).
[0173]
In addition, by registering a new article as described above, the CRS 100 can quickly respond when a similar instruction is issued next time. This registration data is preferably recorded in detail for an article position list, article shape, etc. in the vehicle. This registration data may be included in the occupant data 40 used by the CRS thinking unit 14.
[0174]
On the other hand, if it is determined that the user is a registrant in step 303, the registration data is searched in step 305 to predict the article requested by the registrant from among the registered items. After confirming the target article and its position by dialogue or the like by voice recognition, a search operation using the CCD 112 which is the eye of the CRS 100 is started in step 309. When the process shown in step 305 is performed, a quick service is executed for the registrant as described above.
[0175]
In step 309, the inside of the vehicle is searched by the CCD 112, the position of the target article is confirmed, and the transportation route is determined. First, after confirming the position of the target article, the position is notified by voice to the instructor and the target article is confirmed. Next, check when and where to transport it. Then, by confirming the headrest shape of the seat, the position of the occupant, and the like, the general transportation route is determined.
[0176]
In step 311, the CRS 100 starts moving behavior toward the target article. The CRS 100 checks the headrest shape of the seat and the position of the occupant in real time, and moves along the rail 2 provided on the vehicle ceiling. At that time, the vehicle moves so as not to obstruct the driver's view. Note that. The movement / operation control of the CRS 100 is controlled by the CRS thinking unit 14 as described above with reference to FIG.
[0177]
Now, when the CRS 100 is moving toward the position of the target article as described above, and when the CRS 100 is transported after capturing the target article, the vehicle is running and the vehicle behavior becomes a disturbance to the CRS 100. . For this disturbance, as described above, the CRS thinking unit 14 controls the self-holding mode to carry the target article to the instructor while maintaining the posture of the CRS 100 main body. Although there are a plurality of control operations that the CRS 100 actually performs based on this self-holding mode, it will be clarified with the detailed description of step 313 and subsequent steps. Also, a plurality of examples will be apparent for the sensors or various devices that constitute the recognition unit 12 of the CRS 100.
[0178]
In FIG. 10 again, when the CRS 100 is in the moving state toward the position of the target article, it is determined in step 313 whether there is a disturbance due to the traveling of the vehicle or whether the traveling is steady. If it is determined in step 313 that there is no running disturbance and the vehicle is in steady running, there is no disturbance affecting the operation of the CRS 100, so the CRS 100 continues to move without executing the control of the self-holding mode. Therefore, the CRS 100 moves to a predetermined position of the target article, and after confirming by voice to the instructor, the article is captured by the hands 104HA and 106HA of the arms 104 and 106, and transport is started (S315).
[0179]
On the other hand, if it is determined in step 313 that there is a traveling disturbance or that the vehicle is not in steady traveling, it is further determined in step 317 whether there is a shift operation of the traveling range. If it is determined in step 317 that there is a shift operation of the travel range, the process of step 319 is entered. In step 319, the braking control of the CRS 100 during the travel range shift operation is executed based on the self-holding mode. The CRS 100 detects a shift signal and has a predetermined braking force against vehicle shake caused by a shift shock. The braking here is the same as the reverse inertia control described above, and is executed by increasing the braking of the slider 108 or the like.
From the viewpoint of passenger protection and CRS 100 protection, it is preferable to set a predetermined threshold in the CRS thinking unit 14 against disturbance. When there is a disturbance equal to or greater than this threshold, the CRS 100 executes control to stop until the end of the shift operation. When the control in step 319 is completed, the process enters step 315, and the operation of capturing and transporting the target article is started.
[0180]
If it is determined in step 317 that there is no shift operation of the travel range, the processing in the sub-flow (travel flow without shift) indicated by reference numeral 12 is entered. The process of the travel flow without shift is shown in FIG.
[0181]
In the non-shift running flow process of FIG. 11, it is first determined in step 331 whether or not the vehicle is accelerating. If it is determined in step 331 that acceleration is in progress, control in step 333 is executed. In step 333, the acceleration G according to the accelerator opening signal from the vehicle is predicted, and the braking force of the moving CRS 100 is corrected appropriately. In the next step 335, it is determined whether or not the moving direction of the CRS 100 matches the acceleration direction of the vehicle. If it is determined that the moving direction of the CRS 100 and the acceleration direction of the vehicle coincide with each other, the driving force up control based on the self-holding mode is executed (S337), and the braking force is applied so that the CRS 100 does not reverse against the acceleration G. Up control is done. When the control in step 337 is executed, the process in step 315 of the main flow of the transport operation shown in FIG. 10 is entered, and the operation of capturing and transporting the target article is started.
[0182]
If it is determined in step 335 that the moving direction of the CRS 100 does not match the acceleration direction of the vehicle, control is performed so that the CRS 100 does not move rapidly (S339). For example, when the CRS 100 is moving toward the rear of the vehicle, the braking control is executed so that the CRS 100 is not accelerated toward the rear seat. When the control in step 339 is executed, the process in step 315 of the main flow of the transport operation shown in FIG. 10 is entered, and the operation of capturing and transporting the target article is started.
[0183]
Furthermore, if it is determined in step 331 of FIG. 11 that the vehicle is not accelerating, the processing of the second subflow (non-acceleration flow) indicated by reference numeral 20 is entered. This non-accelerated flow is shown in FIG.
[0184]
In the non-acceleration flow of FIG. 12, it is first determined in step 341 whether or not the vehicle is in a cornering (turning) state. When it is determined that the vehicle is in the cornering (turning) state, the driver's operations such as the vehicle speed, the steering angle, and the steering speed are calculated in real time to predict the turning G (yaw rate) (S343). When the vehicle on which the CRS 100 is mounted adopts a vehicle behavior control system, a target yaw rate signal may be obtained and used. Then, the CRS 100 determines whether braking or driving according to the moving direction of the vehicle and executes control. On a low friction (μ) road or the like, movement correction control is executed with a yaw rate characteristic coordinated with the vehicle behavior generated by the vehicle behavior control. When the control in step 343 is executed, the processing in step 315 of the main flow of the transporting operation shown in FIG. 10 is entered, and the operation of capturing and transporting the target article is started.
[0185]
If it is determined in step 341 that the vehicle is not in the cornering state, it is determined whether or not the vehicle is braking (S345). If it is determined in step 345 that braking is not in progress, there is no need to control the movement of the CRS 100, so the processing in step 315 of the main flow of the transport operation shown in FIG. The operation of capturing and transporting is started.
[0186]
On the other hand, if it is determined in step 345 that braking is being performed, it is confirmed which of the engine brake and the service brake is being performed (S347). If it is an engine brake, the control in step 349 is executed. If it is a service brake, the control in step 351 is executed.
[0187]
In step 349, the CRS 100 estimates a deceleration G of a predetermined gear stage due to a shift down by engine braking when the vehicle is powered off (OFF), and controls movement correction to the braking side or the driving side. Control is performed by determining whether braking or driving according to the moving direction. However, stop control is performed when a peak G exceeding a predetermined level is detected. When the control in step 349 is executed, the process in step 315 of the main flow of the transport operation shown in FIG. 10 is entered, and the operation of capturing and transporting the target article is started.
[0188]
On the other hand, in step 351, the deceleration G is detected from the brake braking force signal, and control is performed by determining whether braking or driving according to the moving direction. When the ON / OFF of the brake is repeated at a predetermined frequency and time interval and correction control is impossible, the movement is interrupted to avoid the vibration due to repetition. When the process of step 351 is completed, the process of step 353 is started.
[0189]
In the next step 353, it is determined whether or not there is a range switching to the parking (P) side when the vehicle is at a low speed due to the service brake. If the range is switched to the parking side before the vehicle is completely stopped, the ratchet shock is large and the CRS 100 is disturbed. Therefore, step 353 is provided for the CRS 100 to predict this and prepare the posture. This process is described as the presence or absence of a low-speed P shift in the flowchart of FIG. When it is determined that there is no switching to the low-speed P shift, no further control is performed, and in the state in which the control in step 351 is executed, the processing in step 315 in FIG. The operation of capturing and transporting is started. Although not shown in FIG. 12, even if the vehicle is completely stopped on a slope or the like and then switched to the P shift, a disturbance similar to the above may occur due to the inclination. Therefore, in consideration of the stop on the slope, before the processing in step 315 described above, processing having the same contents as in step 353 in preparation for the ratchet shock may be added.
[0190]
Here, if it is determined that there is a low-speed P shift (S353), it is determined that the stop is accompanied by a ratchet shock, and the CRS 100 detects the P position during the P shift in step 355 and executes stop control. When the process of step 353 is completed, the process of step 315 of the main flow of the transport operation shown in FIG. 10 is entered, and the operation of capturing and transporting the target article is started.
[0191]
Referring again to FIG. 10 showing the main flow, following the process in which the target article is captured and transportation is started in step 315, the process by the article transportation flow is followed.
[0192]
This flow during goods transportation is shown in FIG. FIG. 13 shows a movement / operation in which the CRS 100 moves while holding the target article and carries it to the instructor. Similar to the control executed when the CRS 100 shown up to FIG. 12 moves to the position of the target article, various controls for the disturbance are executed. However, the flow shown in FIG. 13 is different in that the CRS 100 holds and carries a target article, for example, a beverage in a cup.
[0193]
That is, in the article transport flow shown in FIGS. 13 and 14, the CRS 100 recognizes the mass of the article to be transported in advance, and considers the increase in the weight of the article due to the front, rear, left, right, top and bottom G, and the arms 104 and 106 and the hand of the CRS 100. Control for improving the holding force to the target article is executed by 104HA and 106HA. In particular, when transporting fluid items such as juice, tilt the container so that the contents do not spill. In accordance with the behavior, control is performed so as not to contact an occupant or a seat in the vehicle.
[0194]
Looking at the overall transport operation flow, the CRS 100 first reaches the position of the target article, and then the CRS 100 executes the action of capturing the target article and transporting the target article to the instructor. Regarding this article transport flow, a description will be mainly given of the point of capturing and holding the target article. However, regarding the article transport of the CRS 100, the control of the position of the target article described above is executed in the same manner.
[0195]
In step 361 in FIG. 13, it is determined whether there is no disturbance due to the traveling of the vehicle and whether the vehicle is in steady traveling. If it is determined in step 361 that there is no running disturbance and the vehicle is in steady running, there will be no disturbance affecting the carrying operation of the CRS 100, so that the carrying operation can be performed without particularly performing control. Therefore, the CRS 100 transports the target article to the position (predetermined position) of the instructor, loosens the hands 104HA and 106HA of the arms 104 and 106 that have captured the article, passes the article to the instructor, and completes the transport operation ( S363), the process according to this flowchart is terminated.
[0196]
On the other hand, if it is determined in step 361 that there is a running disturbance or that the vehicle is not in steady running, it is determined in step 365 whether or not there is a shift operation of the running range. If it is recognized in step 365 that there is a shift operation of the travel range, the control in step 367 is executed. In step 367, the braking control of the CRS 100 during the travel range shift operation is executed based on the self-holding mode. The CRS 100 detects a shift signal and has a predetermined braking force against vehicle shake caused by a shift shock. The braking here is the same as the reverse inertia control described above, and is executed by increasing the braking of the slider 108 or the like. In addition, when the CRS 100 has a disturbance amount that is greater than or equal to a predetermined amount, the CRS 100 may stop until the end of the shift operation. This step 367 is different from the movement of the CRS 100 to the target article position described above in that the CRS 100 captures the target article with the hands 104HA and 106HA. Since the CRS 100 includes a weighing unit, the mass of the transported object is detected in advance, and based on this mass, the increase in the weight of the article caused by the shaking of the vehicle body is considered from the stored data about the shift, and the hand 104HA, Control to increase the holding force of 106HA is executed. After the control in step 367 is executed, the processing enters step 363, the target article is transported to the position of the instructor, and the hands 104HA and 106HA of the arms 104 and 106 that have captured the article are loosened. The article is delivered to the instructor to complete the transportation operation.
[0197]
On the other hand, if it is determined in step 365 that there is no shift operation of the travel range, it is further determined whether or not the vehicle is accelerating (S369). If it is determined in step 369 that the vehicle is accelerating, the acceleration G corresponding to the accelerator opening signal is predicted in step 371, and the braking force of the moving CRS 100 is appropriately corrected. In the subsequent step 373, taking into account the coincidence between the moving direction of the CRS 100 and the acceleration direction of the vehicle, the acceleration G change due to the driving change during acceleration, the acceleration G change due to the shift shock, etc. are handled based on the data for each running state Then, the holding force of the hands 104HA and 106HA is controlled so as not to drop the target article. After the control in step 373 is executed, the process enters step 363, the target article is delivered to the instructor, and the carrying operation is completed.
[0198]
If it is determined in step 369 that the vehicle is not accelerating, it is determined whether or not the vehicle is in a cornering state (S375). Here, if it is determined that the vehicle is in the cornering state, control in step 377 is executed. In step 377, the vehicle speed and the steering angle of the steering are calculated in real time to predict the turning G (yaw rate). When the vehicle adopts a vehicle behavior control system, a target yaw rate signal may be obtained and used. Control is performed in accordance with the movement of the arms 104 and 106. Control is executed so that the load on the main body due to the acceleration G predicted from the mass of the target article is predicted and the holding force is increased.
[0199]
In the subsequent step 379, it is confirmed whether the turning G is equal to or less than a predetermined value. If the predetermined value is exceeded, control in step 381 is executed, and if it is less than the predetermined value, control in step 383 is executed.
[0200]
In step 381, the control is performed when the turning G exceeds an allowable limit and it becomes difficult or dangerous to carry the target article. The CRS 100 enters control for temporarily stopping the movement and transportation operations. First, when a fluid such as juice is being transported, the container is tilted so as to oppose the swivel G, and tilt control is executed so as not to spill. In the case of a larger turn G, the CRS 100 takes action such as retreating to a nearby floor.
[0201]
When the CRS 100 is set in a state in which an electrical instruction can be input to the vehicle behavior control system or the electronic control throttle, when safety can be confirmed, control may be performed to access these and weaken the turn G itself.
[0202]
The other step 383 is transport control of the target article when the turn G is equal to or less than a predetermined value. In the case of a fluid material such as juice, the CRS 100 tilts the arms 104 and 106 and the hands 104HA and 106HA according to the swivel G so as not to spill during transportation. For example, when a beverage containing cup is being transported in the left direction in the vehicle when the vehicle turns to the right, the beverage containing cup is transported while being tilted forward (to the right) so as to oppose the turn G. Also, in the case of a flexible item such as a magazine, it will bend to the left, so it will turn to G while recognizing the surrounding state and correcting the transportation route in real time so that it does not touch the seat or occupant The opposing control is also executed. Further, when carrying a bag or the like on the hands 104HA, 106HA, the hands 104HA, 106HA are inclined so as to oppose the turning G.
[0203]
When the processes of Steps 381 and 383 are completed, the process of Step 363 is started, the target article is transported to the position of the instructor, and the transporting operation is completed.
[0204]
If it is determined in step 375 that the vehicle is not in the cornering state, a sub-flow (straight forward flow) process indicated by reference numeral 13 is entered. This straight flow is shown in FIG.
[0205]
In step 385 of FIG. 14, it is determined whether braking is being performed. If it is determined in step 385 that the vehicle is not being braked, the process enters step 363 in FIG. 13 to carry the target article to the position of the instructor and pass it to the instructor to complete the carrying operation. On the other hand, if it is determined in step 385 that braking is in progress, the routine proceeds to step 387, where it is confirmed which of the engine brake and the service brake is being applied. If it is an engine brake, the control in step 389 is executed, and if it is a service brake, the control in step 391 is executed.
[0206]
In step 389, a deceleration G corresponding to a predetermined gear position for downshifting is estimated by engine braking at the time of power off (OFF), and movement correction control to the braking side or the driving side is performed. This engine brake is a deceleration by a gear ratio, and a deceleration G is predicted according to the gear stage at the time of downshifting. In particular, when the CRS 100 detects a shift signal at the time of shifting to the LOW range, the CRS 100 executes control such as retreating to the vicinity of the floor when transporting the flowable article.
[0207]
Furthermore, when the CRS 100 is set so that the vehicle-side transmission can be electrically operated, the gear ratio is changed from the LOW gear ratio at a time when it is confirmed that safety with the preceding vehicle is ensured. Instead of this, the gear ratio may be changed step by step so as to maintain the HIGH gear ratio for a fixed time, and control for reducing the peak G may be executed. Further, the present invention can be suitably applied to a vehicle equipped with a CVT, and control for reducing the peak G by delaying the shift speed may be performed.
[0208]
However, stop control is performed when a peak G exceeding a predetermined level is detected. When the control in step 389 is executed, the processing of step 363 in FIG. 13 is entered, the target article is transported to the position of the instructor, and is delivered to the instructor to complete the transporting operation.
[0209]
On the other hand, in step 391, the deceleration G is detected or predicted from a braking operation signal or braking force applied to the vehicle, and it is determined whether or not the target article can be transported in the G direction. Step 391 in FIG. 14 shows an example in which the deceleration G is detected from the brake braking force signal. The CRS 100 recognizes the target article being conveyed from the instruction contents and the CCD and tilts it according to the deceleration G in the case of a fluid such as juice. When the brake ON-OFF is repeated at a predetermined frequency and time interval and correction control is impossible, tilt-horizontal control is executed according to the change in the deceleration G. When the frequency does not converge for a predetermined frequency or longer, the driver may be warned by voice so as to loosen the brake ON-OFF operation or to make the operation smooth. In addition, when a deceleration G greater than a predetermined value is detected, such as sudden braking, the CRS 100 interrupts the carrying operation, retreats on the floor mat, etc., and performs the action of preventing the target article from falling. Further, the CRS 100 may be set in advance so that the vehicle can be evacuated to the rear cargo room when the interior of the vehicle is full and there is no evacuation space on the cabin side.
[0210]
A configuration may be adopted in which the CRS 100 is electrically connected to a vehicle brake system so that a braking instruction can be issued. It is also possible to execute a control that makes a smooth stop by changing the above.
[0211]
The next step 393 is a process for determining whether or not there is a low-speed P shift, similar to step 353 described above. If there is no disturbance when it is determined that there is no low-speed P shift, no further control is performed, and the process proceeds to step 363 where the target article is transported to the position of the instructor and the article is delivered to the instructor to complete the transport operation. To do. On the other hand, if it is determined that there is a low-speed P shift, the P position is detected at the time of P shift in step 395 and the holding force increase control is executed. Then, the process enters step 363 in FIG. The vehicle is transported to the position of the person, handed over to the instructor, the transportation operation is completed, and the processing according to this flowchart is terminated. In the present embodiment, for example, the lateral G at the time of turning, and the vertical G on a rough road may be configured so as to respond to disturbance by predicting these G from road information or the like.
[0212]
Next, a third embodiment of the present invention will be described. The third embodiment shows a monitoring operation performed by the CRS in response to an instruction from the occupant during traveling of the vehicle. 15 to 17 are flowcharts of the monitoring operation control of the third embodiment.
[0213]
In FIG. 15, the monitoring operation of the CRS 100 is executed according to an instruction from the passenger. Processing in the main flow and sub flow is executed in accordance with the instructed monitoring control content. Here, monitoring of an occupant who needs care such as a child who needs a child seat in the main flow is shown, and monitoring of the vehicle front and falling object in the vehicle are shown in the subflow. 16 shows a reference number 16 (forward monitoring flow), and FIG. 17 shows a reference number 17 (falling object monitoring flow).
[0214]
In FIG. 15, when the CRS 100 confirms by voice dialogue or the like that an instructor (for example, a mother or the like) has instructed monitoring of a child (S401), the child monitoring process is started (S403).
[0215]
In step 403, the CCD 112 confirms the position of the child instructed by the CRS 100. Further, the CRS 100 confirms whether the person is a registrant from the occupant data, and also refers to data about the mother of the child. In the next step 405, it is confirmed whether or not the seat belt switch (SW) is OFF. When the seat belt is worn, it is confirmed whether there is any operation request from the child (S413).
[0216]
If it is determined in step 405 that the seat belt is not worn, the CRS 100 moves to the seat position of the child and urges the seat belt to be worn by a mother's voice or the like. When the child is rejected, the CRS 100 moves the arms 114 and 116 and the hands 104HA and 106HA to forcibly attach the seat belt to the child. Alternatively, the CRS 100 warns by voice that the vehicle is stopped or a seat belt is attached to the child by another passenger. Here, what operation the CRS 100 executes depends on the operation pattern program 31 preset in the CRS thinking unit 14.
[0217]
In the next step 409, it is confirmed whether or not the child has left the predetermined seat. If it is determined that the user is not away from the seat, it is confirmed whether there is any operation request from the child (S413).
[0218]
If it is determined in step 409 that the child has left the seat, the CRS 100 confirms the position of the child, and then prompts the child to sit, for example, by the mother's voice (S411). When the child does not return to the seat due to voice alert, the CRS 100 drives the arms 114 and 116 to guide the child to the seat. At that time, when there is a possibility that the child rolls over due to acceleration, turning, braking, etc., the CRS 100 seats the child while holding and holding the child's clothes with the hands 104HA, 106HA. At this time, the control in the self-holding mode is executed.
[0219]
Further, it is confirmed whether there is any operation request from the child (S413). If there is no particular operation request in this step 413, the CRS 100 returns to step 403 and repeats the same monitoring operation.
[0220]
If it is determined in step 413 that there is an operation request, the CRS 100 operates to respond to this (S415). In this step 415, the child's behavior is observed in detail. A child seated in a child seat tries to remove the child seat when trying to do something. Therefore, if the child moves to do something, the CRS 100 inquires the reason for the movement by voice at the time when the child seat is about to be removed. Further, the CRS 100 performs the operation of removing the seat belt when parked or stopped, and the parent's consent, or confirms the position of the toy if it is desired to take a toy or the like, and performs the carrying operation. The carrying operation of the article is as detailed above.
Further, if there is any amusement request to the CRS 100, the item is executed. After the process in step 415 is completed, the same monitoring operation may be repeated by returning to step 401 or 403. When the process in step 415 is completed, the process according to this flowchart is terminated. Also good. Note that the amusement operation performed by the CRS 100 will be described in detail later. Further, the monitoring operation shown in the third embodiment includes a monitoring operation in front of the vehicle. Hereinafter, an example of the forward monitoring operation performed by the CRS 100 will be described. The CRS 100 can move in the vehicle. In this way, the CRS 100 that can move in the vehicle can monitor the blind spot of the driver. Further, by using information from the navigation device in which the CRS 100 is mounted on the vehicle, it is possible to execute appropriate monitoring without an instruction from the driver.
[0221]
FIG. 16 shows a forward monitoring flow. In FIG. 15, when the CRS 100 confirms by voice dialogue or the like that the instructor has instructed forward monitoring (S401), the apparatus enters a predetermined preparation for executing the forward monitoring flow of FIG. 16 (S431). This preparation includes checking whether the state of the sensor or the like necessary for executing forward monitoring is functioning normally. In subsequent step 433, the CRS 100 detects the driver's line of sight, and at the same time, moves to a position where it does not interfere with the forward field of view, and then monitors for the presence of an obstacle. The CRS 100 recognizes a forward image using the CCD 112, and performs appropriate monitoring using information such as obstacles and oncoming vehicles from the infrastructure using a navigation system or the like. The CRS 100 moves in accordance with the driver's line of sight, and performs a service such as notifying the driver of information on the direction of the blind spot or visualizing the information on a CRT or the like installed in the instrument panel.
[0222]
Further, when the CRS 100 determines that the driver has not looked ahead in a predetermined time (S435), the CRS 100 warns with a voice from the speaker 113 or activates the arms 114 and 116 to touch the driver's body to promote awakening (S437). ). Furthermore, the CRS 100 uses information from the navigation device or the like to warn when a dangerous area such as a crossing point or a pedestrian crossing is approaching, or when the front vehicle approaches and the distance between vehicles becomes less than a predetermined value. It warns that there is, and takes action, such as pointing the direction (S441).
[0223]
Further, when the CRS 100 determines that it is impossible to avoid danger by the driver's action, the CRS 100 may perform operation of the vehicle or assistance of the operation. In this case, for example, as shown in the flowchart, the CRS 100 may extend the arms 114 and 116 to the brake, the handle, etc., and perform the vehicle operation (S443).
[0224]
Furthermore, it is good also as a structure which operates a vehicle by communicating with the control part etc. in which CRS100 performs each control of a vehicle, and giving the command to each control part. In addition, when the CRS 100 is electrically connected to a system on the vehicle side such as an electronic control throttle device, a vehicle behavior control device, and an electric steering control device, and is configured to be able to access these electronic control units (ECU). May be configured to operate the vehicle by operating a brake pedal, a handle, a shift lever, or the like.
[0225]
After the processing in step 443 is completed, the same monitoring operation may be repeated by returning to step 401 or 433. When the processing in step 443 is completed, the processing by this flowchart is ended. Also good.
[0226]
In the above-described forward monitoring operation, the operation example of the CRS 100 while the vehicle is running has been described. However, the CRS 100 can be used to prevent deviation from the vehicle's traveling locus and to check whether there is an approaching object even when parking or entering the garage. Monitor services and execute services such as voice alerts. Also in this case, if it is determined that the danger cannot be avoided by the driver's operation, the CRS 100 performs the operation of the vehicle in the same manner as described above.
[0227]
Various information regarding the driver when the above-described processing is executed is registered and sequentially updated by the CRS 100 as occupant data of the CRS thinking unit 14, and used for the next monitoring operation. It is good also as a structure memorize | stored as data used for control.
[0228]
Further, FIG. 17 shows a falling object monitoring flow chart included in the third embodiment. This flowchart is executed when the instructor thinks that an object has been dropped in the vehicle and instructs the CRS 100 to monitor the falling object.
[0229]
In FIG. 15, when the CRS 100 confirms that the instructor is instructed to monitor the fallen object by voice dialogue or the like (S401), the apparatus enters a predetermined preparation for executing the fallen object monitoring flow (S451). With this preparation, the CRS 100 confirms what kind of article the instructor has dropped by voice dialogue or the like. The CRS 100 confirms whether the article is present at the stored predetermined position (S453). When the CRS 100 confirms that the article is in a predetermined position, the CRS 100 reports to the instructor by voice that it has not fallen, and ends the processing according to this flowchart.
[0230]
If it is determined in this step 453 that there is no article at the predetermined position stored in the CRS 100, it is confirmed whether or not the occupant is holding the article. If it is confirmed that the occupant is holding, the process according to this flowchart is terminated.
[0231]
If the CRS 100 determines in step 455 that the occupant does not hold the article, the CRS 100 searches the vehicle for a shape similar to the shape of the article at the stored location. If you cannot find it, ask the instructor by voice dialogue. When the CRS 100 finds a fallen object, it checks whether to return the fallen object to the original position (S459).
[0232]
When the instructor gives an instruction to leave the fallen object as it is, the CRS 100 transmits the location and ends the processing according to this flowchart (S463). When the instructor gives an instruction to return the fallen object to the original state, a nearby occupant is requested to capture the article and return it to the original position. When there is only one occupant, that is, only a driver, the CRS 100 performs capturing and transporting of articles. At that time, the CRS 100 performs a transporting operation when the vehicle is in steady travel. The carrying operation at this time is executed by the control described in detail above (S461). After the processing in step 461 is completed, the same monitoring operation may be repeated by returning to step 401, or when the processing in step 461 is completed, the processing in this flowchart is terminated. Good.
[0233]
It should be noted that even if the processing is ended (END) after the processing in the above steps 453, 455, 463, the same monitoring operation may be repeated by returning to step 401.
[0234]
In the third embodiment described above, monitoring of children and the like that are assumed to occur on a daily basis while the vehicle is traveling, forward monitoring, and falling object monitoring are shown in association with each other. The monitoring operation executed by the CRS 100 is not limited to this. Further, the monitoring operation may be executed by independent flow charts.
[0235]
Furthermore, the nighttime monitoring operation performed by the CRS 100 will be described as a fourth embodiment of the present invention. This monitoring operation is different from the above embodiment in that the CRS 100 executes nighttime monitoring after the user leaves the vehicle. In addition, since the night monitoring operation is preferably based on the self-issued operation mode, the spontaneous night monitoring operation of the CRS 100 will be described here.
[0236]
Next, FIG. 18 is a flowchart when the CRS 100 performs a night monitoring operation. This night-time monitoring process is set in advance as one item of the self-issued movement mode described above. If the CRS 100 is to be executed in the self-issued movement mode, the monitoring operation that requires the CRS 100 leaving the vehicle is executed even if the driver does not instruct monitoring at night. Of course, it is also possible to set to monitor at night in response to a driver's instruction. If the forward monitoring operation shown in FIG. 16 described above in combination with the nighttime monitoring is set to be executed in the self-issued operation mode, the service to the driver and the like is improved.
[0237]
In the night-time monitoring flowchart shown in FIG. 18, for example, this is executed when the driver stops (parks) the vehicle and goes out of the vehicle at night, and the CRS 100 enters a predetermined night-time monitoring preparation (S421). This preparation includes checking whether the state of sensors and the like necessary for executing nighttime monitoring is functioning normally. In the following step 423, it is confirmed whether or not it is a set time zone. This set time is a time set in advance by the user as a time zone in which nighttime monitoring is necessary. When the CRS 100 determines that it is not the set time period, the CRS 100 confirms to the instructor whether night monitoring is necessary. When the instructor does not need to monitor, autonomous control is executed and a standby state is entered.
[0238]
If it is determined in step 423 that it is the set time zone or if it is instructed to execute monitoring in step 424, the monitoring operation inside and outside the vehicle is started (S425). In this nighttime monitoring, an object approaching the vehicle is monitored, and in particular, the antitheft function is turned ON. Further, when the CRS 100 includes a sensor suitable for nighttime image reading such as a night vision CCD, the CRS 100 is operated to check whether or not the user is a registered person. Furthermore, in an emergency, a communication network is used to access a predetermined security center, a user's mobile phone, etc. to notify the emergency situation. Furthermore, when the program in the CRS thinking unit 14 is set so that the emergency countermeasure is executed in response to an instruction from the security center or the user's mobile phone, the CRS 100 can be remotely operated for theft. I can deal with it.
[0239]
Next, an amusement operation performed by the CRS 100 will be described as a fifth embodiment. This service is executed by the CRS 100 when a child or the like is included in the occupant and it is necessary to take a predetermined care so as not to get tired of being in the vehicle. FIG. 19 to FIG. 21 show flowcharts of entertainment (amusement) operations of the fourth embodiment.
[0240]
The processing according to this flowchart includes instructions from other occupants (children's parents, etc.) when an occupant who needs to take care of a child or the like (hereinafter referred to as a child as an example in this flowchart), or the self-issued mode of CRS100. This is executed when the child moves in a seat or a child seat and repeats an uncomfortable operation based on a program preset as one item.
[0241]
In FIG. 19, the CRS 100 detects that the child wants to move (S501). This detection method is performed by checking an increase in the operation frequency of the child. For example, the CCD 112 monitors the movement of the child's head and determines that the child is about to move when a predetermined number of times is exceeded per minute. Further, it refers to the facial expression of the child, the number of eye movements and blinks, and the number of grudges that the child has emitted from the ear (microphone) 114. At that time, the CRS 100 accesses the database of the CRS thinking unit 12 (S503). In this database, criteria for determining whether or not a child is moving based on the number of movements and facial expressions of a child are set. Moreover, what the child wants in the vehicle is set by a plurality of items from the behavior shown by the child, and the behavior desired by the child can be predicted. This database is prepared in advance in the CRS thinking unit 14 based on the behavior of many children. When a child gets on the vehicle, it is newly registered, and a unique database for the child is additionally stored. This database is updated every time a child gets in, so that the CRS 100 can refer to it next time it takes care of the child. This database is included in the occupant data 40 in the CRS thinking unit 14.
[0242]
Next, it is estimated what this child wants to do (S505). At that time, the database is also referred to (S507). While moving toward a child who needs care, the CRS 100 sequentially recognizes the child's movement and facial expression with the CCD 112 while speaking to the child with voice (speaker). In this process, the cooperation index is calculated (S509). This cooperation index is based on the database and is comprehensively calculated from the behavior and facial expression of the child, and is a reference for how the CRS 100 executes the correspondence to the child. This cooperation index is also updated to the latest one when the CRS 100 takes care of the child. The CRS 100 determines whether or not the cooperation index is equal to or greater than a predetermined threshold (S511). If it is determined in this step 511 that the cooperation index is equal to or greater than a predetermined threshold, that is, the CRS 100 determines that the child is unhappy and needs cooperation with the child, the processing of the cooperation flow shown in FIG. 21 is entered. On the other hand, if it is determined that there is no need for cooperation, that is, the child is happy and can be accepted even if a proposal is made from the CRS 100 side, the process of the proposal flow shown in FIG.
[0243]
The cooperative flow is a process in which the CRS 100 tries to cooperate with a child who is in a bad mood. However, there are cases where the CRS 100 determines that cooperation with the child is not possible later. The proposal flow is a process in which the CRS 100 sequentially searches for a child's desire based on the database and finally satisfies the child. The processing processes in the cooperation flow and the proposal flow are stored as occupant information and updated sequentially.
[0244]
In FIG. 20, when the processing in the proposal flow is entered, the CRS 100 accesses the database (S561), and “later”, “now tired”, and “cannot do now” are prepared in advance on the database. ”To the child (subject), and while communicating with them, the proposal to do nothing, the proposal that is close to what the other party wants, or the proposal that is far from what the other party wants This is sequentially performed (S563). If the object accepts any of these proposals (S565), after registering the action process in the database, the CRS 100 executes the accepted action (S567), returns to step 501, and enters a standby state.
[0245]
On the other hand, if the child does not accept the CRS 100 proposal (S565), the CRS 100 unilaterally performs a predetermined action, such as dancing or singing (S569), and whether the child has accepted this operation of the CRS 100, It is determined whether or not (S571).
[0246]
If it is determined in step 571 that the child has accepted the behavior of CRS 100, the behavior process is registered in the database (S573), and then the process returns to step 501 to enter a standby state.
[0247]
In FIG. 21, when the process of the cooperative flow is entered, the CRS 100 asks the other party a question using voice, image, etc. (S531), and tries to grasp what the target wants to do (S533). In step 533, if the grasp of the target request fails, the process is registered in the database, and the cooperation index is updated (S551). After this update, it is determined again whether or not the cooperation index is greater than or equal to the threshold (S553). When it is determined in step 553 that the cooperation index is equal to or greater than the threshold value, the process returns to step 531 and tries to grasp the target again. On the other hand, when it is determined that the cooperation index is less than the threshold, the process according to the above-described proposal flow is started.
[0248]
In step 533, when the CRS 100 succeeds in grasping what the target wants, the database is accessed and data is transmitted and received, and (1) how much the target wants to do is estimated, and (2) “detection of the CRS 100” -Correlation between the "guessing key" and the estimation result, and further (3) data recording such as calculation of the ratio of entering the cooperative flow (S535).
[0249]
Next, the CRS 100 determines again whether or not the cooperation index is greater than or equal to the threshold (S537). If it is determined in step 537 that the cooperation index is less than the threshold value, the process according to the proposal flow is entered. On the other hand, if it is determined that the cooperation index is equal to or greater than the threshold value and some kind of cooperative action is required, the process enters step 539.
[0250]
In step 539, it is determined whether or not the grasped target request is within the range of conditions under which the CRS 100 can perform support. Note that it is preferable that the CRS 100 set whether or not the request of the other party is within the support range so as to determine whether or not the operation can be performed based on the state of the vehicle and the state of the child. If it is within the range that can be supported, the CRS 100 executes an action according to the request of the other party from the selection range to be supported. The CRS 100, for example, (1) wants to take an object, (2) wants to see a different landscape, or (3) wants to listen to music, and so on, in response to the request of the other party (S541). Thereafter, the process is registered in the database (S543), and a standby state is entered (S501).
[0251]
On the other hand, if it is determined in step 539 that the CRS 100 is out of the support range, for example, while talking with "Wait a minute" or the like (S545), it is determined whether or not the target can wait (S547). . If it is determined that the subject cannot wait, the process of the proposal flow starts. If it is determined that it can wait, the process returns to step 537 to continue the processing.
[0252]
In the fifth embodiment described above, since the CRS 100 includes a recognition unit that can confirm the state of the occupant and a thinking unit that thinks based on this recognition information, according to the situation, request, etc. of the target occupant, It is possible to take an action (in this case, a recreational action) that meets the passenger's request. In addition, although the child was shown as an example above, the object is not limited to the child.
[0253]
Furthermore, as an example of the sixth to eighth examples, an example of an occupant rescue operation of the CRS 100 at the time of an accident performed by the CRS 100 will be shown below. The rescue operation for the occupant by the CRS 100 is desirably performed spontaneously without waiting for an instruction from the occupant. The embodiment shown below is executed based on the CRS 100 self-issued operation mode.
[0254]
The sixth embodiment is an operation example at the time of a vehicle collision performed by the CRS 100. This will be described based on the flowcharts shown in FIGS. In addition, the example demonstrated with the following flowcharts is a case where CRS100 has a communication function and is set so that the vehicle accident communication can be performed by itself. In addition, when the CRS 100 reports an accident, a rescue center is established that gives a predetermined instruction. When the CRS 100 receives an instruction from the rescue center or the like, the CRS 100 executes a predetermined rescue action in response to the instruction. A program is set in the CRS thinking unit 14 so that it can be performed.
[0255]
In addition, in order to protect passengers in the event of a collision, it is necessary for the CRS 100 itself to be able to cope with the collision. Furthermore, it is necessary to prevent the CRS 100 from colliding with the occupant secondarily due to the impact at the time of collision. Therefore, in the example shown in this flowchart, the CRS 100 itself has an airbag. Thereby, the secondary collision to the passenger | crew by CRS100 can be prevented. In addition, it will also protect CRS100 itself and can perform the passenger | crew protection action after an accident smoothly.
[0256]
In the sixth embodiment, the CRS 100 executes occupant rescue at the time of an accident while executing self-holding control so that the CRS 100 can survive without receiving an occupant instruction in the event of a collision. The operation of the CRS 100 here is executed based on autonomous control. In this example, the CRS 100 has an emergency standby power supply (battery) in the body.
[0257]
In FIG. 22, when the vehicle is in a collision state, the CRS 100 determines whether there is a possibility of a collision if the monitoring operation is being executed (S601) (S603), and enters the subsequent processing. On the other hand, when the monitoring operation is not performed and the accident is a sudden accident, the CRS 100 stops the action in the vehicle, determines the state of the collision by detecting an abnormality G while performing the autonomous control, and the like. The process is executed (S615).
[0258]
First, after determining that there is a possibility of a collision during execution of the monitoring operation (S603), the direction of the collision is confirmed, and further, the damage received by the vehicle is estimated from the type and physique of the opponent vehicle and the relative speed ( S605). Then, the degree of deformation is estimated from the vehicle collision calculation, and the position and size of the living space where the CRS 100 can survive are calculated and moved to that position (S607). In this way, the CRS 100 moves so as to ensure its own survival, so that damage can be minimized and subsequent occupant rescue can be executed. At that time, the CRS 100 preferably examines and stores whether or not the living space can be used as a passenger escape space. Further, it is determined whether G at the time of collision is equal to or less than a predetermined threshold (S609). If the collision G is equal to or less than a predetermined threshold value, control is performed to fix the rail G against the collision G at that position (S611). If it is determined that the collision G exceeds the predetermined threshold value, it is determined that the collision is dangerous, and the control for braking fixed to the rail and the air bag for self-protection are activated (S613). As described above, after completing the self-holding control in the vehicle, the CRS 100 enters an operation for grasping the state of the vehicle (S621).
[0259]
Next, the function damage of the CRS 100 itself is checked, and if the power supply is defective, the CRS 100 switches to a spare power supply in its own main body. The CRS 100 is also checked for damage to the rail 2 used for movement. Further, the CRS 100 checks whether it is possible to secure an evacuation route (space) for the occupant including the living space (S623).
[0260]
If the collision state is determined by detecting an abnormal G or the like due to the sudden accident (S615), the collision G is detected and the anti-impact control is performed, and the control for fixing the rail to the rail and the self-protection are performed. The airbag is activated (S617). And the direction and magnitude | size are confirmed from the collision G (S619), and it similarly enters into the process of the vehicle state grasping | ascertainment process of the said step 621.
[0261]
The CRS 100 determines whether or not there is a problem with its own system (S627). If there is a problem and it is completely damaged and inoperable, a rescue signal is transmitted to the rescue center (S629). ), And then waits for autonomous control.
[0262]
On the other hand, when it is determined that there is no problem in its own system (S625), actions such as securing an occupant escape space are executed as substantial occupant protection (S627). The in-vehicle damage is confirmed by the CCD 112, and the presence of the registered occupant is confirmed from the stored form such as the face. In addition, the registered item position and vehicle shape are compared with those after the accident, and the damage received by the vehicle is confirmed from the magnitude of the difference.
[0263]
Further, as shown in FIG. 23, the CRS 100 executes confirmation of whether all the occupants are within the operation management range (S631), and if there is an occupant outside the range, confirms the state of the occupant and informs the rescue center, Explain the position of passengers and their situation. Furthermore, it reports to other passengers and waits for an operation instruction (S635).
[0264]
When the CRS 100 confirms that all the occupants are within the operation management range (S631), the presence / absence of a fault is confirmed with each occupant by voice dialogue or the like, and the rescue center is notified to explain the position of the occupant and its situation. If a rescue system is installed in the CRS 100, the CRS 100 executes a rescue operation based on an instruction from the rescue center (S633). If the rescue system is not installed in the CRS 100, the rescue operation may be executed after installing from the rescue center using two-way communication or the like.
[0265]
The CRS 100 further checks whether there is a possibility of a fire (S637). If there is no possibility of a fire, the CRS 100 executes occupant rescue. If the rescue operation cannot be rescued by the installed rescue operation, the control is changed to remote control based on an instruction from the rescue center. Based on this instruction, the CRS 100 executes the rescue operation and treatment of the obstacle (S639).
[0266]
On the other hand, when it is determined that there is a risk of fire (S637), the passenger is prompted to escape (S641). The CRS 100 determines whether or not it is possible to escape (S643). If it is possible to escape, it is confirmed that everyone has escaped (S649), and if there is a fire extinguisher, etc., the digestion activity is executed remotely. (S651). When it is determined that the CRS 100 cannot escape, the control is changed to remote control based on an instruction from the rescue center, and the escape support operation is executed. At that time, the CRS 100 also executes an operation of removing the damaged article that becomes an obstacle. Further, when there is a fire extinguisher installed in the vehicle, the CRS 100 is remotely operated to perform digestion activity with the fire extinguisher (S647).
[0267]
When the CRS 100 completes the series of rescue operations, the CRS 100 enters a standby state by autonomous control.
[0268]
The seventh embodiment is an example of a rescue operation when the vehicle rolls over, which is performed by the CRS 100. This will be described based on the flowcharts shown in FIGS. The flowchart of this embodiment is similar to the flowchart of the sixth embodiment. Therefore, different operations will be mainly described.
[0269]
24 and 25 are flowcharts showing an example of the rescue operation of the seventh embodiment that is executed by the CRS 100 when the vehicle rolls over. In FIG. 24, when the vehicle is in a rollover state, the CRS 100 determines whether there is a possibility of a collision if the driving monitoring operation is being executed (S703), and then enters the subsequent processing. On the other hand, when the vehicle suddenly rolls over when the monitoring operation is not performed, the CRS 100 stops the action in the vehicle and performs rollover by detecting an abnormality in the coordinate system with the gyro while performing autonomous control. The state is determined, and the subsequent processing is executed (S715).
[0270]
While performing the monitoring operation, the CRS 100 detects or predicts whether the vehicle is over the allowable lateral G when turning suddenly, whether it is a lane departure due to a side look etc., a road shoulder rush, or a guardrail contact (S703). ). Next, the CRS 100 issues a warning, stops the operation so far, and moves so as not to cause a secondary collision with the occupant. Further, the CRS 100 may move to a position that secures a living space. For example, it moves to the vicinity of the lower part of the center or rear pillar having relatively high rigidity (S705). Furthermore, it is good also as a structure evacuated to a trunk room etc. As a result, the CRS 100 minimizes its own damage and increases the possibility of survival, and can take appropriate actions such as rescue of an occupant after an accident or communication with a rescue center through communication. The living space secured by the CRS 100 may be used as an occupant escape space. In addition, a rollover transient state is confirmed by a sensor, and a rollover state of the vehicle is detected from a built-in gyro. At that time, rollover G is determined from the lateral G (S707).
[0271]
Further, it is determined whether the rollover G during rollover is equal to or less than a predetermined threshold (S709). If G is equal to or less than a predetermined threshold, the vehicle state is grasped. A rollover state is detected as to whether the internal gyroscope has returned to the left, right, upside down, or original state (S711). If it is determined that the rollover G exceeds a predetermined threshold value, it is determined that there is a danger, and a control for fixing the rail to the rail and an air bag for self-protection are activated (S713).
[0272]
Next, the functional damage of the CRS 100 itself is checked. If the coordinate system (X, Y, Z) is different because the gravity direction is changed, the coordinate system (X, Y, Z) is changed according to the gravity direction. Further, the position of the article in the vehicle is confirmed by the CCD 112. The position after the coordinate conversion and the actual image on the CCD are verified (S721).
[0273]
If the power supply is defective, the power supply is switched to a spare power supply in its own body. The CRS 100 is also checked for damage to the rail 2 used for movement. Further, a check is made as to whether it is possible to secure an evacuation route for the passenger (S723).
[0274]
When the rollover state is determined due to the above accident (S715), the vehicle moves to the center or rear part of the vehicle near the center part or rear pillar having relatively high rigidity, and the control and self-protection for fixed braking to the rail are performed. The airbag for the above is activated (S717). And the direction and magnitude | size are confirmed from rollover G (S719), and it similarly enters into execution of the process of grasping | ascertaining the vehicle state of the said step 711.
[0275]
As shown in FIG. 25, the CRS 100 determines whether or not there is a problem with its own system (S625). If there is a problem and it is completely damaged and inoperable, the rescue center A rescue signal is sent to (S729), and thereafter, it stands by autonomous control. In addition, it is good also as a structure which covers the apparatus which starts the rescue signal to a rescue center with an impact-resistant member, and is built in the CRS100 main body.
[0276]
Since the processing after step 725 of the seventh embodiment is the same as the processing after step 625 of the sixth embodiment, the description after that will be omitted.
[0277]
Further, the eighth embodiment is an example of a rescue operation when the vehicle is submerged, which is executed by the CRS 100. This will be described based on the flowcharts shown in FIGS.
[0278]
The flowchart shown in the present embodiment is also a case where the CRS 100 has a communication function and is set so as to be able to execute a vehicle accident communication by itself. In addition, when the CRS 100 reports an accident, a rescue center is established that gives a predetermined instruction. When the CRS 100 receives an instruction from the rescue center or the like, the CRS 100 executes a predetermined rescue action in response to the instruction. A program is set in the CRS thinking unit 14 so that it can be performed.
[0279]
In addition, in order to protect the occupant when the vehicle is submerged, it is necessary that the CRS 100 itself can cope with submergence. Therefore, in the example shown in this flowchart, the CRS 100 includes an airbag that protects itself. In other words, the CRS 100 drives and controls the vehicle so that it can survive without being instructed by the occupant when the vehicle is submerged, and performs occupant protection when submerged. The operation of the CRS 100 here is the same as the flowchart described above in that it is executed based on the above-described self-holding mode.
[0280]
In FIG. 26, when the vehicle is submerged, the CRS 100 determines whether there is a possibility of rushing into a river, the sea, etc. if the monitoring operation is being executed (S801) (S803). enter. On the other hand, when the monitoring operation is not performed and there is a sudden submergence accident, the CRS 100 stops the action in the vehicle, detects the collision G and the like at the time of entry while performing autonomous control, and The braking control to be fixed is executed, and the subsequent processing is executed (S815).
[0281]
The CRS 100 is a NAVI with a 3D function as well as judging the possibility of rushing into the river or the sea using a navigation device (NAVI) in the case of submergence due to a sudden lane turn, side look, etc. If so, the altitude difference is also confirmed (S803). Next, the CRS 100 issues a warning, the CRS 100 interrupts the operation so far, and secures a living space for its own survival. For example, since the position of the center of gravity changes depending on the loading amount and the occupant position, the center of gravity position is confirmed by the axial weight of the front and rear wheels, and an attempt is made to move to the vehicle inner end opposite to the center of gravity position with respect to the center of the vehicle (S805).
[0282]
Further, it is determined whether G at the time of collision with the water surface is equal to or less than a predetermined threshold (S809). If the collision G is equal to or less than a predetermined threshold, the airbag is deployed for self-protection (S811). If G exceeds a predetermined threshold value and it is determined that it is more dangerous, control for fixing and braking the rail and the airbag are deployed (S813). Further, the position of the water surface is confirmed by the CCD 112, the actual inclination is detected from the built-in gyro etc., and the upward movement is executed (S821). Next, the functional damage of the CRS 100 itself is checked (S823).
[0283]
Further, as shown in FIG. 27, if the power supply is defective, the power supply is switched to a spare power supply in its own main body. The CRS 100 is also checked for damage to the rail 2 used for movement. In addition, a check is made as to whether it is possible to secure an evacuation route for the passenger (S825).
[0284]
If the vehicle is submerged due to the sudden accident shown in the flowchart of FIG. 26 (S815), the collision G is detected when the vehicle enters the water, and the anti-impact control is executed, and the control for fixing and braking the rail is immediately performed. Execute. The gyro detects the tilt of the vehicle body and moves upward. The gyro detects an abnormality in the coordinate system and a rush is detected by shaking detection (S817), and the processing of step 821 is executed.
[0285]
Further, in FIG. 27, the CRS 100 determines whether there is a problem with its own system (S827). If there is a problem and it is completely damaged and inoperable, it is in the shockproof box of the main body. A rescue signal is sent from the ECU built into the rescue center to the rescue center (S829), the manipulator used as the arms 104 and 106 can be removed, the vehicle window can be broken, and the air bag is removed to float The sign that it can be used as a wheel is issued, and after that, it waits by autonomous control.
[0286]
On the other hand, if it is determined that there is no problem with the system (S827), the damage in the vehicle is confirmed by the CCD 112, and the presence of the registered occupant is confirmed from the stored form such as the face (S833). Further, an operation of dividing the window glass on the water surface with a rescue tool is executed (S635), and then it is determined whether all the passengers have escaped (S837). When all the members have not escaped, an operation of dividing the window glass on the water surface on the opposite side with the rescue tool is executed (S839). The CRS 100 enters a standby state when it is confirmed that all the members have escaped.
[0287]
Furthermore, an example of the interior cleaning operation performed by the CRS 100 will be described as a ninth embodiment. FIG. 28 is a flowchart of cleaning inside the vehicle as the cleaning operation 1, FIG. 29 is a flowchart of cleaning inside the vehicle against window fogging and sheet contamination as the cleaning operation 2, and FIG. 30 is a cleaning operation after the passenger gets off as the cleaning operation 3. The flowchart is shown.
[0288]
The process shown in FIG. 28 is executed as one of the self-issued operation modes of the CRS 100. Even while the vehicle is running, the CRS 100 monitors whether confectionery or the like has fallen in the vehicle (S901), and confirms that there is a fallen object. By comparing the initial screen before the fall with the screen after the fall, A fallen object is searched (S903). When the CRS 100 confirms the fallen object, the CRS 100 catches it and confirms the location of the abandonment to the passenger. The CRS 100 transports and drops the fallen object to the disposal site (S905).
[0289]
Further, the CRS 100 checks whether or not dust is attached to the clothes and sheets of the passengers in the vicinity in the same manner as when a fallen object is found (S909). If dust is attached, the hands 104HA and 106HA use the hand. And handle as in the case of falling objects. When no trash is attached to the passenger or after the attached trash is processed, monitoring for cleaning is continued in the same manner while performing autonomous control (S901).
[0290]
FIG. 29 shows a flowchart of the cleaning operation performed by the CRS 100 including when the glass window is fogged while the vehicle is running, when the seat is dirty, and when a cleaning instruction is received from the passenger. Has been.
[0291]
In FIG. 29, the CRS 100 monitors whether or not the glass window of the vehicle is fogged (S911). For example, the CRS 100 detects the fogging of the glass window based on the transmittance based on an area comparison between a changing scenery outside the vehicle and an image (glass stain) that changes integrally with the vehicle. The CRS 100 performs an operation of wiping the window when it detects clouding (S913), and checks whether the field of view of the dynamic scenery seen through the glass window is widened (S915), and performs window cleaning until the clouding disappears. To do.
[0292]
When the window in front of the vehicle is in a cloudy state, driving may be hindered. Therefore, when front window cleaning is required, the CRS 100 may be programmed to perform a window cleaning operation so as not to interfere with driving after telling the driver that window cleaning is necessary, A program may be set to issue a warning to the driver.
[0293]
Further, the CRS 100 also detects sheet contamination. When the CRS 100 detects that the scattering of the sheet surface is equal to or greater than a predetermined value (S917), the CRS 100 performs a cleaning operation by moving the hands 104HA and 106HA and sweeping the sheet 104HA (S919). ). For example, suction means may be further added to the hands 104HA and 106HA of the CRS 100 to remove and remove dirt on the sheet. This sheet contamination is also repeated until the scattering on the sheet surface becomes a predetermined value or less (S917). It should be noted that a predetermined value of scattering may be set by the driver or the like. Also, if a relatively large item such as a tissue box or blanket is detected, the position is stored and reported to the driver, or it is set to be transported to the registered location. Also good.
[0294]
It is desirable to set the operation for removing the above-described sheet contamination so that the CRS 100 is executed when the vehicle recognizes that the vehicle is stopped or parked.
[0295]
Furthermore, when there is a cleaning instruction when the occupant gets out of the vehicle (S921), the CRS 100 executes a predetermined cleaning operation (S923). Even in the case of the cleaning operation according to such an instruction, the process is repeated until the scattering of the sheet surface becomes a predetermined value or less (S925).
[0296]
When there is no cleaning instruction by the occupant (S921), or when the scattering of the seat surface becomes a predetermined value or less, the vehicle waits while autonomously controlling in the vehicle.
[0297]
Further, FIG. 30 shows a cleaning operation 3 in the case where there is no occupant in the vehicle parked at night or the like, and the CRS 100 performs overall cleaning in the vehicle in the self-issued operation mode.
[0298]
In FIG. 30, when it is confirmed that there is no CRS 100 in the vehicle (S931), the CRS 100 moves to a predetermined place where the dust cloth is placed and has the dust cloth (S933). The CRS 100 wipes the front, rear, and side windows with a rag (S935), and repeats the operation of wiping until the field of view widens (S939) while confirming that there are no scratches or dirt that cannot be removed by wiping (S937). . In step 937, if the CRS 100 has scratches or dirt that cannot be removed, the window wiping operation is repeated while registering the location (S941).
[0299]
When the window becomes clean, the CRS 100 returns the dust cloth to a predetermined place (S947), and continues to clean the vehicle interior. If dust is scattered on the sheet (S949), it is collected and transported to the trash box (S951).
[0300]
Further, the CRS 100 confirms whether or not an empty can remains in the beverage holder (S953). When an empty can is found, the CRS 100 moves to that location and captures the empty can. At that time, it is confirmed whether the weight of the can is equal to or less than a predetermined value (S955). In step 953 described above, the present invention is not limited to empty cans, and may be plastic bottles, paper packs, or other containers. Moreover, you may set so that it may confirm not only a drink holder but on a floor or a sheet | seat.
[0301]
In step 955, if the weight of the can is equal to or greater than the predetermined value, there is leftover, so the location is registered (S959), and the can is returned to the original beverage holder. Conversely, if the weight of the can is less than or equal to the predetermined value, there is no leftover, so the can is moved to the position of the trash box and collected in the trash box (S957).
[0302]
When the series of cleaning operations is completed, the CRS 100 moves to a predetermined location and enters a standby state under autonomous control (S965). Then, when the driver gets on the vehicle, the registration location of the can with the sheet dirt or leftover is reported. After this report, the memory of the registered location is deleted.
[0303]
In the above, based on a plurality of flowcharts, the CRS 100 has been illustrated as providing on-board robots services such as protection and rescue of passengers including drivers, entertainment, and in-vehicle cleaning. It is not limited to.
[0304]
In the description of the above-described embodiment, the basic operation executed by the CRS 100 is described as the first embodiment, and the individual operations such as the article transporting operation are described after the second embodiment. However, from the viewpoint of improving the service provided to the passengers etc. by the CRS 100 mounted on the vehicle, it is more desirable that these flowcharts are related to each other and configured as a series of flowcharts.
[0305]
Further, FIGS. 31 to 33 show another embodiment of the CRS. FIG. 31 shows a modified example for mounting the CRS 100 on the vehicle, FIG. 32 shows an example in which the CRS is formed with a built-in mobile phone, and FIG. 33 shows a configuration that jumps out from the instrument panel of the vehicle to further enhance the amusement function. This is an example of CRS.
[0306]
In FIG. 31, the modification which mounted CRS100 in the compatible type vehicle 5 is shown. The CRS 100 has a waiting space in the rear trunk 6 of the vehicle, and emerges from a notch (not shown) provided on the trunk and the vehicle compartment side when necessary. The movement of the CRS 100 shown in FIG. 31 may be configured to move along a rail attached to a door or the like, or the arm 110 may be configured to be able to move the CRS 100 in the vehicle interior using an extension fitting tube or the like.
[0307]
The CRS 200 shown in FIG. 32 is a mobile phone built-in type. The CRS 200 includes a recess 202 that accommodates the mobile phone 250 in the main body. When the cellular phone 250 is fitted in the recess 202, the CRS 200 has a communication function. Therefore, a user or the like of the vehicle can give an instruction from outside the vehicle to cause the CRS 200 to perform a predetermined operation. It is also possible to confirm the operation performed by the CRS 200 in response to this instruction by telephone. Note that a communication device may be built in the main body of the CRS 200 in advance.
[0308]
FIG. 33 shows an example of a CRS 300 with an enhanced amusement function. The CRS 300 is configured to jump out from the instrument panel 55 of the vehicle, and further enhances the entertainment function.
[0309]
A CRT 55 that displays television, navigation information, and the like is fitted into the instrument panel 55, and a space 57 in which the CRS 300 can stand by (stor) is formed behind the CRT 55. A hinge is formed at one end of the CRT 55 and can be opened and closed as shown in the figure. When the CRT 55 is opened, the CRS 300 appears. Further, a rail 52 for moving the CRS 300 is laid on the console box 53.
[0310]
When operating such a CRS 300 having an entertainment function, first, for example, a standby state is set in the space 57 and the same image 56 as the CRS 300 is displayed on the CRT 55. Next, by opening the CRT 55 and performing actions such as dancing, singing, etc. by causing the CRS 300 to appear, the passengers in the vehicle can be entertained by coordinating the image on the CRT 55 with the CRS 300.
[0311]
As described above, the CRS described with reference to FIGS. 31 to 33 is also configured as a vehicle-mounted robot having the same function as the CRS 100 described above. Therefore, a vehicle equipped with such a robot is more comfortable and enjoyable than before, and has improved safety and anti-theft functions.
[0312]
The CRS 100 and the like described above are embodied as one character as a character, but the CRS assumed by the present invention is not intended for such an integrated robot. In the CRS of the present invention, for example, a device that builds in a configuration corresponding to the recognition unit 12 and the thinking unit 14 in the instrument panel and displays a 3D image or a virtual reality image of the character in the vehicle interior space is prepared, and only the manipulator Including a configuration in which the system exists and operates.
[0313]
In addition, the CRS 100 may be distributed around the vehicle. For example, the head of the CRS 100 is set on the vehicle ceiling for the purpose of monitoring the surroundings and communicating with the occupant, and only the arm made up of a manipulator or the like that transports articles according to the occupant's instructions can move along the rail. A certain configuration may be adopted.
[0314]
In the first to ninth embodiments described above, the CRS is set in the vehicle, and the mode of moving to a predetermined position along the rail or the like has been mainly described. However, the CRS that falls within the scope of the present invention is not limited to such a form. A robot that functions as an amusement pet robot or an auxiliary robot that assists the work when it is away from the vehicle, and when it is brought into the vehicle, may be a robot that performs services in the vehicle, such as the CRS of the above-described embodiment. . Such a robot is independent of the vehicle and has a walking function in the main body as a moving means. In addition, when such a robot is provided with a wireless communication function and the vehicle side is provided with a similar communication function, the robot can recognize the state of the vehicle even when the robot is away from the vehicle.
[0315]
Next, the CRS 400 of the tenth embodiment shown in FIG. 34 to FIG. 38 is a robot that has a walking function capable of walking on its own and has a wireless communication function and performs autonomous control while using vehicle-side information. . Therefore, the vehicle also has a predetermined communication function, and is set so that information that can be used for autonomous control of the CRS 400 can be transmitted. In the tenth embodiment, a series of systems provided on the vehicle side capable of communicating with the CRS 400 will be referred to as an in-vehicle system.
[0316]
FIG. 34 shows a state in which the CRS 400 is held by an occupant HUB sitting in the passenger seat in the vehicle. The CRS 400 of this embodiment is formed of an upper half 401 having a head 402 and a lower half 408 having a walking function. The upper half 401 is provided with arms 404 and 406 similar to those in the above-described embodiment.
[0317]
The CRS 400 of this embodiment also has a configuration for performing autonomous control in the same manner as the CRS 100 described above. Further, although not shown in the figure, wireless communication means is arranged in the CRS 400 such as in the head 402.
[0318]
That is, the CRS 400 of the present embodiment is a configuration further provided with a function capable of walking independently and a function capable of communicating with a vehicle, as compared with the CRS 100 of the embodiment described above. Note that a reference numeral 410 in FIG. 34 indicates a sheet dedicated to the CRS 400. If the CRS 400 is set on the dedicated seat 410 based on the judgment of the occupant or the CRS 400 itself, the CRS 400 is stably held against disturbance from the vehicle.
[0319]
An example of the operation by the CRS 400 will be described with reference to the flowcharts shown in FIGS. In FIG. 35, when the CRS 400 outside the vehicle approaches the vehicle together with the driver, the CRS 400 confirms that the vehicle is a vehicle (registered vehicle) that the vehicle should ride (S1001).
[0320]
When the CRS 400 enters the vehicle together with the driver, the CRS 400 checks the cooperative line with the in-vehicle system (S1005), and also detects the position in the vehicle (S1007).
[0321]
Next, the CRS 400 detects whether or not it is set on the dedicated seat 410 in the vehicle (S1009), and when it is set on the dedicated seat 410, autonomous control is performed by the setting flow indicated by reference numeral 30. The setting flow as a sub flow will be described later with reference to FIG.
[0322]
When the CRS 400 determines that it is not set on the dedicated seat 410 (S1009), it detects whether or not it is held by an occupant (S1011). In step 1011, when the vehicle is held by an occupant, autonomous control is performed by a holding flow indicated by reference numeral 31. This holding flow will also be described later with reference to FIG.
[0323]
If the CRS 400 is determined not to be set on the dedicated seat 410 and is not carried by the passenger (S1011), the CRS 400 executes autonomous control in a free state in the vehicle. For example, an action such as inquiring about the whereabouts of the occupant and moving to the place is executed. At that time, if necessary, a posture such as sitting is taken as a posture to prepare for disturbance from the vehicle (S1013).
[0324]
Further, the CRS 400 obtains information from the in-vehicle system, detects the shift position of the vehicle, and detects whether to move forward or reverse (S1015). If it is determined that the vehicle moves forward, the accelerator opening degree is further detected from the in-vehicle system, the acceleration G at the time of start is predicted, and if necessary, actions such as bringing the body close to the seat back are supported and supported ( S1017, S1019, S1021). Even when it is determined that the vehicle is going backward, the accelerator G is detected from the in-vehicle system and the acceleration G at the time of starting is predicted, and if necessary, actions such as catching on the seat are taken to support itself (S1023, S1025). , S1027).
[0325]
In addition, since the CRS 400 is in a standing state, a walking control program such as ZMP control that matches ZMP (zero moment point) with respect to vehicle disturbance may be set in advance.
[0326]
Further, as shown in FIG. 36, when the vehicle turns while the vehicle is running (S1029), the CRS 400 detects the yaw rate in real time by the yaw rate sensor (S1031) and stretches the vehicle according to the turn G. An operation such as rounding is executed (S1033). A steering angle sensor can be used to detect the yaw rate. In this case, the yaw rate predicted from the steering angle detected by the steering angle sensor may be calculated, and the control may be started by predicting the occurrence of the turn G.
[0327]
Subsequently, when the vehicle decelerates (S1035), the CRS 400 determines whether the deceleration G is equal to or higher than a predetermined level (S1037). When the deceleration G is equal to or higher than a predetermined level, the CRS 400 retracts to the dedicated seat 410 and sets itself or informs the passenger that the dedicated seat 410 is to be set (S1039).
[0328]
The CRS 400 performs the above-described autonomous control even while the vehicle is traveling, and when there is an operation request for a predetermined service from the occupant (S1041), when the vehicle is traveling normally (S1043), Operations such as transportation, monitoring and entertainment are executed in the same manner as shown in the embodiment (S1045). If the vehicle is not traveling in a steady state (S1043), the passenger is informed that the vehicle cannot operate until the vehicle travels in a steady state (S1047).
[0329]
Thereafter, the CRS 400 stands by autonomous control so as to be able to serve the occupant, and executes a predetermined operation as necessary (S1049).
[0330]
Finally, when the vehicle is parked, the CRS 400 determines whether it has been unloaded from the vehicle with the occupant (S1051). When the CRS 400 also gets off, it communicates with the in-vehicle system and monitors the state of the vehicle from outside the vehicle (S1055). When the CRS 400 is left in the vehicle, a spontaneous operation such as monitoring and cleaning is performed as in the case of the CRS 100 described above (S1053).
[0331]
FIG. 37 shows a sub-flow when the CRS 400 is set to the dedicated sheet 410 in FIG. 35 with respect to the main flow shown in FIGS. In FIG. 37, the CRS 400 performs a service that can be provided to the occupant, for example, operations such as monitoring and entertainment, while sitting on the dedicated seat 410 (S1101). Thereafter, the operation according to the main flow indicated by reference numeral 32 in FIG. 36 is similarly executed.
[0332]
FIG. 38 shows a sub-flow when the CRS 400 is held by an occupant in FIG. In FIG. 38, when the CRS 400 detects that the accelerator of the vehicle is turned on (S1151), it detects the accelerator opening signal and predicts the acceleration G at the time of start (S1153). At this time, the CRS 400 increases the force of the occupant to hold on to the garment of the occupant, and alerts the occupant by saying “hold firmly” (S1155).
[0333]
Subsequently, when the vehicle turns while the vehicle is running (S1157), the CRS 400 detects the yaw rate in real time by the yaw rate sensor (S1159), and performs operations such as straddling according to the turn G and catching on the occupant's clothes. The upper body is inclined against the turning G (S1161).
[0334]
Further, when the vehicle decelerates (S1163), the CRS 400 determines whether the deceleration G is equal to or higher than a predetermined level (S1165). Even when the deceleration G is equal to or higher than a predetermined level, an operation such as straddling according to the deceleration G and catching on the occupant's clothes is performed, and the upper body is inclined against the deceleration G (S1167). Thereafter, the operation according to the main flow indicated by reference numeral 32 in FIG. 36 is similarly executed.
[0335]
In the tenth embodiment, an example is shown in which the CRS 400 that is far from the vehicle can communicate with the vehicle. However, the present invention is not limited to this embodiment, and the CRS 400 may be set to be in communication with the vehicle only when the CRS 400 is in the vehicle.
[0336]
Further, as an eleventh embodiment, an example of a CRS that is detachable from a vehicle will be described. In FIG. 39, the CRS 500 is configured to be separable into an upper body 560 and a walking kit 550 serving as the lower body. The upper body 560 is set on a vehicle console or the like, and becomes a vehicle-mounted robot.
[0337]
When the upper body 560 and the walking kit 550 are set, the CRS 500 shown in FIG. 39 becomes, for example, a pet robot or the like at the passenger's home. When the upper body 560 is brought into the vehicle and set at a predetermined position, the upper body 560 functions in the same manner as the vehicle-mounted robot described above. The CRS 560 shown in FIG. 39 is configured to move in the guide groove 565 provided in the vehicle, and provides various services to the occupant while performing autonomous control in the same manner as the CRS 100 described as the first to eighth embodiments.
[0338]
The twelfth embodiment shown in FIG. 40 shows an example in which the first CRS 656 that is detachable from the vehicle and the second CRS 600 configured in a seat shape coexist in the vehicle. As in the case of the eleventh embodiment, the first CRS 656 may be a pet robot having a walking function when the walking kit 650 is set on the CRS 656.
[0339]
In FIG. 40, the first CRS 656 is detachably disposed at a predetermined position 601 of a second CRS 600 (hereinafter referred to as a seat robot 600). The seat robot 600 includes a head 604 having a CCD or the like and a pair of arm-shaped manipulators 602 extending so as to hold an occupant from both sides.
[0340]
Further, the seat robot 600 includes a seat belt 606 as well as a normal seat. In the preferred form of the seat robot 600, as additional functions, means for fastening the seat belt to the occupant seated on the seat, means for heating and cooling the seat, means for measuring the blood pressure of the occupant seated on the seat, A means for measuring the pulse of the seated occupant, a means for measuring the brain waves of the occupant seated on the seat, a means for rotating the seat, a means for moving the seat back and forth, a means for tilting the seat, etc. It also has a function to check health status.
[0341]
The seat robot 600 is also a form of the CRS referred to in the present invention. The outer shape is a seat shape and does not have a moving means, but it has a recognition unit and a thinking unit like other CRSs, Provide favorable services. The seat robot 600 can also be attached to and detached from the vehicle seat CAS, and is particularly effective as a substitute for a conventional child seat.
[0342]
An example of operations performed by the CRS 656 and the seat robot 600 will be described with reference to the flowcharts shown in FIGS. Here, a case is shown in which both the CRS 656 and the seat robot 600 are provided with a communication device and provide services to a child seated on the seat robot 600 in cooperation.
[0343]
In FIG. 41, when there is an approaching person, the seat robot 600 confirms whether or not it is a registrant (S2001). If you are a registrant, check if the driver has brought CRS 656, and if you have forgotten, take care to get it. When the driver brings the CRS 656, the driver is urged to set the predetermined position 601 (S2003).
[0344]
When the seat robot 600 confirms that the CRS 656 is set to the predetermined position 601 (S2005), the seat robot 600 and the CRS 656 start a support operation (S2007).
[0345]
The seat robot 600 obtains information from the in-vehicle system, detects the shift position of the vehicle, and detects whether to move forward or reverse (S2009). If it is determined that the vehicle moves forward, the arm-shaped manipulator 602 remains loose even if the accelerator is turned on. On the other hand, when it is determined that the vehicle moves backward (S2009), when it is detected that the accelerator is turned on, the arm-shaped manipulator 602 is used to tighten the child appropriately so as not to tilt forward (S2017).
[0346]
At that time, the CRS 656 provides necessary services to the occupant while responding to the disturbance from the vehicle by the above-described autonomous control. The same applies to the following description.
[0347]
Furthermore, when the vehicle turns while the vehicle is running (S2019), the yaw rate is detected in real time by the yaw rate sensor (S2021), and the arm-shaped manipulator 602 appropriately holds the child according to the turn G. (S2023).
[0348]
Subsequently, when the vehicle decelerates (S2025), the seat robot 600 determines whether the deceleration G is equal to or higher than a predetermined level. When the deceleration G is equal to or higher than a predetermined level (S2027), the same as in step 2023. In response to the deceleration G, the arm-shaped manipulator 602 controls to hold the child appropriately (S2029).
[0349]
Further, when a service operation is requested from the child (S2031), the CRS 656 checks the child's operation to estimate the mood, and then executes the entertainment operation described above (S2035).
[0350]
If there is no service operation request from the child in step 2031, the seat robot 600 is configured based on the functions added in advance, such as the child's heart rate, body temperature, electroencephalogram, etc., as shown in FIG. A physical condition check is executed to check whether the child is sick of a car (S2037).
[0351]
When the seat robot 600 determines that the child is drunken (S2039), the seat robot 600 and the CRS 656 cooperate, for example, a message indicating that the child is not in good health is displayed on the navigation screen of the driver's seat. A stop is proposed (S2041), and the operation of healing the child is repeated until the vehicle stops (S2043, S2045).
[0352]
When the child sleeps (S2047), the seat robot 600 and the CRS 565 cooperate to execute an operation such as entertainment in response to another passenger's request (S2049).
[0353]
Further, steps 2051 and subsequent steps are shown continuously when the vehicle is parked. The seat robot 600 inquires whether the child wants to get off the seat (S2051), and when the child robot shows an attitude that the child wants to get off, loosen the arm-shaped manipulator 602 that supported the child, and rotate the seat if necessary. The seat height is lowered so that the child can get off (S2053, S2055, S2057).
[0354]
If it is determined in step 2051 that the child does not want to get off, the seat robot 600 and the CRS 656 cooperate in the vehicle to take care of the child. When other passengers get off, the seat robot 600 and the CRS 656 are autonomously controlled to control the interior environment such as the interior temperature and the air conditioner (A / C), and also monitor the approaching person approaching the vehicle. (S2063). When the occupant leaves the child for a long time, the occupant is warned to stop the leaving (S2061).
[0355]
Finally, when the occupant gets off (S2067), the seat robot 600 continues operation such as night monitoring by autonomous control when detecting that the CRS 656 is removed from the predetermined position 601 of the seat and leaves the vehicle together with the occupant. . (S2069). When it is detected that the CRS 656 remains at the predetermined position 601 of the seat, the operation such as night monitoring is continued by autonomous control in cooperation with the CRS 656.
[0356]
In the twelfth embodiment, the seat robot 600 as the second CRS provides a service to the passenger in cooperation with the first CRS 565. Of course, only the seat robot 600 is arranged in the vehicle. A simple service can be provided to passengers. Further, a walking function or a traveling function may be added to the seat robot 600. Furthermore, the seat robot 600 may be configured to be able to be taken out of the vehicle by adding a function as a stroller or a wheelchair. In that case, the seat robot 600 may be set to perform an operation in cooperation with the CRS.
[0357]
Further, as a thirteenth embodiment, an example in which a seat that is a part of a part constituting a vehicle is a CRS will be described.
[0358]
In FIG. 43, the CRS 710 is formed integrally with the front seat, and the CRS 720 is formed integrally with the rear seat. The headrest of the seat includes a CCD, a microphone, a gas sensor for detecting a gas state in the vehicle, and the like, and serves as the heads 714 and 724 of the CRS 710 and 720. The CRS 710 for the front seat and the CRS 720 for the rear seat have arm-shaped manipulators 712 and 722, respectively, like the robot seat of the twelfth embodiment.
[0359]
The front seat CRS 710 and the rear seat CRS 720 of this embodiment are also one form of the CRS of the present invention. Although the CRS 710 and the CRS 720 are integrated with the vehicle seat and do not have a moving means, they have a recognition unit and a thinking unit like the other CRSs, and provide a preferable service to the passengers in the vehicle. Various services are provided to the occupant while performing autonomous control in the same manner as the CRS 100 described as the first to eighth embodiments.
[0360]
An operation example in which the front seat CRS 710 and the rear seat CRS 720 have a function of communicating with each other and provide services to passengers in cooperation will be described with reference to the flowcharts shown in FIGS.
[0361]
44, CRSs 710 and 720 confirm whether or not they are registrants when there is a person approaching the vehicle (S3001). If it is a registrant, a greeting is made (S3003).
[0362]
The front seat CRS 710 and the rear seat CRS 720 determine whether or not the seated occupant is an adult (S3005), and if it is a child, activates the child support system (S3009). This child support system is the same as the operation performed by the robot seat 600 in the twelfth embodiment, and a duplicate description thereof is omitted here.
[0363]
When the seated occupant is an adult (S3005), the front seat CRS 710 serving as the driver's seat checks whether or not the person is drinking (S3011), and if the alcohol component is detected by a gas sensor or the like, The system is locked and a warning is issued (S3013).
[0364]
If it is determined in step 3011 that the driver is not drinking, the front seat CRS 710 and the rear seat CRS 720 start a support operation (S3017).
[0365]
The front seat CRS 710 and the rear seat CRS 720 obtain information from the in-vehicle system, detect the shift position of the vehicle, and detect whether the vehicle moves forward or backward (S3019). When it is determined that the vehicle moves forward, the arm-shaped manipulators 712 and 722 are kept loose even when the accelerator is turned on (S3023). On the other hand, when it is determined that the vehicle moves backward (S3019), when it is detected that the accelerator is turned on, the arm-like manipulators 712 and 722 are appropriately tightened so as not to tilt forward (S3027).
[0366]
Further, as shown in FIG. 45, when the vehicle turns while the vehicle is traveling, the front seat CRS 710 and the rear seat CRS 720 detect the yaw rate in real time by the yaw rate sensor (S3031), and according to the turn G The arm-shaped manipulators 712 and 722 are controlled so as to hold the occupant appropriately (S3033).
[0367]
Subsequently, when the vehicle decelerates (S3035), the front seat CRS 710 and the rear seat CRS 720 determine whether the deceleration G is equal to or higher than a predetermined level, and when the deceleration G is equal to or higher than a predetermined level (S3037). As in step 3033, the arm-shaped manipulators 712 and 722 are controlled so as to appropriately hold the occupant according to the deceleration G (S3039).
[0368]
When the CRS 710 for the front seat recognizes that the driver is running away from the information from the in-vehicle system, the front seat CRS 710 performs the engine output reduction and engine brake control in cooperation with the in-vehicle system, and also warns the driver. Is issued (S3043).
[0369]
When it is determined that the vehicle is operating normally (S3041), when a service operation is requested from the occupant (S3045), the front seat CRS 710 and the rear seat CRS 720 check the request (S3047). For example, if the occupant's request is transportation of an article and the article is within the reach of the arm-shaped manipulators 712 and 722, the article is captured and transported by operating the front seat CRS 710 and the rear seat CRS 720. . If necessary, it is also handed between the arm-shaped manipulators 712 and 722 (S3049).
[0370]
Further, the front seat CRS 710 and the rear seat CRS 720 execute a monitoring operation using a CCD or the like of the headrest. At that time, the front seat CRS 710 and the rear seat CRS 720 share the monitoring area and perform the check. In particular, the front seat CRS 710 also monitors the driver's condition (S3051).
[0371]
Finally, when the occupant gets out of the CRS 710 for the front seat and the CRS 720 for the rear seat (S3053), the operation such as night monitoring is continued by autonomous control while cooperating (S3055).
[0372]
Although the above-mentioned 13th example showed the case where CRS was a sheet, other articles which constitute a vehicle may be used. In addition, although the front seat CRS 710 and the rear seat CRS 720 cooperated to provide a service to the occupant, of course, the front seat CRS 710 and the rear seat CRS 720 also provide a service to the occupant independently. Good. Since such a CRS uses existing parts in the vehicle, the space in the vehicle interior can be maintained as in the conventional case even if a robot is provided in the vehicle.
[0373]
The preferred embodiments of the present invention have been described in detail above, but the present invention is not limited to such specific embodiments, and various modifications and changes can be made within the scope of the present invention described in the claims. It can be changed.
[0374]
It should be noted that the recognition means in the claims is in the CRS recognition section 12, the thinking means is in the CRS thinking section 14, the moving means is in the rail 2 and the slider 108, the operating means is in the arms 114 and 116, and the hands 104HA and 106HA. Corresponds to the vehicle occupant information 20.
[0375]
【The invention's effect】
[0393]
  Also,Claim 1According to the described invention, the robot set at a predetermined position in the moving body operates (services) while interactively communicating with the occupant. Therefore, passengers can spend comfortably and safely in the moving body.In addition, since the components of the moving body are converted into robots, services can be provided to passengers without reducing the passenger's living space.
  According to the second aspect of the present invention, since the seat having a preferable additional function is a robot, for example, a child can be safely held by autonomous control without separately preparing a child seat or the like. Furthermore, it will be safe for adults as well as children, and will be a robot that takes into consideration the physical condition.
  According to the invention described in claim 3, since the robot is provided with the arm-shaped manipulator, it is possible to deliver the article even if it cannot move. Furthermore, it is more effective to protect the occupant if the arm-shaped manipulator is set so as to hold the occupant when the mobile body suddenly starts / stops or the like and excessive deceleration occurs.
[0394]
  Also,Claim 4According to the described invention, since the robot performs a desirable service that the occupant desires in the mobile body, the occupant can spend comfortably and safely in the mobile body.
[0395]
  Claims1~12According to the invention described inIsAutonomous control with configuration including self-issued mode,Necessary services can be provided while communicating with passengers.
[0396]
  Claims13According to the invention described in the above, since the communication function is also provided on the mobile body side and communication with the robot is possible, the robot can grasp the information obtained on the mobile body side.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of a CRS in function blocks.
FIG. 2 is a diagram showing a first embodiment in which a CRS is mounted on a station wagon type vehicle.
FIG. 3 is a block diagram showing specific elements that can be adopted as the components of the CRS of the first embodiment.
FIG. 4 is a basic flowchart when the CRS performs various operations while performing autonomous control in the first embodiment.
FIG. 5 is a basic flowchart when the CRS performs various operations while performing autonomous control in the first embodiment.
FIG. 6 is a basic flowchart when the CRS performs various operations while performing autonomous control in the first embodiment.
FIG. 7 is a basic flowchart when the CRS performs various operations while performing autonomous control in the first embodiment.
FIG. 8 is a basic flowchart when the CRS performs various operations while performing autonomous control in the first embodiment.
FIG. 9 is a basic flowchart when the CRS performs various operations while performing autonomous control in the first embodiment.
FIG. 10 is a flowchart showing details of a transport operation performed by the CRS in the second embodiment.
FIG. 11 is a flowchart showing details of a transport operation performed by the CRS in the second embodiment.
FIG. 12 is a flowchart showing details of a transport operation performed by the CRS in the second embodiment.
FIG. 13 is a flowchart showing details of a transport operation performed by the CRS in the second embodiment.
FIG. 14 is a flowchart showing details of a transport operation performed by the CRS in the second embodiment.
FIG. 15 is a flowchart showing details of a monitoring operation performed by the CRS in the third embodiment.
FIG. 16 is a flowchart showing details of a monitoring operation performed by the CRS in the third embodiment.
FIG. 17 is a flowchart showing details of a monitoring operation executed by the CRS in the third embodiment.
FIG. 18 is a flowchart showing details of a night monitoring operation performed by the CRS in the fourth embodiment.
FIG. 19 is a flowchart showing an example of entertainment operation executed by CRS in the fifth embodiment.
FIG. 20 is a flowchart showing an example of entertainment operation executed by CRS in the fifth embodiment.
FIG. 21 is a flowchart showing an example of entertainment operation executed by CRS in the fifth embodiment.
FIG. 22 is a flowchart showing an example of an operation performed by the CRS at the time of a vehicle collision in the sixth embodiment.
FIG. 23 is a flowchart showing an operation example executed by the CRS at the time of a vehicle collision in the sixth embodiment.
FIG. 24 is a flowchart showing an example of an operation performed by the CRS when the vehicle rolls over in the seventh embodiment.
FIG. 25 is a flowchart showing an example of an operation performed by the CRS when the vehicle rolls over in the seventh embodiment.
FIG. 26 is a flowchart showing an example of an operation performed when the CRS is submerged in the eighth embodiment.
FIG. 27 is a flowchart showing an operation example executed by the CRS when the vehicle is submerged in the eighth embodiment.
FIG. 28 is a flowchart showing an operation 1 executed by the CRS during vehicle cleaning in the ninth embodiment.
FIG. 29 is a flowchart showing an operation 2 performed by the CRS during vehicle cleaning in the ninth embodiment.
FIG. 30 is a flowchart showing an operation 3 performed by the CRS during vehicle cleaning in the ninth embodiment.
FIG. 31 is a diagram showing a modification in which the CRS shown in FIG. 2 is mounted on a compatible type vehicle.
FIG. 32 is a diagram showing an example in which a CRS is formed with a built-in mobile phone.
FIG. 33 is a diagram showing an example of a CRS that is configured to jump out of an instrument panel and has an enhanced amusement function.
FIG. 34 is a diagram showing a CRS having a walking function according to a tenth embodiment.
FIG. 35 is a flowchart when the CRS performs various operations while performing autonomous control in the tenth embodiment.
FIG. 36 is a flowchart when the CRS performs various operations while performing autonomous control in the tenth embodiment.
FIG. 37 is a flowchart when the CRS performs various operations while performing autonomous control in the tenth embodiment.
FIG. 38 is a flowchart when the CRS performs various operations while performing autonomous control in the tenth embodiment.
FIG. 39 is a diagram showing a CRS that is detachable from a vehicle according to an eleventh embodiment.
FIG. 40 is a diagram illustrating a first CRS that is detachable from a vehicle and a second CRS configured in a seat shape according to the twelfth embodiment.
FIG. 41 is a flowchart when the CRS performs various operations while performing autonomous control in the twelfth embodiment.
FIG. 42 is a flowchart when the CRS performs various operations while performing autonomous control in the twelfth embodiment.
FIG. 43 is a view showing a CRS formed integrally with a sheet of a thirteenth embodiment.
FIG. 44 is a flowchart when the CRS performs various operations while performing autonomous control in the thirteenth embodiment.
FIG. 45 is a flowchart when the CRS performs various operations while performing autonomous control in the thirteenth embodiment.
[Explanation of symbols]
1 Vehicle (moving body)
2 rails
10, 100 CRS (Mounting Robot)
12 Recognition part
14 Thought Department
16 Moving part
18 Actuator
102 head
104,106 arms
104HA, 106HA hand
112 eyes (CCD)
113 mouth (speaker)
114 Ear (Microphone)

Claims (13)

移動体或いは乗員から受ける諸条件を認識する認識手段と、該認識手段により認識された前記諸条件に対応するための思考を行う思考手段と、前記思考手段による結果に基づき必要な動作を実行する動作手段とを含み、前記乗員と間で双方向のコミュニケーションを取りながら動作する移動体搭載用のロボットにおいて、
当該ロボットは前記移動体を構成するシートと一体である、ことを特徴とする移動体搭載用ロボット。Recognizing means for recognizing various conditions received from a moving body or an occupant, thinking means for thinking to respond to the various conditions recognized by the recognizing means, and executing necessary operations based on the results of the thinking means In a robot mounted on a moving body that includes an operating means and operates while taking two-way communication with the occupant,
A robot for mounting a moving body, wherein the robot is integral with a sheet constituting the moving body. 請求項１に記載の移動体搭載用のロボットにおいて、
当該ロボットは、前記思考手段による結果に基づいてシートに付加された機能を実行する、ことを特徴とする移動体搭載用ロボット。The robot for mounting a mobile body according to claim 1,
The robot according to claim 1, wherein the robot executes a function added to the seat based on a result of the thinking means. 請求項１に記載の移動体搭載用のロボットにおいて、
前記シートがさらに腕状のマニュピレータを備える、ことを特徴とする移動体搭載用ロボット。The robot for mounting a mobile body according to claim 1,
The robot according to claim 1, wherein the seat further includes an arm-shaped manipulator. 請求項１〜３記載の移動体搭載用のロボットにおいて、
前記思考手段にはロボット自らが行動するための自律思考部が設定され、該自律思考部は前記認識手段が認識した前記諸条件に基づき前記動作手段を駆動させて自律制御を実行する、ことを特徴とする移動体搭載用のロボット。In the robot for mounting a moving body according to claims 1 to 3,
An autonomous thinking unit for the robot itself to act is set in the thinking unit, and the autonomous thinking unit drives the operation unit based on the various conditions recognized by the recognition unit to execute autonomous control. A mobile robot equipped with a feature. 請求項４記載の移動体搭載用のロボットにおいて、
前記自律制御は、前記認識手段が認識した前記諸条件に基づき当該ロボットが乗員に関して必要な行動を取る自発行動モードをさらに含む、ことを特徴とする移動体搭載用のロボット。The robot for mounting a mobile body according to claim 4 ,
The autonomous vehicle control robot further includes a self-issued movement mode in which the robot takes a necessary action regarding an occupant based on the conditions recognized by the recognition means. 請求項５記載の移動体搭載用ロボットにおいて、
前記自発行動モードによる行動には、乗員登録、夜間監視、移動体内における落下物監視、移動体走行時の監視アシスト、移動体への乗降時の監視アシスト、移動体内の清掃、ゴミの回収及び窓拭き、から選択される少なくとも１つを含む、ことを特徴とする移動体搭載用ロボット。The robot for mounting a mobile body according to claim 5 ,
The behavior in the self-issued movement mode includes occupant registration, night-time monitoring, monitoring of falling objects in the moving body, monitoring assistance during traveling of the moving body, monitoring assist when getting in and out of the moving body, cleaning of the moving body, collection of garbage and windows A robot for mounting on a moving body, comprising at least one selected from wiping. 請求項５記載の移動体搭載用のロボットにおいて、
前記自発行動モードは、前記乗員の行動から予想して実行される、ことを特徴とする移動体搭載用のロボット。The robot for mounting a mobile body according to claim 5 ,
The self-issued movement mode is executed in anticipation of the behavior of the occupant, and is a robot mounted on a moving body. 請求項１から４のいずれかに記載の移動体搭載用のロボットにおいて、
前記思考手段は乗員の命令に応じて前記動作手段を駆動させる、ことを特徴とする移動体搭載用のロボット。In the robot for mounting a mobile body according to any one of claims 1 to 4,
A robot mounted on a moving body, wherein the thinking means drives the operating means in accordance with a passenger command. 請求項１から８のいずれかに記載の移動体搭載用のロボットにおいて、
前記認識手段は前記諸条件を認識するため少なくとも視覚手段及び／又は聴覚手段を含む、ことを特徴とする移動体搭載用のロボット。The robot for mounting a moving body according to any one of claims 1 to 8 ,
A robot mounted on a moving body, wherein the recognition means includes at least visual means and / or auditory means for recognizing the various conditions. 請求項１から９のいずれかに記載の移動体搭載用のロボットにおいて、
当該ロボットは外部入力装置との接続用のインターフェース部を備えた、ことを特徴とする移動体搭載用のロボット。The robot for mounting a mobile body according to any one of claims 1 to 9 ,
A robot mounted on a moving body, characterized in that the robot includes an interface unit for connection with an external input device. 請求項１０記載の移動体搭載用のロボットにおいて、
当該ロボットが通信機能を備え、前記外部入力装置により遠隔操作される、ことを特徴とする移動体搭載用ロボット。The robot for mounting a mobile body according to claim 10 ,
A robot mounted on a moving body, wherein the robot has a communication function and is remotely operated by the external input device. 請求項１０記載の移動体搭載用のロボットにおいて、
当該ロボットは通信装置と接続可能とされている、ことを特徴とする移動体搭載用ロボット。The robot for mounting a mobile body according to claim 10 ,
A robot mounted on a moving body, characterized in that the robot is connectable to a communication device. 請求項１０記載の移動体搭載用のロボットにおいて、
当該ロボットは、前記移動体側に設けた通信装置と交信するための通信機能を備え、移動体側から得る情報を前記自律制御に用いる、ことを特徴とする移動体搭載用ロボット。The robot for mounting a mobile body according to claim 10 ,
The robot has a communication function for communicating with a communication device provided on the mobile body side, and uses information obtained from the mobile body side for the autonomous control.
JP2001083022A 2000-09-19 2001-03-22 Mobile body mounting robot and mobile body equipped with the same Expired - Fee Related JP4506016B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001083022A JP4506016B2 (en) 2000-09-19 2001-03-22 Mobile body mounting robot and mobile body equipped with the same

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000-283756 2000-09-19
JP2000283756 2000-09-19
JP2001083022A JP4506016B2 (en) 2000-09-19 2001-03-22 Mobile body mounting robot and mobile body equipped with the same

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009222647A Division JP2009297892A (en) 2000-09-19 2009-09-28 Robot mounted on movable body and movable body mounted with the same

Publications (2)

Publication Number Publication Date
JP2002166379A JP2002166379A (en) 2002-06-11
JP4506016B2 true JP4506016B2 (en) 2010-07-21

Family

ID=26600235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001083022A Expired - Fee Related JP4506016B2 (en) 2000-09-19 2001-03-22 Mobile body mounting robot and mobile body equipped with the same

Country Status (1)

Country Link
JP (1) JP4506016B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11584014B2 (en) 2020-01-23 2023-02-21 Ford Global Technologies, Llc Robotic apparatus for vehicle occupant protection

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003280704A (en) * 2002-12-26 2003-10-02 Jinko Matsumoto Life knowledge nano-clone system cellular phone robot used as personal computer and bio-, nano- and it device installing/removing apparatus (hereinafter, robot)
JP2004291174A (en) * 2003-03-27 2004-10-21 Denso Corp Robot, robot interactive device, and program
JP4007224B2 (en) * 2003-03-27 2007-11-14 株式会社デンソー Robot fixing device
JP2004291176A (en) * 2003-03-27 2004-10-21 Denso Corp Robot, apparatus and program for instructing the same
JP2005088095A (en) * 2003-09-12 2005-04-07 Denso Corp On-board robot hand
JP4459735B2 (en) * 2004-06-30 2010-04-28 本田技研工業株式会社 Product explanation robot
JP2006015436A (en) * 2004-06-30 2006-01-19 Honda Motor Co Ltd Monitoring robot
JP4594663B2 (en) * 2004-06-30 2010-12-08 本田技研工業株式会社 Security robot
JP4334483B2 (en) * 2005-01-13 2009-09-30 学校法人金沢工業大学 Flight control robot
JP4857926B2 (en) * 2006-06-13 2012-01-18 トヨタ自動車株式会社 Autonomous mobile device
WO2009107185A1 (en) * 2008-02-25 2009-09-03 パイオニア株式会社 On-vehicle robot
JP2010182193A (en) * 2009-02-06 2010-08-19 Takao Hayashi Mobile phone robot
JP5577605B2 (en) * 2009-02-27 2014-08-27 トヨタ自動車株式会社 In-vehicle robot
JP2018077599A (en) * 2016-11-08 2018-05-17 富士ゼロックス株式会社 Information processing device
JP6709242B2 (en) * 2017-11-16 2020-06-10 株式会社ナブアシスト Driver roll system
JP7234496B2 (en) 2018-02-06 2023-03-08 トヨタ自動車株式会社 Passenger support device
JP7122522B2 (en) * 2018-05-16 2022-08-22 パナソニックＩｐマネジメント株式会社 Behavior Invitation System, Behavior Induction Method, and Program
JP7148296B2 (en) * 2018-07-05 2022-10-05 フォルシアクラリオン・エレクトロニクス株式会社 In-vehicle robot
EP3893189A4 (en) 2018-12-07 2021-12-29 Panasonic Intellectual Property Corporation of America Information processing method, information processing device, and program
WO2020115969A1 (en) 2018-12-07 2020-06-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Information processing method, information processing device, and program
KR102267184B1 (en) 2019-08-20 2021-06-21 엘지전자 주식회사 Apparatus and method for detecting falling object
JP2021099228A (en) * 2019-12-20 2021-07-01 株式会社東海理化電機製作所 Agent system and control device of agent
JPWO2021187495A1 (en) * 2020-03-17 2021-09-23
CN113156933B (en) * 2020-12-30 2022-05-03 徐宁 Robot traveling control system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000237985A (en) * 1999-02-19 2000-09-05 Sony Corp Articulate mechanism and robot
JP3619380B2 (en) * 1998-12-25 2005-02-09 富士通株式会社 In-vehicle input / output device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3619380B2 (en) * 1998-12-25 2005-02-09 富士通株式会社 In-vehicle input / output device
JP2000237985A (en) * 1999-02-19 2000-09-05 Sony Corp Articulate mechanism and robot

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11584014B2 (en) 2020-01-23 2023-02-21 Ford Global Technologies, Llc Robotic apparatus for vehicle occupant protection

Also Published As

Publication number Publication date
JP2002166379A (en) 2002-06-11

Similar Documents

Publication Publication Date Title
JP4506016B2 (en) Mobile body mounting robot and mobile body equipped with the same
JP2009297892A (en) Robot mounted on movable body and movable body mounted with the same
US11192420B2 (en) Methods and systems for controlling vehicle body motion and occupant experience
JP6717915B2 (en) Electric luggage
US10744967B2 (en) Autonomous vehicle
JP5803832B2 (en) Emergency evacuation support device
US11807183B2 (en) Occupant protection apparatus
KR101952540B1 (en) Motor operated kick board apparatus
JP2018180946A (en) Automatic driving device and notification method
CN109591754B (en) Method for protecting human-ground collision damage in human-ground collision accident
KR102135379B1 (en) Robot for vehicle and control method of the robot
CN107953886A (en) The safety traffic method of vehicle and vehicle
US11584014B2 (en) Robotic apparatus for vehicle occupant protection
JP5577605B2 (en) In-vehicle robot
JP2005265800A (en) Vehicular acceleration display
JP6937159B2 (en) vehicle
US11938936B2 (en) Stand-up vehicle having safety posture determination process and upper limit speed management process
JP2020142738A (en) Vehicle having occupant protection function
JP6631955B2 (en) Auxiliary steering system for vehicles
KR20150103478A (en) Conversation assistive apparatus for Automobile
JP4007224B2 (en) Robot fixing device
WO2023145168A1 (en) Vehicle integration control device and vehicle integration control method
JP7094254B2 (en) Vehicle control system
JPH0389802A (en) Drive controller for small electric car
CN114714994A (en) Intelligent seat system, method for operating a seat system, vehicle and program product

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100223

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4506016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees