JP7302161B2 - 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP7302161B2
JP7302161B2 JP2018218123A JP2018218123A JP7302161B2 JP 7302161 B2 JP7302161 B2 JP 7302161B2 JP 2018218123 A JP2018218123 A JP 2018218123A JP 2018218123 A JP2018218123 A JP 2018218123A JP 7302161 B2 JP7302161 B2 JP 7302161B2
Authority
JP
Japan
Prior art keywords
home
data
information
probability
house
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018218123A
Other languages
English (en)
Other versions
JP2020086754A (ja
Inventor
幹夫 中井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Priority to JP2018218123A priority Critical patent/JP7302161B2/ja
Priority to US17/293,449 priority patent/US20210406822A1/en
Priority to PCT/JP2019/041484 priority patent/WO2020105347A1/en
Publication of JP2020086754A publication Critical patent/JP2020086754A/ja
Application granted granted Critical
Publication of JP7302161B2 publication Critical patent/JP7302161B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0838Historical data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0835Relationships between shipper or supplier and carriers
    • G06Q10/08355Routing methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0832Special goods or special handling procedures, e.g. handling of hazardous or fragile goods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/08Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083Shipping
    • G06Q10/0833Tracking

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Artificial Intelligence (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Educational Administration (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Telephonic Communication Services (AREA)

Description

本開示は、情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。さらに詳細には、例えば荷物配送処理を行う情報処理装置、情報処理システム、および情報処理方法、並びにプログラムに関する。
近年、自動走行型のロボットや自動車の開発が盛んに行われている。例えば荷物の配送処理にも自走式ロボットを利用することが提案されている。
しかし、荷物の配送を行う場合、配送先の家が不在であると荷物の配送を行うことができないという問題がある。
なお、特許文献1(特開2013-170050号公報)には、配送先の配送実績データ等に基づいて配送スケジュールを生成して配送効率を高める構成を開示している。しかし、この特許文献は、ロボットを利用した配送処理ではなく人が荷物を配送する場合の配送スケジュールの生成構成を開示しているに過ぎない。
特開2013-170050号公報
本開示は、荷物の配送を行う場合に、自動走行型ロボットが配送先となる家の周囲状況の解析データや、配送実績データ等に基づいて各家の在宅確率を算出し、算出した確率に応じた配送処理や配送ルート決定を行うことで、効率的な荷物の配送を実現する情報処理装置、情報処理システム、および情報処理方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
住宅に人がいるか否かの在宅推定を行うデータ処理部を有し、
前記データ処理部は、
住宅外部の外部特徴情報に基づいて在宅推定を実行する情報処理装置にある。
さらに、本開示の第2の側面は、
移動装置と、管理サーバを有する情報処理システムであり、
前記移動装置のセンサが、住宅外部の外部特徴情報を取得して、前記管理サーバに送信し、
前記管理サーバが、
前記外部特徴情報に基づいて、住宅に人がいるか否かの在宅推定を行う情報処理システムにある。
さらに、本開示の第3の側面は、
情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、住宅に人がいるか否かの在宅推定を行うデータ処理部を有し、
前記データ処理部が、
住宅外部の外部特徴情報に基づいて在宅推定を実行する情報処理方法にある。
さらに、本開示の第4の側面は、
移動装置と、管理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記移動装置のセンサが、住宅外部の外部特徴情報を取得して、前記管理サーバに送信し、
前記管理サーバが、
前記外部特徴情報に基づいて、住宅に人がいるか否かの在宅推定を行う情報処理方法にある。
さらに、本開示の第5の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、住宅に人がいるか否かの在宅推定を行うデータ処理部を有し、
前記プログラムは、前記データ処理部に、
住宅外部の外部特徴情報に基づいて在宅推定を実行させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、移動装置のセンサが住宅外部から観測可能な外部特徴情報を取得して、住宅に人がいるか否かの在宅推定を行う構成が実現される。
具体的には、例えば、住宅に人がいるか否かの在宅推定を行うデータ処理部を有する。データ処理部は住宅外部から観測可能な外部特徴情報に基づいて算出された在宅確率データに基づく在宅推定を実行する。在宅確率データは日時に応じて変化するデータであり、在宅確率データから現在日時対応の在宅確率を算出する。データ処理部は住宅の種類に応じて異なる在宅推定ルールと、外部特徴情報との照合処理を実行して、在宅確率を算出する。情報処理装置は自律走行可能な移動装置であり、移動装置のセンサが住宅外部から観測可能な外部特徴情報を取得する。
本構成により、移動装置のセンサが住宅外部から観測可能な外部特徴情報を取得して、住宅に人がいるか否かの在宅推定を行う構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の移動装置の実行する処理の概要について説明する図である。 移動装置の通信システム構成例について説明する図である。 移動装置の配送ルートや走行ルートの決定に利用する各住宅の在宅確率データの例について説明する図である。 在宅確率の算出に適用される情報(外観的特徴)の例について説明する図である。 住宅がマンションである場合に適用する「在宅推定ルール」の例について説明する図である。 住宅が一戸建てである場合に適用する「在宅推定ルール」の例について説明する図である。 在宅確率減少特異日(年末年始等)の一日の在宅確率データの例について説明する図である。 在宅確率増加特異日(テレビ視聴率高イベント(オリンピック等)開催日等)の一日の在宅確率データの例について説明する図である。 移動装置によって行われる定期的な配送処理時に、逐次、実行する処理を説明する図である。 学習処理による在宅確率データのデータ更新例について説明する図である。 学習処理による在宅確率データのデータ更新例について説明する図である。 移動装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 実施例2の処理の概要について説明する図である。 実施例2の処理を適用した具体的な配送処理例について説明する図である。 実施例2の移動装置が実行する処理のシーケンスについて説明するフローチャートを示す図である。 実施例3の処理の概要について説明する図である。 在宅確率データの生成、更新処理例を示す図である。 実施例3の処理を適用した具体的な配送処理例について説明する図である。 在宅推定部における学習処理シーケンスについて説明するフローチャートを示す図である。 在宅確率の算出処理シーケンスについて説明するフローチャートを示す図である。 在宅確率に基づく配送ルートの決定処理シーケンスについて説明するフローチャートを示す図である。 移動装置の構成例について説明する図である。 移動装置の構成例について説明する図である。 管理サーバの構成例について説明する図である。
以下、図面を参照しながら本開示の情報処理装置、情報処理システム、および情報処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.本開示の移動装置の実行する処理の概要について
2.(実施例1)住宅の観測情報と在宅推定ルールとの照合に基づく在宅確率データの算出と更新処理について
3.(実施例2)配達の成否に基づく在宅・不在推定を実行する処理について
4.(実施例3)住宅の観測情報と在宅推定ルールとの照合に基づく在宅確率データの算出と更新処理を行うとともに、配達の成否に基づく在宅・不在推定を実行する処理について(実施例1+2)
5.移動装置の構成例について
6.その他の装置のハードウェア構成例について
7.本開示の構成のまとめ
[1.本開示の移動装置の実行する処理の概要について]
まず、図1以下を参照して本開示の情報処理装置である移動装置の実行する処理の概要について説明する。
本開示の移動装置は、例えばマンション、あるいは、住宅街等、多数の家が集まっている地域において、各住宅に荷物を配送する自走式の移動装置である。例えば、マンションの入り口で、配送会社のトラックからそのマンションの各住宅に配送する複数の荷物を降ろして移動装置の荷台に積み替えて、配送先となる住宅に順次、荷物を配送する処理を行う。
なお、配送先はマンションに限らず、一戸建ての住宅街等、多数の家が集まっている地域である場合もある。この場合は、ある決められた区域内にある複数の家から選択された配送先を順次、回って配送処理を行う。
図1を参照して、本開示の移動装置10の実行する処理の一例について説明する。
図1(A)に示すように、移動装置10は、すでに荷台に配送する複数の荷物11を搭載している。
荷台に搭載された複数の荷物11は、図1(A)に示すように、移動装置10の走行領域内の家を配送先とした荷物である。すなわち、以下の4つの荷物を搭載している。
A宅宛荷物、
B宅宛荷物、
C宅宛荷物、
D宅宛荷物、
ここで、移動装置10は、図1(B)に示すような配送処理を行う。
移動装置10は、まず、移動装置10内のメモリ、あるいは移動装置10と通信可能な管理サーバから移動領域内の各住宅の在宅確率データを取得する。
各住宅の在宅確率は、移動装置10に装着されたカメラ等のセンサの取得情報によって解析される住宅の周囲状況や、過去の配送実績に基づいて算出される。この処理の具体例については後述する。
次に、移動装置10は、取得した各住宅の在宅確率データに基づいて荷物の配送ルートを決定する。
最後に、移動装置10は、各住宅の在宅確率データに基づいて決定した荷物の配送ルートに従って荷物の配送を行う。
図1(B)に示す配送例では、取得した各住宅の在宅確率データに基づいてA宅とD宅が不在であると推定し、B宅とC宅が在宅であると推定した例である。
移動装置10は、この推定結果に基づいて、在宅推定のなされたB宅とC宅を配送先とする配送ルートを決定し、この決定した配送ルートに従って配送処理を実行する。
図1(B)に示すように、移動装置10は、スタート位置から走行を開始し、スタート位置から在宅推定のなされたB宅で「B宅宛荷物」を配送し、その後、在宅推定のなされたC宅に向かい、C宅で「C宅宛荷物」を配送する。
この時点では、不在推定のなされたA宅とD宅への荷物配送は行わない。
不在推定のなされたA宅とD宅への荷物配送は、例えば、在宅確率データに基づいて、在宅確率が高いと推定される日時に実行することになる。
このように、本開示の移動装置は、予め生成された各戸の在宅確率データに基づいて配送ルートを決定して配送処理を行う。
このような処理を行うことで、無駄な走行処理や配送処理を行うことなく効率的に荷物を配送することが可能となる。
なお、移動装置10は、移動装置10の実行する処理に必要なデータを移動装置内の記憶部に格納し、移動装置10内の制御部(データ処理部)において、在宅確率の算出や、配送ルート決定等、全ての処理を制御する構成としてもよいが、一部の処理を移動装置10と通信可能な管理サーバ20において実行する構成としてもよい。すなわち、管理サーバ20も本開示の情報処理装置の一例である。
例えば、図2に示すように、管理サーバ20は、複数の移動装置10と通信を実行し、移動装置10からの受信データ、例えば移動装置の現在位置情報や、移動装置に備えられたカメラの撮影画像等を受信する。
管理サーバ20は、これらの情報を利用して、各住宅の在宅確率の算出や、配送ルート決定等のデータ処理を実行し、決定した配送ルートを各移動装置10に送信する。
移動装置10は、管理サーバ20の決定したルートに従った配送処理を行う。
このように移動装置10と管理サーバ20が共同してデータ処理を行う構成としてもよい。
なお、移動装置10と管理サーバ20が共同してデータ処理を行う場合の処理区分は、様々な設定が可能である。
次に、図3を参照して移動装置10の配送ルートや走行ルートの決定に利用する各住宅の在宅確率データの例について説明する。
図3(S01)には、宅配先の在宅確率データの例として、A宅とB宅の2つの配送先住宅のデータ例を示している。
各グラフの横軸が時間であり、縦軸が在宅確率(%)である。いずれもある1日の在宅確率データを示している。
移動装置10は、図3(S01)に示す各住宅の在宅確率データに基づいて、図3(S02)に示すように、荷物の配送ルートを決定し、決定した荷物の配送ルートに従って荷物の配送を行う。
なお、図3に示す在宅確率データは、例えば、1日単位の1種類のデータ、あるいは曜日単位の7種類のデータ、あるいは1年、365日個別のデータ等、様々な単位のデータとして生成可能である。この在宅確率データは、移動装置10に装着されたカメラ等のセンサの取得情報によって解析される住宅の周囲状況や、過去の配送実績に基づく学習処理によって生成され、逐次、更新される。
図4を参照して在宅確率の算出に適用される情報(外観的特徴)の例について説明する。
図4には、在宅確率の算出に適用可能な情報(外観的特徴)例として、以下の3種類の情報を示している。
(a)部屋の照明
(b)自転車
(c)傘
例えば、(a)部屋の照明が点灯している場合は「在宅」と推定し、消灯している場合は「不在」と推定することができる。
(b)自転車が置いてあれば「在宅」と推定し、置かれていない場合は「不在」と推定することができる。
(c)傘が置いてあれば「在宅」と推定し、置かれていない場合は「不在」と推定することができる。
なお、これらの情報(外観的特徴)は、各住宅に対応付けられた在宅推定用の情報であり、移動装置10または管理サーバ20は、これらの外観的特徴に基づく学習処理を実行して、蓄積した学習データに基づいて、先に図3を参照して説明した在宅確率データを生成、更新する。
なお、各住宅の周囲状況である外観的特徴情報は、移動装置10に装着されたカメラ等のセンサによって取得され、取得データに基づく学習処理が継続的に実行される。学習処理によって各住宅対応の在宅確率データが逐次、更新される。
在宅確率データを生成、更新する学習処理を行う場合、各住宅の居住者が家にいるかいないかを推定するための「在宅推定ルール」を予め規定し、これを記憶部に格納し、このルールを利用して学習処理を行う。
この「在宅推定ルール」は、配送先住宅の種類、例えば、マンション、一戸建て等、住宅の種類によって異なる。
図5、図6を参照して、マンションと、一戸建ての各住宅タイプに応じて適用する「在宅推定ルール」の例について説明する。
図5は、住宅がマンションである場合に適用する「在宅推定ルール」の例を示す図である。住宅がマンションである場合に適用する「在宅推定ルール」に適用可能な外観的特徴点には例えば以下のような特徴点がある。
(1)部屋の照明
(2)自転車
(3)傘
(4)ドア、窓、シャッター
(5)カーテン
なお、住宅タイプがマンション、アパート等の共同住宅の場合、その各部屋に対して推定ルールを適用する。
例えば、(1)部屋の照明が点灯している場合は「在宅」と推定し、消灯している場合は「不在」と推定する。
(2)自転車が置いてあれば「在宅」と推定し、置かれていない場合は「不在」と推定する。
(3)傘が置いてあれば「在宅」と推定し、置かれていない場合は「不在」と推定する。
(4)ドア、窓、シャッターのいずれかが開いていれば「在宅」と推定し、いずれも閉じられている場合は「不在」と推定する。
(5)カーテンについては、昼間と夜間で異なる推定を行う。昼間の場合は、カーテンが開いていれば「在宅」と推定し、閉じられている場合は「不在」と推定する。一方、夜間の場合は、カーテンが開いていれば「不在」と推定し、閉じられている場合は「在宅」と推定する。
次に、図6を参照して、住宅が一戸建てである場合に適用する「在宅推定ルール」の例について説明する。住宅が一戸建てである場合に適用する「在宅推定ルール」に適用可能な外観的特徴点には例えば以下のような特徴点がある。
(1)部屋の照明
(2)自転車
(3)傘
(4)ドア、窓、シャッター
(5)カーテン
(6)洗濯物
(7)エアコン室外機
(8)ペット
(1)~(5)の特徴点のその推定例は、図5を参照して説明したマンションの場合と同様である。
(6)洗濯物は、洗濯物が外に干してあれば「在宅」と推定し、なければ「不在」と推定する。
(7)エアコン室外機は、エアコン室外機が動作していれば「在宅」と推定し、動作していなければ「不在」と推定する。
(8)ペットについては、ペットがいれば「在宅」と推定し、いなければ「不在」と推定する。
移動装置10は、これらの推定ルールを適用した学習処理を行うため、図5、図6に示す様々な外観的特徴情報を、逐次取得する。例えば毎日、実行される配送処理時、各住宅を通過する際にカメラやマイク等のセンサを用いて外観的特徴情報を取得する。
この取得情報が、学習処理データとして利用される。
なお、図5、図6では、住宅タイプをマンション、一戸建ての2種類のみ説明したが、この他、例えば、ファミリーマンション、高級マンション、ワンルームマンション、単身アパート、都内一戸建て、郊外一戸建て、豪邸等、様々な住宅タイプに応じて異なる推定ルールを設定する構成としてもよい。
また、推定ルールは、先にカーテンの例で説明したように、特徴点によっては時間帯に応じて異なる推定を行う構成とすることが好ましい。その他、年末年始、連休時、オリンピック等のイベント開催時等、時期に応じて異なる推定処理を行う構成としてもよい。
なお、時期に応じて異なるルールを適用して算出、更新される在宅確率データについても、時期に応じて異なるデータとなる。
具体例について、図7、図8を参照して説明する。
図7には、同じ住宅(A宅)に関する以下の2つの在宅確率データを示している。
(a)通常時の一日の在宅確率データ
(b)在宅確率減少特異日(年末年始等)の一日の在宅確率データ
図7の(a),(b)のグラフを比較して理解されるように、(b)在宅確率減少特異日(年末年始等)の一日の在宅確率データは、(a)通常時の一日の在宅確率データより、在宅確率が低下している。
さらに、図8にも、同じ住宅(A宅)に関する以下の2つの在宅確率データを示している。
(a)通常時の一日の在宅確率データ
(b)在宅確率増加特異日(テレビ視聴率高イベント(オリンピック等)開催日等)の一日の在宅確率データ
図8の(a),(b)のグラフを比較して理解されるように、(b)在宅確率増加特異日の一日の在宅確率データは、(a)通常時の一日の在宅確率データより、在宅確率が上昇している。
このように、同じ住宅(A宅)であっても、在宅確率データは各日の状況によって異なるデータとなる。
移動装置10は、現在日時に応じて、その日時対応の在宅確率データを取得して、取得したデータに基づいて在宅確率を推定する処理を行う。
[2.(実施例1)住宅の観測情報と在宅推定ルールとの照合に基づく在宅確率データの算出と更新処理について]
次に、本開示の実施例1として、住宅の観測情報と在宅推定ルールとの照合に基づいて在宅確率データを算出し、更新する処理例について説明する。
移動装置10は、ほぼ毎日、実行する規定領域内の配送処理において、配送ルート上の住宅の観測情報、すなちわ外的特徴を移動装置10に備えられたカメラやマイク等のセンサによって取得する。この取得情報に基づく学習処理を実行して各住宅対応の在宅確率データを生成、更新する。
前述したように、各住宅対応の在宅確率データを生成、更新するための学習処理においては、各住宅の居住者が家にいるかいないかを推定するための「在宅推定ルール」を利用した処理を行う。
この「在宅推定ルール」は、配送先住宅の種類、例えば、マンション、一戸建て等、住宅の種類によって異なる。
図9は、移動装置10によって行われる定期的な配送処理時に、逐次、実行する処理を説明する図である。
移動装置10は、配送処理を行う場合、図9に示すステップS01の処理を実行する。具体的には以下の各処理である。
(ステップS01)
移動装置10は、まず、ステップS01において、適用する在宅推定ルールを決定する。この適用ルール決定処理は、例えば、以下の(a)~(d)のいずれかによって行う。
(a)走行経路の地図の位置(各家やエリア)に適用ルールが紐づいて登録されており、地図上の自己位置から適用ルールを決定する。
(b)カメラ撮影画像等、センサ検出特徴点に基づいて適用ルールを決定する。
(c)管理サーバから受信する適用ルール指定情報に従って決定する。
(d)各戸の玄関等に設置された識別情報(ID、QRコード(登録商標)等)などに基づいて適用ルールを決定する。
在宅推定ルールは、前述したように、住宅の種類、具体的には、例えば、ファミリーマンション、高級マンション、ワンルームマンション、単身アパート、都内一戸建て、郊外一戸建て、豪邸等、様々な住宅タイプに応じて異なる推定ルールが予め生成されており、各住宅タイプに対応した在宅推定ルールが移動装置10の記憶部、または管理サーバ20の記憶部に格納されている。
移動装置10は、予め生成済みの住宅タイプに対応した様々な在宅推定ルールから、今の走行処理に際して利用する1つのルールを選択する。
この選択のための処理として、上記(a)~(d)のいずれかの処理を行う。
(ステップS02)
ステップS01において、1つの在宅推定ルールを選択すると、移動装置10は、次のステップS02において、各住宅の周囲状況情報(外観特徴点)を移動装置10に装着したカメラやマイク等のセンサを用いて取得し、取得情報と選択した在宅推定ルールの登録情報を照合して、各住宅の在宅確率を新たに算出、または既に生成済みの在宅確率データがある場合は、そのデータを更新する。
移動装置10は、カメラやマイク等のセンサを用いて取得した情報と在宅推定ルールの登録情報を照合して、各住宅の在宅確率データを生成、または更新する学習処理を、走行毎に継続的に実行する。
この学習処理によって、各住宅の在宅確率データは、逐次更新される。なお、更新された各住宅の在宅確率データは、移動装置10の記憶部、または管理サーバ20の記憶部に格納される。すなわち、移動装置10は、常に最新の在宅確率データを利用して各住宅の在宅推定を行うことができる。
図10、図11を参照して、学習処理による在宅確率データのデータ更新例について説明する。
図10には、同じ住宅(A宅)に関する以下の2つの在宅確率データを示している。
(a)学習処理による更新前の在宅確率データ
(b)学習処理による更新後の在宅確率データ
図10(a)は、住宅A宅に関する学習処理による更新前の在宅確率データであり、その後、移動装置10は、所定期間、住宅Aの前を通過する走行処理を複数回、繰り返し、この際に移動装置10は、カメラやマイク等のセンサを用いて取得した情報と在宅推定ルールの登録情報を照合して、各住宅の在宅確率データを算出する学習処理を実行する。この所定期間の学習処理の結果、更新されたデータが、図10(b)に示すデータである。
所定期間内の学習処理の期間において、移動装置10は、例えば、以下の在宅確率算出データを得ている。
1月11日(水曜日)、18:30の在宅確率=60%
1月18日(水曜日)、12:15の在宅確率=40%、
これらの在宅確率算出データは、移動装置10が、カメラやマイク等のセンサを用いて取得した情報と在宅推定ルールの登録情報を照合して算出したデータである。
移動装置10、または管理サーバ20は、これらのデータを用いて、住宅(A宅)の在宅確率データの更新処理を行う。
この更新結果が図10(b)に示すデータである。
この更新データは、学習処理期間に取得されたデータ、すなわち、
1月11日(水曜日)、18:30の在宅確率=60%
1月18日(水曜日)、12:15の在宅確率=40%、
これらのデータを反映したデータとなる。
なお、図10に示す在宅確率データは、A宅の水曜日の一日単位の在宅確率データである。
前述したように、在宅確率データは、1日単位の1種類のデータ、あるいは曜日単位の7種類のデータ、あるいは1年、365日個別のデータ等、様々な単位のデータとして生成することが可能である。図10に示す例は曜日単位の在宅確率データである。
図11は、同じA宅の月曜日の在宅確率データの学習による更新処理例を示している。
図11には、同じ住宅(A宅)に関する以下の3つの在宅確率データを示している。
(a)学習処理による更新前の在宅確率データ
(b)一か月の学習処理による更新後の在宅確率データ
(c)一か月の学習処理による更新後の在宅確率データ
図11(a)は、住宅A宅に関する学習処理による更新前の在宅確率データであり、その後、移動装置10は、所定期間、住宅Aの前を通過する走行処理を複数回、繰り返し、この際に移動装置10は、カメラやマイク等のセンサを用いて取得した情報と在宅推定ルールの登録情報を照合して、各住宅の在宅確率データを算出する学習処理を実行する。
一か月の学習処理の結果、更新されたデータが、図11(b)に示すデータであり、二か月の学習処理の結果、更新されたデータが、図11(b)に示すデータである。
一か月目の学習処理の期間において、移動装置10は、例えば、以下の観測情報を得ている。
5月の月曜日、16:00にA宅前で自転車を検出
この情報は、移動装置10が、カメラやマイク等のセンサを用いて取得した情報である。
この観測情報と在宅推定ルールの登録情報を照合して新たな在宅確率データが算出され、この算出値に基づいて在宅確率データの更新処理が実行される。
この更新後のデータが、(b)一か月の学習処理による更新後の在宅確率データである。
さらに、その後の一か月の期間内において、移動装置10は、例えば、以下の観測情報を得ている。
6月の月曜日、18:00、雨の日にA宅前で傘を検出、
この情報は、移動装置10が、カメラやマイク等のセンサを用いて取得した情報である。
この観測情報と在宅推定ルールの登録情報を照合して新たな在宅確率データが算出され、この算出値に基づいて在宅確率データの更新処理が実行される。
この更新後のデータが、(c)二か月の学習処理による更新後の在宅確率データである。
なお、図11に示す在宅確率データは、いずれもA宅の月曜日の一日単位の在宅確率データである。
このように、移動装置10は、移動装置10の走行時にカメラ等のセンサによって取得する情報と、住宅タイプ対応の在宅推定ルールとに基づく在宅確率算出処理を実行し、この算出結果を用いて、各住宅の在宅確率データを生成し、逐次更新する。
なお、この処理は、移動装置10自身が行う構成としてもよいが、管理サーバ20が実行する構成としてもよい。
管理サーバ20が実行する場合は、移動装置10の取得情報、すなわちカメラやマイク等のセンサ検出情報を管理サーバ20に送信し、管理サーバ20が、移動装置10から受信した観測データに基づいて、在宅確率の算出や、在宅確率データの生成、更新処理を実行する。
次に、図12に示すフローチャートを参照して移動装置10が実行する処理のシーケンスについて説明する。
図12に示すフローチャートに従った処理は、移動装置10の制御部(データ処理部)が、例えば移動装置10の記憶部に格納されたプログラムに従って実行することが可能である。例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
なお、図12に示すフローは、移動装置10と通信可能な管理サーバ20の処理として実行することも可能である。
以下の説明では、移動装置10が処理を実行する例について説明する。
以下、図12に示すフローの各ステップの処理について説明する。
(ステップS101)
まず、移動装置10は、現在地に基づいて適用する在宅推定ルールを決定する。
この在宅推定ルール決定処理は、先に図9を参照して説明した処理である。
前述したように、在宅推定ルールは、住宅の種類、具体的には、例えば、ファミリーマンション、高級マンション、ワンルームマンション、単身アパート、都内一戸建て、郊外一戸建て、豪邸等、様々な住宅タイプに応じて異なる推定ルールが予め生成されており、各住宅タイプに対応した在宅推定ルールが移動装置10の記憶部、または管理サーバ20の記憶部に格納されている。
移動装置10は、移動装置10の現在位置に基づいて、予め生成済みの住宅タイプに対応した様々な在宅推定ルールから、これからの走行処理に際して利用する1つのルールを選択する。この選択処理は、先に図9を参照して説明したように、例えば、以下の(a)~(d)のいずれかによって行う。
(a)走行経路の地図の位置(各家やエリア)に適用ルールが紐づいて登録されており、地図上の自己位置から適用ルールを決定する。
(b)カメラ撮影画像等、センサ検出特徴点に基づいて適用ルールを決定する。
(c)管理サーバから受信する適用ルール指定情報に従って決定する。
(d)各戸の玄関等に設置された識別情報(ID、QRコード(登録商標)等)などに基づいて適用ルールを決定する。
(ステップS102)
次に、移動装置10は、ステップS102において、走行を行い各住宅の周囲状況の情報(外観特徴)を、カメラやマイク等のセンサを用いて取得し、取得情報と、ステップS101で選択した在宅推定ルールの登録情報と照合する。この照合処理に基づいて、各住宅の在宅確率を算出する。
(ステップS103)
次に、移動装置10は、ステップS102で算出した住宅の在宅確率に基づいて、各住宅対応の在宅確率データを新たに生成、または既に生成済みの在宅確率データの更新処理を実行する。
なお、既に生成済みの在宅確率データが存在せず、始めて観察する住宅の場合、住宅種類対応のデフォルトの在宅確率データを利用して、このデフォルトの在宅確率データを更新する処理を実行する構成としてもよい。
[3.(実施例2)配達の成否に基づく在宅・不在推定を実行する処理について]
次に、本開示の実施例2として、荷物配送処理を実行中に実際に荷物が配達できたか否かの情報を取得して、この情報に基づいて在宅・不在推定を実行する処理例について説明する。
前述したように、移動装置10は、ほぼ毎日、規定領域内の配送処理を実行する。この配送処理においては、各住宅に対する荷物の配達ができた場合とできなかった場合が発生する。
以下に説明する実施例は、移動装置10が行う実際の配達処理において、荷物の配達ができた場合とできなかった場合を観測情報として取得し、この荷物配達の成否情報に基づいて各住宅の在宅、不在を推定するための推定用データ(学習データ)を生成する。
図13を参照して本実施例2の処理の概要について説明する。
図13に示すように、移動装置10は、宅配結果取得部52、在宅推定部(学習処理部)53を有する。
なお、在宅推定部(学習処理部)53の処理は、管理サーバ20が行う構成も可能である。
宅配結果取得部52は、移動装置10による、ある住宅に対する荷物配送処理において、荷物が宅配できたか否か、すなわち宅配の成否情報を取得する。
宅配できた場合は、その住宅は在宅であり、在宅情報が在宅推定部(学習処理部)53に入力される。
一方、宅配できなかった場合は、その住宅は不在であり、不在情報が在宅推定部(学習処理部)53に入力される。
在宅推定部(学習処理部)53は、宅配結果取得部52から在宅情報、または不在情報を入力すると、その時点の移動装置のカメラやマイク等のセンサの観測情報を解析し、外観特徴点情報を取得する。
例えば、宅配結果取得部52から在宅情報を入力した際に、移動装置のカメラやマイク等のセンサによって取得された外観特徴点情報(観測情報)は、在宅時の特徴点を示す学習データ(推定用データ)として記憶部に記録、保持される。
一方、宅配結果取得部52から不在情報を入力した際に、移動装置のカメラやマイク等のセンサによって取得された外観特徴点情報(観測情報)は、不在時の特徴点を示す学習データ(推定用データ)として記憶部に記録、保持される。
学習データ(推定用データ)を記憶部に記録した後は、この記憶部に格納した学習データ(推定用データ)を用いて、住宅の在宅、不在を推定することが可能となる。
なお、在宅推定部(学習処理部)53は在宅時の外観的特徴情報と、不在時の外観的特徴を分類して記録した学習データ(推定用データ)、すなわち、在宅推定用データを生成する。
さらに、在宅推定部(学習処理部)53は、宅配結果取得部52からの新たな在宅情報や不在情報を入力した際、また新たな外観的特徴を入力した場合に、学習データ(推定用データ)を更新する。
次に、図14を参照して、本実施例2の処理を適用した具体的な配送処理例について説明する。
図14(A)に示すように、移動装置10は、すでに荷台に配送する複数の荷物11を搭載している。
荷台に積みこまれた複数の荷物11は、図14(A)に示すように、移動装置10が移動する領域内の家を配送先とした荷物である。すなわち、以下の4つの荷物を搭載している。
A宅宛荷物、
B宅宛荷物、
C宅宛荷物、
D宅宛荷物、
ここで、移動装置10は、図14(B)に示すような配送処理を行う。
移動装置10は、予め在宅であることが確認されているC宅への配送処理を実行する。A宅、B宅、D宅は在宅か不在か不明であるとする。
移動装置10は、在宅である確認かとれているC宅への配送を優先して実行する。
この際にB宅の前を通過してC宅へ向かい、C宅で荷物の配達を完了する。
この走行経路において、移動装置10は、B宅の前を通過する。このB宅の前の通過時に、B宅の周囲の状況をカメラやマイク等のセンサで取得する。このセンサ取得情報を在宅推定部53に入力して、学習データ(推定用データ)を用いて、B宅の在宅・不在推定を行う。
例えば、B宅の前に自転車が置いてある。あるいは室内の照明が点灯している等の観測情報(外観特徴点情報)が得られたとする。これらの観測情報(外観特徴点情報)は、在宅を示す推定用データ(学習データ)として記憶部に登録されている。移動装置10の在宅推定部53は、これらの観測情報と、記憶部に登録された推定用データ(学習データ)との照合処理を実行し、この照合の結果、B宅は在宅である可能性が高いと推定する。
この推定に従い、移動装置10は、C宅への荷物の配送完了後に、B宅に戻り、B宅への荷物配送を実行する。
次に、図15に示すフローチャートを参照して本実施例2の移動装置10が実行する処理のシーケンスについて説明する。
図15に示すフローチャートに従った処理は、移動装置10の制御部(データ処理部)が、例えば移動装置10の記憶部に格納されたプログラムに従って実行することが可能である。例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
なお、図15に示すフローは、移動装置10と通信可能な管理サーバ20の処理として実行することも可能である。
以下の説明では、移動装置10が処理を実行する例について説明する。
以下、図15に示すフローの各ステップの処理について説明する。
(ステップS201)
まず、移動装置10は、所定のスタート地点から、荷物の配送処理を開始する。
(ステップS202)
次に、移動装置10は、ステップS202において、移動装置のセンサ(カメラ、マイク等)を用いて観測情報(画像等)を取得する。
(ステップS203)
次に、ステップS203において、移動装置10は、荷物配送先の住宅が在宅であったか不在であったかの情報を取得する。
在宅であった場合は、ステップS204に進む。
不在であった場合は、ステップS205に進む。
(ステップS204)
ステップS204の処理は、ステップS203において、荷物配送先の住宅が在宅であったと推定した場合に実行する処理である。
この場合、移動装置10は、ステップS204において、センサ取得情報(画像の特徴点等)を、在宅を示す学習データ(報酬=1)とする強化学習を実行する。
この処理は、先に図13を参照して説明した在宅推定部(学習処理部)53が実行する処理である。
ステップS204の処理は、在宅推定部(学習処理部)53が宅配結果取得部52から在宅情報を入力した場合の処理である。
宅配結果取得部52から在宅情報を入力した場合、在宅推定部(学習処理部)53は、移動装置10のカメラやマイク等のセンサが取得した外観特徴点情報(観測情報)を、在宅時の特徴点を示す学習データ(推定用データ)として記憶部に記録、保持する。この処理がステップS204の処理に相当する。
(ステップS205)
一方、ステップS205の処理は、ステップS203において、荷物配送先の住宅が不在であったと推定した場合に実行する処理である。
この場合、移動装置10は、ステップS205において、センサ取得情報(画像の特徴点等)を、不在を示す学習データ(報酬=0)とする強化学習を実行する。
この処理は、先に図13を参照して説明した在宅推定部(学習処理部)53が実行する処理である。
ステップS205の処理は、在宅推定部(学習処理部)53が宅配結果取得部52から不在情報を入力した場合の処理である。
宅配結果取得部52から不在情報を入力した場合、在宅推定部(学習処理部)53は、移動装置10のカメラやマイク等のセンサが取得した外観特徴点情報(観測情報)を、不在時の特徴点を示す学習データ(推定用データ)として記憶部に記録、保持する。この処理がステップS205の処理に相当する。
ステップS204、またはステップS205の学習処理により、住宅対応の新たな在宅推定用データ(学習データ)が生成または更新されて記憶部に格納される。
この処理後の在宅・不在推定には、この記憶部に格納された新たなデータが参照されることになる。
[4.(実施例3)住宅の観測情報と在宅推定ルールとの照合に基づく在宅確率データの算出と更新処理を行うとともに、配達の成否に基づく在宅・不在推定を実行する処理について(実施例1+2)]
次に、実施例3として、上述した実施例1と実施例2を併せて実行する実施例について説明する。すなわち、住宅の観測情報と在宅推定ルールとの照合に基づく在宅確率データの算出と更新処理を行うとともに、配達の成否に基づく在宅・不在推定を実行する実施例について説明する。
図16以下を参照して本実施例3の処理例について説明する。
図16には、移動装置10の以下の3つの処理部の処理を示している。
推定用データ選択部51、
宅配結果取得部52、
在宅推定部(学習処理部)53、
これらの3つの処理部である。
推定用データ選択部51は、在宅不在推定を行う際に利用する「推定用データ(在宅不在推定用データ)」を選択する。
在宅不在推定を行うための推定用データは、移動装置10の記憶部、または管理サーバ20の記憶部に格納されている。
この「推定用データ(在宅不在推定用データ)」は、先に説明した実施例1における「在宅推定ルール」と同様、配送先住宅の種類、例えば、マンション、一戸建て等、住宅の種類によって異なる。
例えば、ファミリーマンション、高級マンション、ワンルームマンション、単身アパート、都内一戸建て、郊外一戸建て、豪邸等、様々な住宅タイプに応じて異なる「推定用データ(在宅不在推定用データ)」が記憶部に格納されている。
移動装置10は、配送先となる住宅の種類に応じて、利用する「推定用データ(在宅不在推定用データ)」を記憶部から選択する。
図16に示す例では、配送先となる住宅の種類=高級マンションであるので、移動装置10の推定用データ選択部51は、高級マンション対応の「推定用データ(在宅不在推定用データ)」を記憶部から選択する。
この選択した推定用データを利用して、各配送先の在宅・不在推定を行いながら、在宅と推定される住宅を優先して荷物の配送を実行する。
この実際の荷物の配送時に宅配結果取得部52が処理を実行する。
宅配結果取得部52は、各住宅に対する荷物配送処理において、荷物が宅配できたか否か、すなわち宅配の成否情報を取得する。
宅配できた場合は、その住宅は在宅であり、在宅情報を在宅推定部(学習処理部)53に入力する。
一方、宅配できなかった場合は、その住宅は不在であり、不在情報を在宅推定部(学習処理部)53に入力する。
在宅推定部(学習処理部)53は、宅配結果取得部52から在宅情報、または不在情報を入力すると、その時点の移動装置のカメラやマイク等のセンサの観測情報を解析し、外観特徴点情報を取得する。
例えば、宅配結果取得部52から在宅情報を入力した際に、移動装置のカメラやマイク等のセンサによって取得された外観特徴点情報(観測情報)は、在宅時の特徴点を示す学習データ(推定用データ)として記憶部に記録、保持される。
一方、宅配結果取得部52から不在情報を入力した際に、移動装置のカメラやマイク等のセンサによって取得された外観特徴点情報(観測情報)は、不在時の特徴点を示す学習データ(推定用データ)として記憶部に記録、保持される。
この学習データ(推定用データ)を記憶部に記録した後は、この記憶部に格納した学習データ(推定用データ)を用いて、住宅の在宅、不在を推定することが可能となる。
本実施例では、この「推定用データ(学習データ)」を利用した在宅・ア不在推定に併せて、先に実施例1において説明した在宅確率データも用いた在宅確率の推定処理、および在宅確率データの生成、更新処理も実行する。
図17は、在宅確率データの生成、更新処理例を示す図である。
図17には、同じ住宅(A宅)に関する以下の2つの在宅確率データを示している。
(a)学習処理による更新前の在宅確率データ
(b)学習処理による更新後の在宅確率データ
図17(a)は、住宅A宅に関する学習処理による更新前の在宅確率データであり、その後、移動装置10は、所定期間、住宅Aの前を通過する走行処理を複数回、繰り返し、この際に移動装置10は、カメラやマイク等のセンサを用いて取得した情報と在宅推定ルールの登録情報を照合して、各住宅の在宅確率データを算出する学習処理を実行する。この所定期間の学習処理の結果、更新されたデータが、図17(b)に示すデータである。
所定期間内の学習処理の期間において、移動装置10は、例えば、以下の在宅確率算出データを得ている。
1月11日(水曜日)、18:30の在宅確率=60%
1月18日(水曜日)、12:15の在宅確率=40%、
これらの在宅確率算出データは、移動装置10が、カメラやマイク等のセンサを用いて取得した情報と在宅推定ルールの登録情報を照合して算出したデータである。
移動装置10、または管理サーバ20は、これらのデータを用いて、住宅(A宅)の在宅確率データの更新処理を行う。
この更新結果が図17(b)に示すデータである。
この更新データは、学習処理期間に取得されたデータ、すなわち、
1月11日(水曜日)、18:30の在宅確率=60%
1月18日(水曜日)、12:15の在宅確率=40%、
これらのデータを反映したデータとなる。
なお、図17に示す在宅確率データは、A宅の水曜日の一日単位の在宅確率データである。
前述したように、在宅確率データは、1日単位の1種類のデータ、あるいは曜日単位の7種類のデータ、あるいは1年、365日個別のデータ等、様々な単位のデータとして生成することが可能である。図17に示す例は曜日単位の在宅確率データである。
本実施例3では、このように、実施例1と同様、移動装置10が各住宅の観測情報(外観特徴点)の取得処理を行い、取得した観測情報(外観特徴点)に基づいて、各住宅の在宅確率データの生成、更新する処理も実行する。
次に、図18を参照して本実施例3の処理を適用した具体的な配送処理例について説明する。
図18(A)に示すように、移動装置10は、すでに荷台に配送する複数の荷物11を搭載している。
荷台に積みこまれた複数の荷物11は、図18(A)に示すように、移動装置10が移動する領域内の家を配送先とした荷物である。すなわち、以下の4つの荷物を搭載している。
A宅宛荷物、
B宅宛荷物、
C宅宛荷物、
D宅宛荷物、
ここで、移動装置10は、図18(B)に示すような配送処理を行う。
移動装置10は、まず、移動装置10内のメモリ、あるいは移動装置10と通信可能な管理サーバ20から荷物配送先の移動領域内の各住宅の在宅確率データを取得する。これは、先の実施例1において生成された在宅確率データである。
この結果、図18(B)に示すように、各住宅の在宅確率が以下のように得られたとする。
A宅の在宅確率=低
B宅の在宅確率=不明
C宅の在宅確率=高
D宅の在宅確率=中
B宅は、例えば新築等で、在宅確率データが生成されていないため不明となっている。
移動装置10は、上記の各住宅A~Dの在宅確率に基づいて、在宅確率=高のC宅への配送を優先して実行する。
この際にB宅の前を通過してC宅へ向かい、C宅で荷物の配達を完了する。
この走行経路において、移動装置10は、B宅の前を通過する。このB宅の前の通過時に、B宅の周囲の状況、をカメラやマイク等のセンサで取得する。このセンサ取得情報を在宅推定部53に入力して、学習データ(推定用データ)を用いて、B宅の在宅・不在推定を行う。
例えば、B宅の前に自転車が置いてある。あるいは室内の照明が点灯している等の観測情報(外観特徴点情報)が得られたとする。これらの観測情報(外観特徴点情報)は、在宅を示す推定用データ(学習データ)として記憶部に登録されている。移動装置10の在宅推定部53は、これらの観測情報と、記憶部に登録された推定用データ(学習データ)との照合処理を実行し、この照合の結果、B宅は在宅である可能性が高いと推定する。
この推定に従い、移動装置10は、C宅への荷物の配送完了後に、B宅に戻り、B宅への荷物配送を実行する。
次に、図19以下に示すフローチャートを参照して本実施例3の移動装置10が実行する処理のシーケンスについて説明する。
本実施例3の移動装置10が実行する以下の3処理について個別のフローチャートを参照して、順次、説明する。
(処理1)在宅推定部における学習処理シーケンス(図19)
(処理2)在宅確率の算出処理シーケンス(図20)
(処理3)在宅確率に基づく配送ルートの決定処理シーケンス(図21)
なお、図19~図21に示すフローチャートに従った処理は、移動装置10の制御部(データ処理部)が、例えば移動装置10の記憶部に格納されたプログラムに従って実行することが可能である。例えばプログラム実行機能を有するCPU等のプロセッサによるプログラム実行処理として行うことができる。
なお、図19~図21に示すフローは、移動装置10と通信可能な管理サーバ20の処理として実行することも可能である。
以下の説明では、移動装置10が処理を実行する例について説明する。
(処理1)在宅推定部における学習処理シーケンス
まず図19に示すフローチャートに従って、移動装置10の在宅推定部(学習処理部)53が実行する学習処理シーケンスについて説明する。
以下、図19に示すフローの各ステップの処理について説明する。
(ステップS301)
まず、移動装置10は、所定のスタート地点から、荷物の配送処理を開始する。
(ステップS302)
次に、移動装置10は、ステップS302において、在宅推定部(学習処理部)53が利用する在宅推定用データ(学習データ)を、移動装置10の現在地に基づいて切り替える処理を実行する。
在宅推定部(学習処理部)53が利用する在宅推定用データは、住宅の種類、具体的には、例えば、ファミリーマンション、高級マンション、ワンルームマンション、単身アパート、都内一戸建て、郊外一戸建て、豪邸等、様々な住宅タイプに応じて異なるデータが予め生成されており、各住宅タイプに対応した在宅推定用データが移動装置10の記憶部、または管理サーバ20の記憶部に格納されている。
移動装置10は、移動装置10の現在位置に基づいて、予め生成済みの住宅タイプに対応した様々な在宅推定用データ(学習データ)から、これからの走行処理に際して利用する1つのデータを選択する。この選択処理は、例えば、以下の(a)~(d)のいずれかによって行う。
(a)走行経路の地図の位置(各家やエリア)に適用ルールが紐づいて登録されており、地図上の自己位置から適用する在宅推定用データを決定する。
(b)カメラ撮影画像等、センサ検出特徴点に基づいて適用する在宅推定用データを決定する。
(c)管理サーバから受信するする在宅推定用データ指定情報に従って決定する。
(d)各戸の玄関等に設置された識別情報(ID、QRコード(登録商標)等)などに基づいて適用する在宅推定用データを決定する。
(ステップS303)
次に、移動装置10は、ステップS303において、移動装置のセンサ(カメラ、マイク等)を用いて観測情報(画像等)を取得する。
(ステップS304)
次に、ステップS304において、移動装置10は、荷物配送先の住宅が在宅であったか不在であったかの情報を取得する。
在宅であった場合は、ステップS305に進む。
不在であった場合は、ステップS306に進む。
(ステップS305)
ステップS305の処理は、ステップS304において、荷物配送先の住宅が在宅であったと推定した場合に実行する処理である。
この場合、移動装置10は、ステップS305において、センサ取得情報(画像の特徴点等)を、在宅を示す学習データ(報酬=1)とする強化学習を実行する。
この処理は、先に図16を参照して説明した在宅推定部(学習処理部)53が実行する処理である。
ステップS305の処理は、在宅推定部(学習処理部)53が宅配結果取得部52から在宅情報を入力した場合の処理である。
宅配結果取得部52から在宅情報を入力した場合、在宅推定部(学習処理部)53は、移動装置10のカメラやマイク等のセンサが取得した外観特徴点情報(観測情報)を、在宅時の特徴点を示す学習データ(推定用データ)として記憶部に記録、保持する。この処理がステップS305の処理に相当する。
(ステップS306)
一方、ステップS306の処理は、ステップS304において、荷物配送先の住宅が不在であったと推定した場合に実行する処理である。
この場合、移動装置10は、ステップS306において、センサ取得情報(画像の特徴点等)を、不在を示す学習データ(報酬=0)とする強化学習を実行する。
この処理は、先に図16を参照して説明した在宅推定部(学習処理部)53が実行する処理である。
ステップS306の処理は、在宅推定部(学習処理部)53が宅配結果取得部52から不在情報を入力した場合の処理である。
宅配結果取得部52から不在情報を入力した場合、在宅推定部(学習処理部)53は、移動装置10のカメラやマイク等のセンサが取得した外観特徴点情報(観測情報)を、不在時の特徴点を示す学習データ(推定用データ)として記憶部に記録、保持する。この処理がステップS306の処理に相当する。
ステップS305、またはステップS306の学習処理により、住宅対応の新たな在宅推定用データ(学習データ)が生成または更新されて記憶部に格納される。
この処理後の在宅・不在推定には、この記憶部に格納された新たなデータが参照されることになる。
(処理2)在宅確率の算出処理シーケンス
次に、図20に示すフローチャートを参照して、移動装置10のデータ処理部が実行する在宅確率の算出処理シーケンスについて説明する。
以下、図20に示すフローの各ステップの処理について説明する。
(ステップS321)
まず、移動装置10はステップS321において、在宅推定部(学習処理部)53が利用する在宅推定用データ(学習データ)を、移動装置10の現在地に基づいて切り替える処理を実行する。
在宅推定部(学習処理部)53が利用する在宅推定用データは、住宅の種類、具体的には、例えば、ファミリーマンション、高級マンション、ワンルームマンション、単身アパート、都内一戸建て、郊外一戸建て、豪邸等、様々な住宅タイプに応じて異なるデータが予め生成されており、各住宅タイプに対応した在宅推定用データが移動装置10の記憶部、または管理サーバ20の記憶部に格納されている。
移動装置10は、移動装置10の現在位置に基づいて、予め生成済みの住宅タイプに対応した様々な在宅推定用データ(学習データ)から、これからの走行処理に際して利用する1つのデータを選択する。この選択処理は、例えば、以下の(a)~(d)のいずれかによって行う。
(a)走行経路の地図の位置(各家やエリア)に適用ルールが紐づいて登録されており、地図上の自己位置から適用する在宅推定用データを決定する。
(b)カメラ撮影画像等、センサ検出特徴点に基づいて適用する在宅推定用データを決定する。
(c)管理サーバから受信するする在宅推定用データ指定情報に従って決定する。
(d)各戸の玄関等に設置された識別情報(ID、QRコード(登録商標)等)などに基づいて適用する在宅推定用データを決定する。
(ステップS322)
次に、移動装置10は、ステップS322において、移動装置のセンサ(カメラ、マイク等)を用いて観測情報(画像等)を取得し、取得した観測情報を在宅推定部(学習処理部)53に入力し、在宅推定部(学習処理部)53において、入力観測情報と、ステップS321で選択した在宅推定用データとの照合処理を実行する。
(ステップS323)
次に、移動装置10は、ステップS323において、ステップS322における観測情報と在宅推定用データとの照合結果と、「予め生成済みの各住宅対応の在宅確率データ」を入力して、
(a)現在の在宅確率の算出、
(b)現在日時に基づく強化学習処理、
これらの処理を実行する。
なお、「予め生成済みの各住宅対応の在宅確率データ」とは、例えば図17に示すデータであり、先に説明した実施例1において生成される在宅確率データである。
上記(b)の処理は、図17を参照して説明した学習処理に相当する処理である。
このステップS323の処理結果として、
上記(a)の処理により、各住宅の現在の在宅確率が算出され、上記(b)の処理により、日時対応の在宅確率データが生成、または更新される。
これらのデータが以降の(処理3)として説明する宅配ルートの決定等の処理に用いられる。
なお、日時とは、日付および時間の両方、または、日付または時間の少なくともいずれか一方を表す。
(処理3)在宅確率に基づく配送ルートの決定処理シーケンス
次に、図21に示すフローチャートを参照して、移動装置10のデータ処理部が実行する在宅確率に基づく配送ルートの決定処理シーケンスについて説明する。
以下、図21に示すフローの各ステップの処理について説明する。
(ステップS341)
まず、移動装置10は、配送先リストから順次、1つの配送先となる住宅を選択する。なお、配送先リストは、予め移動装置10に入力される。あるいは管理サーバ20から取得する。
(ステップS342)
次に、移動装置10は、ステップS342において、在宅推定部(学習処理部)53が在宅推定用データに基づいて、配送先住宅の"現在"の在宅確率の算出が可能か否かを推定する。
例えば、移動装置10が、この処理の直前に配送先住宅の前を通過し、この配送先住宅の観測情報を取得していれば、この観測情報と、在宅推定用データ(学習データ)との照合によって"現在"の在宅確率の算出が可能であり、ステップS342の推定はYesとなる。
そうでない場合は、ステップS342の推定はNoとなる。
配送先住宅の"現在"の在宅確率の算出が可能と推定した場合は、ステップS343に進む。
一方、配送先住宅の"現在"の在宅確率の算出が不可能と推定した場合は、ステップS344に進む。
(ステップS343)
ステップS342において、配送先住宅の"現在"の在宅確率の算出が可能と推定した場合は、ステップS343に進む。
移動装置10は、ステップS343において、配送先住宅の直前の観測情報と、在宅推定用データ(学習データ)との照合によって"現在"の在宅確率の算出を行う。
この処理は、移動装置10の在宅推定部(学習処理部)53が実行する処理である。
(ステップS344)
一方、ステップS342において、配送先住宅の"現在"の在宅確率の算出が不可能と推定した場合は、ステップS344に進む。
移動装置10は、ステップS344において、予め生成済みの配送先住宅の在宅確率データ、すなわち、例えば図17を参照して説明したような日時対応の在宅確率データを記憶部から取得する。
(ステップS345)
次に、移動装置10は、ステップS344で取得した配送先住宅の在宅確率データに対して、必要に応じて時間的要因による修正処理を行う。
この処理は、例えば先に図7、図8を参照して説明した処理である。
現在日時が、在宅確率減少特異日(年末年始等)等である場合は、図7を参照して説明したように、通常時の一日の在宅確率データより、在宅確率を低下させる修正処理を行う。
また、現在日時が、在宅確率増加特異日(テレビ視聴率高イベント(オリンピック等)開催日等)等である場合は、図8を参照して説明したように、通常時の一日の在宅確率データより、在宅確率を上昇させる修正処理を行う。
さらに、ステップS345では、この修正後の在宅確率データを用いて現在日時対応の在宅確率を算出する。
(ステップS346)
次に、ステップS342において、S346において、配送先リストの全ての配送先について処理が完了したか否かを推定する。
未処理の配送先がある場合は、未処理の配送先について、ステップS341~S345の処理を実行する。
S346において、配送先リストの全ての配送先について処理が完了したと推定した場合はステップS347に進む。
(ステップS347)
最後に、移動装置10は、ステップS347において、配送先リストに記録された全ての配送先の在宅確率に基づいて、配送ルートを決定する。
この配送ルートの決定処理は、例えば、在宅確率の高い住宅を優先し、かつ配送ルートが最短ルートとなるように決定される。
このように、本実施例3の構成では、配送先住宅の現在、または直前の観測情報と、在宅推定用データとの照合によって得られる在宅確率(実施例2の処理によって取得される在宅確率)と、予め生成済みの日時対応の在宅確率データ(実施例1の処理によって取得される在宅確率)を選択的に利用して、効率的かつ高精度な在宅確率を算出し、さらに、算出した在宅確率に基づいた最適な配送ルートを決定することが可能となる。
[5.移動装置の構成例について]
次に図22以下を参照して、移動装置10の構成例について説明する。
図22は、移動装置10の一部構成を示すブロック図であり、上述した各実施例に従った処理を実行するために利用される主要な構成要素を示すブロック図である。
図23は、移動装置10の全体構成例を示す図である。
まず、図22を参照して、述した各実施例に従った処理を実行するために利用される主要な構成要素について説明する。
移動装置10は図22に示すように、センサ群112、データ処理部120、駆動部(アクチュエータ群)113を有する。
データ処理部120は、認識処理部(センサ検出情報解析部)121、行動計画処理部(学習処理部)122、行動制御部123を有する。
センサ群112は、カメラ、マイク、距離センサ等、様々なセンサによって構成される。具体的には、例えば、全周囲を撮影可能な全周カメラや魚眼カメラ、パルス状のレーザ光を用いて周囲情報を取得するライダー(LiDAR:Light Detection and Ranging,Laser Imaging Detection and Ranging)等によって構成される。
センサ群112には、さらに、搭載した荷物の取り出し有無を検出するセンサも含まれる。すなわち、図13、図16を参照して説明した宅配結果取得部52における宅配の成否を推定するための検出情報を取得するセンサも含まれる。
データ処理部120は、認識処理部(センサ検出情報解析部)121、行動計画処理部(学習処理部)122、行動制御部123を有する。
認識処理部(センサ検出情報解析部)121は、センサ群112を構成する各センサの検出情報を入力して検出情報の解析を実行する。
具体的にはカメラの撮影画像の解析、マイクの取得音声の解析、距離センサの検出情報の解析、荷物の取り出し有無の解析等を実行する。
各住宅の外観特徴点の解析は、この認識処理部(センサ検出情報解析部)121において実行される。
認識処理部(センサ検出情報解析部)121の解析情報は、行動計画処理部(学習処理部)122に入力される。
行動計画処理部(学習処理部)122は、上述した実施例において説明した在宅確率データの生成、更新、各住宅の在宅確率の算出処理、算出した在宅確率に基づく配送ルートの決定等の処理を実行する。
なお、これらの処理に必要なデータ、例えば在宅確率データや、在宅推定ルール、在宅推定用データ等は、図示しない記憶部に格納されている。行動計画処理部(学習処理部)122は記憶部から取得したデータと、センサ群112が取得し認識処理部121が解析したデータを用いて、在宅確率データの生成、更新、各住宅の在宅確率の算出処理、算出した在宅確率に基づく配送ルートの決定等の処理を実行する。
行動計画処理部(学習処理部)122の決定した配送ルート情報は、行動制御処理部123に入力される。
行動制御処理部123は、行動計画処理部(学習処理部)122の決定した配送ルートに従って、駆動部113を制御して移動装置10を移動させ、配送処理を実行する。
次に、図23を参照して移動装置10の全体構成例について説明する。
図23には移動装置10に対応する移動装置100の全体構成例を示している。
移動装置100は、入力部101、データ取得部102、通信部103、移動体内部機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、記憶部109、自律移動制御部110を備える。なお、移動体とは移動装置100自身を意味する。
データ取得部102には、図22を参照して説明したセンサ群112が含まれる。
自律移動制御部110は、図22を参照して説明したデータ処理部120に相当し、認識処理部121、行動計画処理部122、行動制御処理部123を有する。
また、出力制御部105、出力部106、駆動系制御部107、駆動系システム108は、図22を参照して説明した駆動部113の構成要素に相当する。
入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、記憶部109、及び、自律移動制御部110は、通信ネットワーク111を介して、相互に接続されている。通信ネットワーク111は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置100の各部は、通信ネットワーク111を介さずに、直接接続される場合もある。
なお、以下、移動装置100の各部が、通信ネットワーク111を介して通信を行う場合、通信ネットワーク111の記載を省略するものとする。例えば、入力部101と自律移動制御部110が、通信ネットワーク111を介して通信を行う場合、単に入力部101と自律移動制御部110が通信を行うと記載する。
入力部101は、各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイク、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動装置100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、入力されたデータや指示等に基づいて入力信号を生成し、移動装置100の各部に供給する。
データ取得部102は、移動装置100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、マイク、さらに天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
通信部103は、移動体内部機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置100の各部から供給されるデータを送信したり、受信したデータを移動装置100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、移動体内部機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、移動体内部機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
移動体内部機器104は、例えば、モバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、プロジェクタ、ランプ等を備える。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
記憶部109は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部109は、移動装置100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部109は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自律移動制御部110は、自律走行に関する制御を行う。具体的には、例えば、自律移動制御部110は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。自律移動制御部110は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、制御に必要な各種の情報の検出を行う。検出部131は、移動体外部情報検出部141、移動体内部情報検出部142、及び、移動体状態検出部143を備える。
移動体外部情報検出部141は、移動装置100の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、移動体外部情報検出部141は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部141は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、状況認識部152、及び、状況予測部153、並びに、動作制御部135等に供給する。
移動体内部情報検出部142は、移動装置100の各部からのデータ又は信号に基づいて、移動体内の情報の検出処理を行う。例えば、移動体内部情報検出部142は、移動体内の環境の検出処理等を行う。検出対象となる移動体内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況予測部153、及び、動作制御部135等に供給する。
移動体状態検出部143は、移動装置100の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。移動体状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況予測部153、及び、動作制御部135等に供給する。
自己位置推定部132は、移動体外部情報検出部141、及び、状況分析部133の状況予測部153等の移動装置100の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、状況認識部152、及び、状況予測部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部109に記憶させる。
状況分析部133は、自車及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、状況認識部152、状況予測部153を備える。
マップ解析部151は、自己位置推定部132及び移動体外部情報検出部141等の移動装置100の各部からのデータ又は信号を必要に応じて用いながら、記憶部109に記憶されている各種のマップの解析処理を行い、移動処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、状況認識部152、状況予測部153、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
状況認識部152は、自己位置推定部132、移動体外部情報検出部141、及び、マップ解析部151等の移動装置100の各部からのデータ又は信号に基づいて、自車の周囲の状況の認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。状況認識部152は、認識処理の結果を示すデータを状況予測部153等に供給する。
状況認識部152は、自己位置推定部132、移動体外部情報検出部141、移動体内部情報検出部142、移動体状態検出部143、及び、マップ解析部151等の移動装置100の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況予測部153は、自車の状況、自車の周囲の状況等の認識処理を行う。また、状況予測部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。
状況予測部152は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132等に供給する。また、状況予測部152は、状況認識用マップを記憶部109に記憶させる。
状況予測部153は、マップ解析部151、状況認識部152等の移動装置100の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部153は、自車の状況、自車の周囲の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。
状況予測部153は、予測処理の結果を示すデータを、状況認識部152からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部153等の移動装置100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部153等の移動装置100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151及び状況予測部153等の移動装置100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135に供給する。
動作制御部135は、移動装置100の動作の制御を行う。
[6.その他の装置のハードウェア構成例について]
次に、図24を参照して移動装置10以外の装置である管理サーバ20のハードウェア構成例について説明する。
CPU(Central Processing Unit)301は、ROM(Read Only Memory)302、または記憶部308に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。RAM(Random Access Memory)303には、CPU301が実行するプログラムやデータなどが記憶される。これらのCPU301、ROM302、およびRAM303は、バス304により相互に接続されている。
CPU301はバス304を介して入出力インタフェース305に接続され、入出力インタフェース305には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307が接続されている。
入出力インタフェース305に接続されている記憶部308は、例えばハードディスク等からなり、CPU301が実行するプログラムや各種のデータを記憶する。通信部309は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース305に接続されているドライブ310は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア311を駆動し、データの記録あるいは読み取りを実行する。
[7.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 住宅に人がいるか否かの在宅推定を行うデータ処理部を有し、
前記データ処理部は、
住宅外部の外部特徴情報に基づいて在宅推定を実行する情報処理装置。
(2) 前記データ処理部は、
住宅外部の外部特徴情報に基づいて算出された在宅確率データに基づく在宅推定を実行する(1)に記載の情報処理装置。
(3) 前記在宅確率データは、
日時に応じて変化する日時対応データであり、
前記データ処理部は、前記在宅確率データから、現在日時に対応する在宅確率を算出する(2)に記載の情報処理装置。
(4) 前記在宅確率データは、
通常時の在宅確率データの他、通常時より在宅確率が増加、または減少する特異日特有のデータを含み、
前記データ処理部は、
現在日時に応じて、最適な利用在宅確率データを選択する(2)または(3)に記載の情報処理装置。
(5) 前記データ処理部は、
在宅か否かを推定するための予め規定された在宅推定ルールと、前記外部特徴情報との照合処理を実行して、前記在宅確率データを生成する(2)~(4)いずれかに記載の情報処理装置。
(6) 前記在宅推定ルールは、住宅の種類に応じて異なるルールである(5)に記載の情報処理装置。
(7) 前記情報処理装置は、
自律走行可能な移動装置であり、
前記移動装置のセンサが、前記住宅外部から観測可能な外部特徴情報を取得する(1)~(6)いずれかに記載の情報処理装置。
(8) 前記センサは画像撮影を行うカメラを含む(7)に記載の情報処理装置。
(9) 前記データ処理部は、
前記センサが取得した外部特徴情報に基づいて、前記在宅確率データを更新する学習処理を実行する(7)または(8)に記載の情報処理装置。
(10) 前記データ処理部は、
住宅への荷物配送に成功したか否かの宅配結果を取得する宅配結果取得部と、
前記宅配結果取得部の取得した宅配結果と、宅配時の前記住宅の外観的特徴情報を対応付けて、
在宅時の外観的特徴情報と、不在時の外観的特徴を分類して記録した在宅推定用データを生成する在宅推定部を有する(1)~(9)いずれかに記載の情報処理装置。
(11) 前記在宅推定部は、
前記宅配結果取得部からの新たな在宅情報や不在情報の入力、または、新たな外観的特徴の入力に応じた学習処理を実行して、前記在宅推定用データを更新する(10)に記載の情報処理装置。
(12) 前記在宅推定用データは、住宅の種類に応じて異なるデータである(10)または(11)に記載の情報処理装置。
(13) 前記データ処理部は、
複数の住宅各々の在宅確率に応じて荷物の配送ルートを決定する(1)~(12)いずれかに記載の情報処理装置。
(14) 前記データ処理部は、
在宅確率の高い住宅を優先して配送ルートを決定する(13)に記載の情報処理装置。
(15) 移動装置と、管理サーバを有する情報処理システムであり、
前記移動装置のセンサが、住宅外部の外部特徴情報を取得して、前記管理サーバに送信し、
前記管理サーバが、
前記外部特徴情報に基づいて、住宅に人がいるか否かの在宅推定を行う情報処理システム。
(16) 前記管理サーバは、
予め生成された在宅確率データに基づく在宅推定を実行する(15)に記載の情報処理システム。
(17) 前記在宅確率データは、日時に応じて変化する日時対応データであり、
前記管理サーバは、
前記在宅確率データから、現在日時に対応する在宅確率を算出する(16)に記載の情報処理システム。
(18) 情報処理装置において実行する情報処理方法であり、
前記情報処理装置は、住宅に人がいるか否かの在宅推定を行うデータ処理部を有し、
前記データ処理部が、
住宅外部の外部特徴情報に基づいて在宅推定を実行する情報処理方法。
(19) 移動装置と、管理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
前記移動装置のセンサが、住宅外部の外部特徴情報を取得して、前記管理サーバに送信し、
前記管理サーバが、
前記外部特徴情報に基づいて、住宅に人がいるか否かの在宅推定を行う情報処理方法。
(20) 情報処理装置において情報処理を実行させるプログラムであり、
前記情報処理装置は、住宅に人がいるか否かの在宅推定を行うデータ処理部を有し、
前記プログラムは、前記データ処理部に、
住宅外部の外部特徴情報に基づいて在宅推定を実行させるプログラム。
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、移動装置のセンサが住宅外部から観測可能な外部特徴情報を取得して、住宅に人がいるか否かの在宅推定を行う構成が実現される。
具体的には、例えば、住宅に人がいるか否かの在宅推定を行うデータ処理部を有する。データ処理部は住宅外部から観測可能な外部特徴情報に基づいて算出された在宅確率データに基づく在宅推定を実行する。在宅確率データは日時に応じて変化するデータであり、在宅確率データから現在日時対応の在宅確率を算出する。データ処理部は住宅の種類に応じて異なる在宅推定ルールと、外部特徴情報との照合処理を実行して、在宅確率を算出する。情報処理装置は自律走行可能な移動装置であり、移動装置のセンサが住宅外部から観測可能な外部特徴情報を取得する。
本構成により、移動装置のセンサが住宅外部から観測可能な外部特徴情報を取得して、住宅に人がいるか否かの在宅推定を行う構成が実現される。
10 移動装置
11 荷物
20 管理サーバ
51 推定用データ選択部
52 宅配結果取得部
53 在宅推定部(学習処理部)
100 移動装置
103 通信部
109 記憶部
110 自律移動制御部
112 センサ群
113 駆動部(アクチュエータ群)
120 データ処理部
121 認識処理部(センサ検出情報解析部)
122 行動計画処理部(学習処理部)
123 行動制御処理部
301 CPU
302 ROM
303 RAM
304 バス
305 入出力インタフェース
306 入力部
307 出力部
308 記憶部
309 通信部
310 ドライブ
311 リムーバブルメディア

Claims (16)

  1. 自動走行型の移動装置を構成する情報処理装置であり、
    住宅に人がいるか否かの在宅推定を行うデータ処理部を有し、
    前記データ処理部は、
    住宅外部の外部特徴情報に基づいて算出される日時対応の在宅確率データから、現在日時に対応する在宅確率を算出し、算出した在宅確率に応じた荷物配送処理、または荷物配送ルート決定処理を実行する情報処理装置。
  2. 前記在宅確率データは、
    通常時の在宅確率データの他、通常時より在宅確率が増加、または減少する特異日特有のデータを含み、
    前記データ処理部は、
    現在日時に応じて、最適な利用在宅確率データを選択する請求項1に記載の情報処理装置。
  3. 前記データ処理部は、
    在宅か否かを推定するための予め規定された在宅推定ルールと、前記外部特徴情報との照合処理を実行して、前記在宅確率データを生成する請求項1に記載の情報処理装置。
  4. 前記在宅推定ルールは、住宅の種類に応じて異なるルールである請求項3に記載の情報処理装置。
  5. 前記情報処理装置は、
    自律走行可能な移動装置であり、
    前記移動装置のセンサが、前記住宅外部から観測可能な外部特徴情報を取得する請求項1に記載の情報処理装置。
  6. 前記センサは画像撮影を行うカメラを含む請求項5に記載の情報処理装置。
  7. 前記データ処理部は、
    前記センサが取得した外部特徴情報に基づいて、在宅確率データを更新する学習処理を実行する請求項5に記載の情報処理装置。
  8. 前記データ処理部は、
    住宅への荷物配送に成功したか否かの宅配結果を取得する宅配結果取得部と、
    前記宅配結果取得部の取得した宅配結果と、宅配時の前記住宅の外観的特徴情報を対応付けて、
    在宅時の外観的特徴情報と、不在時の外観的特徴を分類して記録した在宅推定用データを生成する在宅推定部を有する請求項1に記載の情報処理装置。
  9. 前記在宅推定部は、
    前記宅配結果取得部からの新たな在宅情報や不在情報の入力、または、新たな外観的特徴の入力に応じた学習処理を実行して、前記在宅推定用データを更新する請求項8に記載の情報処理装置。
  10. 前記在宅推定用データは、住宅の種類に応じて異なるデータである請求項8に記載の情報処理装置。
  11. 前記データ処理部は、
    複数の住宅各々の在宅確率に応じて荷物の配送ルートを決定する請求項1に記載の情報処理装置。
  12. 前記データ処理部は、
    在宅確率の高い住宅を優先して配送ルートを決定する請求項11に記載の情報処理装置。
  13. 自動走行型の移動装置と、管理サーバを有する情報処理システムであり、
    前記移動装置のセンサが、住宅外部の外部特徴情報を取得して、前記管理サーバに送信し、
    前記管理サーバが、
    前記外部特徴情報に基づいて算出される日時対応の在宅確率データから、現在日時に対応する在宅確率を算出し、算出した在宅確率に応じた前記移動装置の荷物配送要否決定処理、または荷物配送ルート決定処理を実行する情報処理システム。
  14. 自動走行型の移動装置を構成する情報処理装置において実行する情報処理方法であり、
    前記情報処理装置は、住宅に人がいるか否かの在宅推定を行うデータ処理部を有し、
    前記データ処理部が、
    住宅外部の外部特徴情報に基づいて算出される日時対応の在宅確率データから、現在日時に対応する在宅確率を算出し、算出した在宅確率に応じた荷物配送処理、または荷物配送ルート決定処理を実行する情報処理方法。
  15. 自動走行型の移動装置と、管理サーバを有する情報処理システムにおいて実行する情報処理方法であり、
    前記移動装置のセンサが、住宅外部の外部特徴情報を取得して、前記管理サーバに送信し、
    前記管理サーバが、
    前記外部特徴情報に基づいて算出される日時対応の在宅確率データから、現在日時に対応する在宅確率を算出し、算出した在宅確率に応じた前記移動装置の荷物配送要否決定処理、または荷物配送ルート決定処理を実行する情報処理方法。
  16. 自動走行型の移動装置を構成する情報処理装置において情報処理を実行させるプログラムであり、
    前記情報処理装置は、住宅に人がいるか否かの在宅推定を行うデータ処理部を有し、
    前記プログラムは、前記データ処理部に、
    住宅外部の外部特徴情報に基づいて算出される日時対応の在宅確率データから、現在日時に対応する在宅確率を算出し、算出した在宅確率に応じた荷物配送処理、または荷物配送ルート決定処理を実行させるプログラム。
JP2018218123A 2018-11-21 2018-11-21 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム Active JP7302161B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018218123A JP7302161B2 (ja) 2018-11-21 2018-11-21 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US17/293,449 US20210406822A1 (en) 2018-11-21 2019-10-23 Information processing device, information processing system, and information processing method, and program
PCT/JP2019/041484 WO2020105347A1 (en) 2018-11-21 2019-10-23 Automated delivery method based on occupancy prediction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018218123A JP7302161B2 (ja) 2018-11-21 2018-11-21 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2020086754A JP2020086754A (ja) 2020-06-04
JP7302161B2 true JP7302161B2 (ja) 2023-07-04

Family

ID=68531580

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018218123A Active JP7302161B2 (ja) 2018-11-21 2018-11-21 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20210406822A1 (ja)
JP (1) JP7302161B2 (ja)
WO (1) WO2020105347A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6809725B2 (ja) * 2019-06-24 2021-01-06 Necプラットフォームズ株式会社 配達経路生成システム、配達経路生成方法および配達経路生成プログラム
WO2021049101A1 (ja) * 2019-09-13 2021-03-18 京セラ株式会社 サーバ、システム、サーバの制御方法、プログラム、及び電子機器
JP7409276B2 (ja) 2020-09-30 2024-01-09 トヨタ自動車株式会社 制御装置、プログラム及び制御方法
JP7188805B2 (ja) * 2021-04-30 2022-12-13 CBcloud株式会社 プログラム、方法、情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013170050A (ja) 2012-02-21 2013-09-02 Hitachi Automotive Systems Ltd 配送計画システム
JP2017219975A (ja) 2016-06-06 2017-12-14 大日本印刷株式会社 訪問計画策定システムおよび訪問計画策定装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8189925B2 (en) * 2009-06-04 2012-05-29 Microsoft Corporation Geocoding by image matching
US9384668B2 (en) * 2012-05-09 2016-07-05 Singularity University Transportation using network of unmanned aerial vehicles
US9743239B1 (en) * 2015-09-30 2017-08-22 Amazon Technologies, Inc. Determining routing points and delivery points
WO2017132327A1 (en) * 2016-01-27 2017-08-03 Hitachi Cable America, Inc. Extended frequency range balanced twisted pair transmission line or communication cable
CN109415122B (zh) * 2016-06-06 2022-07-05 福特全球技术公司 用于自动化车辆和无人机递送的系统、方法和装置
US11151509B1 (en) * 2016-06-20 2021-10-19 Amazon Technologies, Inc. Image-based scene attribute and delivery attribute determination
US10546268B2 (en) * 2016-10-27 2020-01-28 International Business Machines Corporation Recipient customized delivery paths for unmanned aerial vehicle deliveries

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013170050A (ja) 2012-02-21 2013-09-02 Hitachi Automotive Systems Ltd 配送計画システム
JP2017219975A (ja) 2016-06-06 2017-12-14 大日本印刷株式会社 訪問計画策定システムおよび訪問計画策定装置

Also Published As

Publication number Publication date
US20210406822A1 (en) 2021-12-30
JP2020086754A (ja) 2020-06-04
WO2020105347A1 (en) 2020-05-28

Similar Documents

Publication Publication Date Title
JP7302161B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2019111702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JP6891753B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
US20220207883A1 (en) Information processing apparatus, information processing method, and program
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
JP7456442B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
CN111247391A (zh) 信息处理装置、信息处理方法、程序和移动体
US20210397191A1 (en) Information processing apparatus, information processing method, and program
CN111226094A (zh) 信息处理装置、信息处理方法、程序和移动体
WO2020241303A1 (ja) 自動走行制御装置、および自動走行制御システム、並びに自動走行制御方法
CN113195321A (zh) 车辆控制装置、车辆控制方法、车辆、信息处理装置、信息处理方法以及程序
WO2021065559A1 (ja) 情報処理システム、および情報処理方法、並びに情報処理装置
WO2022158185A1 (ja) 情報処理装置、情報処理方法、プログラムおよび移動装置
CN111201420A (zh) 信息处理装置、自身位置推定方法、程序和移动体
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
JP7135690B2 (ja) 情報処理装置および方法、プログラム、並びに移動体制御システム
WO2021033591A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20220277556A1 (en) Information processing device, information processing method, and program
WO2020213275A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020129810A1 (en) Information processing apparatus, information processing method, and program
US20230289980A1 (en) Learning model generation method, information processing device, and information processing system
JP7371679B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R151 Written notification of patent or utility model registration

Ref document number: 7302161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151