JP7468644B2 - 環境遷移予測装置、環境遷移予測方法、及び環境遷移予測プログラム - Google Patents

環境遷移予測装置、環境遷移予測方法、及び環境遷移予測プログラム Download PDF

Info

Publication number
JP7468644B2
JP7468644B2 JP2022530433A JP2022530433A JP7468644B2 JP 7468644 B2 JP7468644 B2 JP 7468644B2 JP 2022530433 A JP2022530433 A JP 2022530433A JP 2022530433 A JP2022530433 A JP 2022530433A JP 7468644 B2 JP7468644 B2 JP 7468644B2
Authority
JP
Japan
Prior art keywords
frame
environmental state
environmental
state
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022530433A
Other languages
English (en)
Other versions
JPWO2021250819A1 (ja
Inventor
崇之 梅田
和也 早瀬
潤 島村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2021250819A1 publication Critical patent/JPWO2021250819A1/ja
Application granted granted Critical
Publication of JP7468644B2 publication Critical patent/JP7468644B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

開示の技術は、環境遷移予測装置、環境遷移予測方法、及び環境遷移予測プログラムに関する。
人間の行動、環境の変化を機械学習によって予測する技術は、例えば、自動運転、ロボティクス、映像監視等の多岐に渡る技術分野に関するアプリケーションにおいて重要な技術である。
例えば、非特許文献１には、料理中の人について、入力された動画の行動履歴に基づいて、将来の行動予測を行う技術が記載されている。
[非特許文献１]
Yazan Abu Farha et.al., "When will you do what? - Anticipating Temporal Occurrences of Activities", インターネット検索 URL:https://arxiv.org/pdf/1804.00892.pdf
しかしながら、実際には多くの行動は、環境に変化をもたらす。例えば、「トマトを切る」という行動の前後では、トマトの見た目が変化し、「鍋を片付ける」という行動の前後では、鍋の場所が変化する。
開示の技術は、上記の点に鑑みてなされたものであり、環境に存在する様々なオブジェクト及びオブジェクトの関係性を考慮することで、人の行動及び周辺環境の変化を高精度に予測することができる環境遷移予測装置、環境遷移予測方法、及び環境遷移予測プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第１態様に係る環境遷移予測装置は、時系列の複数のフレームを含む画像データのうち現在のフレームを表す第１フレームに対して、環境状態を示す環境状態ラベルを推定する環境状態ラベル推定部と、前記第１フレームの次の第２フレームに対して、マルコフ性を仮定し、前記第１フレームの環境状態から前記第２フレームの環境状態へ遷移するときの状態遷移確率と、前記環境状態ラベル推定部により推定された環境状態ラベルとに基づいて、前記第２フレームの環境状態ラベルを予測する環境状態遷移予測部と、を備える。
また、本開示の第２態様に係る環境遷移予測装置は、第１の開示に係る環境遷移予測装置において、前記環境状態ラベル推定部が、前記第１フレームの環境状態ラベルを、学習用画像データのフレーム毎にシーングラフが定義された環境状態ラベル推定モデルを用いて推定する。
また、本開示の第３態様に係る環境遷移予測装置は、第１又は第２の開示に係る環境遷移予測装置において、前記第１フレームの環境状態ラベルＥｔが環境状態ｉである確率Ｐが、

で表され、環境状態ｉから環境状態ｋへ遷移するときの状態遷移確率をｐｉｋとした場合、前記第２フレームの環境状態ラベルＥｔ+１が環境状態ｋである確率Ｐが、

で表され、前記第２フレームの環境状態ラベルＥｔ+１の予測結果が、

で求められる。
更に、上記目的を達成するために、本開示の第４態様に係る環境遷移予測方法は、環境状態ラベル推定部が、時系列の複数のフレームを含む画像データのうち現在のフレームを表す第１フレームに対して、環境状態を示す環境状態ラベルを推定し、環境状態遷移予測部が、前記第１フレームの次の第２フレームに対して、マルコフ性を仮定し、前記第１フレームの環境状態から前記第２フレームの環境状態へ遷移するときの状態遷移確率と、前記環境状態ラベル推定部により推定された環境状態ラベルとに基づいて、前記第２フレームの環境状態ラベルを予測する。
更に、上記目的を達成するために、本開示の第５態様に係る環境遷移予測プログラムは、時系列の複数のフレームを含む画像データのうち現在のフレームを表す第１フレームに対して、環境状態を示す環境状態ラベルを推定し、前記第１フレームの次の第２フレームに対して、マルコフ性を仮定し、前記第１フレームの環境状態から前記第２フレームの環境状態へ遷移するときの状態遷移確率と、前記推定された環境状態ラベルとに基づいて、前記第２フレームの環境状態ラベルを予測することを、コンピュータに実行させる。
開示の技術によれば、環境に存在する様々なオブジェクト及びオブジェクトの関係性を考慮することで、人の行動及び周辺環境の変化を高精度に予測することができる。
実施形態に係る環境遷移予測装置のハードウェア構成の一例を示すブロック図である。 実施形態に係る環境遷移予測装置の機能構成の一例を示すブロック図である。 実施形態に係る環境遷移予測プログラムによる処理の流れの一例を示すフローチャートである。
以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において、同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
本実施形態においては、学習用画像データのフレーム毎に環境状態ラベルが定義された環境状態ラベル推定モデルを用いて、入力画像データの現在のフレームの次のフレームに対してマルコフ性を仮定し、当該次のフレームの環境状態ラベルを予測する。なお、マルコフ性とは、確率論における確率過程の持つ特性の一種であり、その過程の将来の状態の条件付き確率分布が、現在の状態のみに依存し、過去のいかなる状態にも依存しない特性を持つことをいう。マルコフ性のある確率過程をマルコフ過程とも称する。
図１は、本実施形態に係る環境遷移予測装置１０のハードウェア構成の一例を示すブロック図である。
図１に示すように、環境遷移予測装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、及び通信インタフェース（Ｉ／Ｆ）１７を備えている。各構成は、バス１８を介して相互に通信可能に接続されている。
ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、環境遷移予測プログラムが格納されている。
ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
入力部１５は、自装置に対して各種の入力を行うために使用される。
表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能しても良い。
通信インタフェース１７は、自装置が他の外部機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ（Ｆｉｂｅｒ Ｄｉｓｔｒｉｂｕｔｅｄ Ｄａｔａ Ｉｎｔｅｒｆａｃｅ）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。
次に、図２を参照して、環境遷移予測装置１０の機能構成について説明する。
図２は、本実施形態に係る環境遷移予測装置１０の機能構成の一例を示すブロック図である。
図２に示すように、環境遷移予測装置１０は、機能構成として、画像入力部１０１、環境状態ラベル推定部１０２、環境状態遷移予測部１０３、及び出力部１０４を備えている。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された環境遷移予測プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
本実施形態に係る画像入力部１０１は、学習用画像データの入力を受け付ける。学習用画像データは、例えば、自装置のストレージ１４から取得してもよいし、外部のストレージ（図示省略）から取得するようにしてもよい。学習用画像データは、時系列の複数のフレームを含んでおり、例えば、動画である。本実施形態では、学習用画像データを機械学習することにより、環境状態ラベル推定モデル１４１を生成する。
具体的に、学習用画像データの各フレームｔに対して環境状態を記述する。これは、物体、人の行動等を表す任意のラベルの集合として記述すればよい。例えば、下記に示す非特許文献２に代表されるシーングラフを用いればよい。シーングラフとは、画像に含まれる物体（又は人）とそれらの間の関係を記述するグラフである。シーングラフは、例えば、画像に映る物体をノードとし、それらの間に成立する関係を有向エッジとする有向グラフとして表される。形式的には、（ｓｕｂｊｅｃｔ、ｐｒｅｄｉｃａｔｅ、ｏｂｊｅｃｔ）という形式を持つ３つ組を要素とする集合として定義することができる。ここで、ｓｕｂｊｅｃｔは主体となる物体、ｏｂｊｅｃｔは客体となる物体を表し、ｐｒｅｄｉｃａｔｅはこれらの物体間の関係を示す。
[非特許文献２]
Yikang Li et.al. ,"Scene Graph Generation from Objects, Phrases and Region Captions", インターネット検索 URL：https://arxiv.org/pdf/1707.09700.pdf
次に、一例としてシーングラフで記述された環境状態に基づいて、環境状態ラベルＥ∈｛１、・・・、Ｋ｝を定義する。
ここで、環境状態ラベルの定義方法は、学習用画像データの種類によって異なる。学習用画像データが、例えば、料理、定型作業等のように作業手順がマニュアル化されている場合、マニュアルの項目１つ１つを環境状態ラベルとすればよい。具体的には、例えば、ｋ＝１：「包丁を出す」、ｋ＝２：「トマトを切る」などと定義される。
一方、学習用画像データがマニュアル化されていない場合、例えば、データドリブンを用いて環境状態ラベルを定義すればよい。データドリブンは、データ駆動とも呼ばれ、効果測定等で得られたデータに基づいて次のアクションを起こしていく手法である。つまり、１つのデータで終了するのではなく、得られた結果から更にデータを分析していく手法である。
上記のデータドリブンを用いる場合、例えば、学習用画像データから得られたフレーム毎のシーングラフを特徴量として、時間方向にクラスタリングを行い、得られた各クラスタを環境状態ラベルとすればよい。
上記のように学習用画像データの各フレームについて定義した環境状態ラベルを、環境状態ラベル推定モデル１４１としてストレージ１４に格納する。つまり、環境状態ラベル推定モデル１４１は、入力された画像データのフレームに対して、環境状態を示す環境状態ラベルを出力する機械学習モデルである。なお、環境状態ラベル推定モデル１４１には、機械学習モデルの一例として、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いたモデル、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等の種々のモデルが用いられる。
次に、上記のように定義した環境状態ラベル推定モデル１４１を用いて、入力画像データのうち現在のフレームを表す第１フレームの次のフレームである第２フレームの環境状態ラベルを予測することを考える。
本実施形態に係る環境状態ラベル推定部１０２は、画像入力部１０１により入力を受け付けた画像データのうち現在のフレームを表す第１フレームに対して、環境状態ラベル推定モデル１４１を用いて、環境状態を示す環境状態ラベルを推定する。なお、入力される画像データは、上述の学習用画像データと同様に、時系列の複数のフレームを含んでおり、例えば、動画である。
本実施形態に係る環境状態遷移予測部１０３は、第１フレームの次の第２フレームに対して、マルコフ性を仮定し、第１フレームの環境状態から第２フレームの環境状態へ遷移するときの状態遷移確率と、環境状態ラベル推定部１０２により推定された環境状態ラベルとに基づいて、第２フレームの環境状態ラベルを予測する。
具体的に、次のフレームの第２フレームの環境状態は、１つ前の第１フレームの環境状態に強く依存するため、マルコフ性を仮定することができる。ここで、第１フレームｔの環境状態ラベルＥｔが環境状態ｉである確率Ｐは、下記の式（１）で表される。
（１）
そして、上記の通り、マルコフ性を仮定することができるため、環境状態ｉから環境状態ｋへ遷移するときの状態遷移確率をｐｉｋとした場合、第２フレームｔ＋１の環境状態ラベルＥｔ+１が環境状態ｋである確率Ｐは、下記の式（２）で表される。

（２）
但し、状態遷移確率ｐｉｋは、一例として、学習用画像データでの各環境状態間の遷移回数から統計的に算出すればよい。図２の例では、状態遷移確率ｐｉｋが、予め学習された状態遷移確率１４２としてストレージ１４に格納されている。
最後に、第２フレームｔ＋１の環境状態ラベルＥｔ+１の予測結果は、下記の式（３）で求められる。
（３）
次のフレームｔ＋２以降についても、環境状態ラベルＥｔ+１の予測結果に基づいて、同様に予測すればよい。
本実施形態に係る出力部１０４は、環境状態遷移予測部１０３で得られた第２フレームｔ＋１の環境状態ラベルＥｔ+１の予測結果を表示部１６又はストレージ１４に出力する。
次に、図３を参照して、本実施形態に係る環境遷移予測装置１０の作用について説明する。
図３は、本実施形態に係る環境遷移予測プログラムによる処理の流れの一例を示すフローチャートである。環境遷移予測プログラムによる処理は、環境遷移予測装置１０のＣＰＵ１１が、ＲＯＭ１２又はストレージ１４に記憶されている環境遷移予測プログラムをＲＡＭ１３に書き込んで実行することにより、実現される。
図３のステップＳ１０１では、ＣＰＵ１１が、画像入力部１０１として、画像データの入力を受け付ける。
ステップＳ１０２では、ＣＰＵ１１が、環境状態ラベル推定部１０２として、ステップＳ１０１で入力を受け付けた画像データから、環境状態ラベル推定モデル１４１を用いて、現在のフレーム（ｔ＝０）の環境状態ラベルＥｔを推定する。
ステップＳ１０３では、ＣＰＵ１１が、環境状態遷移予測部１０３として、ステップＳ１０２で推定した環境状態ラベルＥｔと、予め学習して得られた状態遷移確率ｐｉｋに基づいて、次のフレーム（ｔ＝ｔ＋１）の環境状態ラベルを予測する。具体的には、一例として、上述の式（１）～式（３）を用いて、次のフレーム（ｔ＝ｔ＋１）の環境状態ラベルを予測する。
ステップＳ１０４では、ＣＰＵ１１が、予測したいフレーム（ｔ＝Ｔ）まで環境状態ラベルＥｔを計算したか否かを判定する。予測したいフレーム（ｔ＝Ｔ）まで環境状態ラベルＥｔを計算したと判定した場合（肯定判定の場合）、ステップＳ１０５に移行し、予測したいフレーム（ｔ＝Ｔ）まで環境状態ラベルＥｔを計算していないと判定した場合（否定判定の場合）、ステップＳ１０６に移行する。
ステップＳ１０５では、ＣＰＵ１１が、出力部１０４として、予測したいフレーム（ｔ＝Ｔ）の環境状態ラベルＥｔの予測結果を表示部１６又はストレージ１４に出力し、本環境遷移予測プログラムによる一連の処理を終了する。
一方、ステップＳ１０６では、ＣＰＵ１１が、フレームｔにおけるｔの値をインクリメントし、ステップＳ１０３に戻り処理を繰り返す。
このように本実施形態によれば、環境に存在する様々なオブジェクト及びオブジェクトの関係性を考慮することで、人の行動及び周辺環境の変化を高精度に予測することができる。
なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した環境遷移予測処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、環境遷移予測処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態では、環境遷移予測プログラムがストレージに予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
以上の実施形態に関し、更に以下の付記を開示する。
（付記項１）
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
時系列の複数のフレームを含む画像データのうち現在のフレームを表す第１フレームに対して、環境状態を示す環境状態ラベルを推定し、
前記第１フレームの次の第２フレームに対して、マルコフ性を仮定し、前記第１フレームの環境状態から前記第２フレームの環境状態へ遷移するときの状態遷移確率と、前記推定された環境状態ラベルとに基づいて、前記第２フレームの環境状態ラベルを予測する、
ように構成されている環境遷移予測装置。
（付記項２）
環境遷移予測処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記憶媒体であって、
前記環境遷移予測処理は、
時系列の複数のフレームを含む画像データのうち現在のフレームを表す第１フレームに対して、環境状態を示す環境状態ラベルを推定し、
前記第１フレームの次の第２フレームに対して、マルコフ性を仮定し、前記第１フレームの環境状態から前記第２フレームの環境状態へ遷移するときの状態遷移確率と、前記推定された環境状態ラベルとに基づいて、前記第２フレームの環境状態ラベルを予測する、
非一時的記憶媒体。

Claims (4)

  1. 時系列の複数のフレームを含む画像データのうち現在のフレームを表す第１フレームに対して、学習用画像データのフレーム毎にシーングラフが定義された環境状態ラベル推定モデルを用いて、環境状態を示す環境状態ラベルを推定する環境状態ラベル推定部と、
    前記第１フレームの次の第２フレームに対して、マルコフ性を仮定し、前記第１フレームの環境状態から前記第２フレームの環境状態へ遷移するときの状態遷移確率と、前記環境状態ラベル推定部により推定された環境状態ラベルとに基づいて、前記第２フレームの環境状態ラベルを予測する環境状態遷移予測部と、
    を備えた環境遷移予測装置。
  2. 前記第１フレームの環境状態ラベルＥｔが環境状態ｉである確率Ｐは、

    で表され、
    環境状態ｉから環境状態ｋへ遷移するときの状態遷移確率をｐｉｋとした場合、前記第２フレームの環境状態ラベルＥｔ+１が環境状態ｋである確率Ｐは、

    で表され、
    前記第２フレームの環境状態ラベルＥｔ+１の予測結果は、

    で求められる
    請求項１に記載の環境遷移予測装置。
  3. 環境状態ラベル推定部が、時系列の複数のフレームを含む画像データのうち現在のフレームを表す第１フレームに対して、学習用画像データのフレーム毎にシーングラフが定義された環境状態ラベル推定モデルを用いて、環境状態を示す環境状態ラベルを推定し、
    環境状態遷移予測部が、前記第１フレームの次の第２フレームに対して、マルコフ性を仮定し、前記第１フレームの環境状態から前記第２フレームの環境状態へ遷移するときの状態遷移確率と、前記環境状態ラベル推定部により推定された環境状態ラベルとに基づいて、前記第２フレームの環境状態ラベルを予測する、
    環境遷移予測方法。
  4. 時系列の複数のフレームを含む画像データのうち現在のフレームを表す第１フレームに対して、学習用画像データのフレーム毎にシーングラフが定義された環境状態ラベル推定モデルを用いて、環境状態を示す環境状態ラベルを推定し、
    前記第１フレームの次の第２フレームに対して、マルコフ性を仮定し、前記第１フレームの環境状態から前記第２フレームの環境状態へ遷移するときの状態遷移確率と、前記推定された環境状態ラベルとに基づいて、前記第２フレームの環境状態ラベルを予測することを、
    コンピュータに実行させるための環境遷移予測プログラム。
JP2022530433A 2020-06-10 2020-06-10 環境遷移予測装置、環境遷移予測方法、及び環境遷移予測プログラム Active JP7468644B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/022871 WO2021250819A1 (ja) 2020-06-10 2020-06-10 環境遷移予測装置、環境遷移予測方法、及び環境遷移予測プログラム

Publications (2)

Publication Number Publication Date
JPWO2021250819A1 JPWO2021250819A1 (ja) 2021-12-16
JP7468644B2 true JP7468644B2 (ja) 2024-04-16

Family

ID=78845560

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022530433A Active JP7468644B2 (ja) 2020-06-10 2020-06-10 環境遷移予測装置、環境遷移予測方法、及び環境遷移予測プログラム

Country Status (2)

Country Link
JP (1) JP7468644B2 (ja)
WO (1) WO2021250819A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012128799A (ja) 2010-12-17 2012-07-05 Denso Corp 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
JP2015165381A (ja) 2014-02-05 2015-09-17 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326542A (ja) * 1998-05-11 1999-11-26 Nippon Telegr & Teleph Corp <Ntt> 気象パターン分類予測方法、装置、および気象パターン分類予測プログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012128799A (ja) 2010-12-17 2012-07-05 Denso Corp 運転シーンの遷移予測装置及び車両用推奨運転操作提示装置
JP2015165381A (ja) 2014-02-05 2015-09-17 株式会社リコー 画像処理装置、機器制御システム、および画像処理プログラム

Also Published As

Publication number Publication date
WO2021250819A1 (ja) 2021-12-16
JPWO2021250819A1 (ja) 2021-12-16

Similar Documents

Publication Publication Date Title
US11522881B2 (en) Structural graph neural networks for suspicious event detection
Kowalczyk et al. Two-parameter degenerate sliding bifurcations in Filippov systems
JP7286013B2 (ja) ビデオコンテンツ認識方法、装置、プログラム及びコンピュータデバイス
di Bernardo et al. Discontinuity-induced bifurcations of piecewise smooth dynamical systems
CA3088689C (en) Finite rank deep kernel learning for robust time series forecasting and regression
JP7215077B2 (ja) 予測プログラム、予測方法及び予測装置
Faerman et al. Lasagne: Locality and structure aware graph node embedding
US20180174072A1 (en) Method and system for predicting future states of a datacenter
AU2020325094B2 (en) Finite rank deep kernel learning with linear computational complexity
EP3975050A1 (en) Method and system for evaluating consistency of an engineered system
WO2021149528A1 (ja) イベント予測システム、イベント予測方法およびプログラム
JP2020030830A (ja) 自律学習エージェントの経路学習における予測誤差をモデル化する方法およびシステム
CN111566676A (zh) 量子计算设备设计
Moghaddam et al. Dynamic energy optimization in chip multiprocessors using deep neural networks
JP7468644B2 (ja) 環境遷移予測装置、環境遷移予測方法、及び環境遷移予測プログラム
US9378469B2 (en) Optimization of system control based on solving multi-point boundary value problems
KR102026651B1 (ko) 입자 필터 프레임 워크를 이용한 강건한 객체 추적 방법 및 시스템
MacDonald et al. GPfit: an R package for Gaussian process model fitting using a new optimization algorithm
CN112016677A (zh) 深度神经网络的训练方法、装置和电子设备
Lin et al. Almost surely safe exploration and exploitation for deep reinforcement learning with state safety estimation
Calafiore et al. Sparse identification of posynomial models
KR20230092371A (ko) 공진화 신경 상미분 방정식 기반의 인공지능 신경망 장치 및 방법
Lan et al. Efficient reinforcement learning with least-squares soft Bellman residual for robotic grasping
Tlelo-Cuautle et al. Integer and fractional-order chaotic circuits and systems
CN110751672A (zh) 利用稀释卷积实现多尺度光流像素变换的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240318

R150 Certificate of patent or registration of utility model

Ref document number: 7468644

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150