JP6810359B2 - 情報処理装置、制御方法、プログラム - Google Patents

情報処理装置、制御方法、プログラム Download PDF

Info

Publication number
JP6810359B2
JP6810359B2 JP2018218741A JP2018218741A JP6810359B2 JP 6810359 B2 JP6810359 B2 JP 6810359B2 JP 2018218741 A JP2018218741 A JP 2018218741A JP 2018218741 A JP2018218741 A JP 2018218741A JP 6810359 B2 JP6810359 B2 JP 6810359B2
Authority
JP
Japan
Prior art keywords
data
rectangle
image
time
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018218741A
Other languages
English (en)
Other versions
JP2019075130A (ja
Inventor
中山 正明
正明 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Marketing Japan Inc
Canon IT Solutions Inc
Original Assignee
Canon Marketing Japan Inc
Canon IT Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Marketing Japan Inc, Canon IT Solutions Inc filed Critical Canon Marketing Japan Inc
Priority to JP2018218741A priority Critical patent/JP6810359B2/ja
Publication of JP2019075130A publication Critical patent/JP2019075130A/ja
Application granted granted Critical
Publication of JP6810359B2 publication Critical patent/JP6810359B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、機械学習における教師データ作成に関する。
近年、ディープラーニング技術の発展などにより、機械学習による画像中の物体認識技術の開発が一層盛んにおこなわれている。機械学習により物体認識を行うには、その物体が何であるかという正解ラベル(教師信号)を伴った画像が大量に必要となる。正解ラベルと画像のペアを学習データまたは教師データと呼ぶ。本発明では特に、画像中に対象物体が複数存在しており、対象物体の位置を矩形で指定することを想定している。機械学習を行う上で、学習データは一般に数千から数万枚程度必要と言われ、この学習データを作成することが、非常に大きな労力を要する。
そこで、特許文献1には、半導体ウエハース画像等を対象に、学習済みの判別器を用いるか、又は、正常の画像と比較を行うことで、傷などの欠陥を検出・ラベル推定を行い、正解ラベルの候補とし、その後人手で修正し、学習データとする学習型分類システムが提案されている。
特許文献2には、特定物体ではなく、より広い範囲の物体を対象として、学習済みの判別器を用いるか、又は、色・輝度値による分割後人手による統合を行うことで、物体の検出・ラベル推定を行い、正解ラベルの候補とし、その後人手で修正し、学習データとする学習型分類システムが提案されている。
特開2005−293264号公報 特開2011−100459号公報
特許文献1では、学習済みの検出器を利用するか、又は、半導体ウエハースの様に正常な物体の見え方が明らかな場合にその正常物体との比較によって、傷などの欠陥を検出する。
しかしながら、学習済みの検出器を利用するために、一度学習を行う必要があり、学習データがまだ十分にない状態では、利用することはできない。また、正常物体との比較を行うためには正常である物体の見え方が明確である必要があり、半導体ウエハースの様な特定の物体に対してしか、利用することはできない。また時系列の画像データのような類似性または規則性を持った複数の画像データを対象とする場合には、各画像データに対してそれぞれ処理するため、その類似性または規則性の特徴を活用することができない。
特許文献2では、対象物体を広く利用できるシステムである。特許文献2では、学習済みの検出器を利用するか、又は、色・輝度による画像分割後、人手による統合を行うことで、対象物体を検出・推定する。
しかしながら、特許文献1と同様に、学習済みの検出器を利用するためには、一度学習を行う必要があり、学習データがまだ十分にない状態では、利用することはできない。また、学習済みの検出器を利用できない場合には、色・輝度による画像分割後に人手による統合を行うが、分割された領域を人手で統合することは、手間が大きく、人の負担軽減への効果は限定的である。また時系列の画像データのような類似性または規則性を持った複数の画像データを対象とする場合には、特許文献1と同様、各画像データに対してそれぞれ処理するため、その類似性または規則性の特徴を活用することができない。
そこで、本発明では、2つのデータの部分間の対応関係に基づいて、効率的に機械学習に使用する教師データを作成可能な仕組みを提供することを目的とする。
本発明の情報処理装置は、機械学習に用いる、データの中の物体の部分の情報であって、前記物体の部分を識別するラベルと当該部分の位置を記憶する記憶手段を有する情報処理装置であって、前記記憶手段に記憶されている第1のデータの中の物体の部分の情報に基づき、第2のデータの中で抽出された部分前記情報が記憶されている前記第1のデータの中の所定のラベルが付与された物体の部分との対応について判定する判定手段と、前記第2のデータの中で前記抽出された部分に対し、前記判定した結果に応じて前記所定のラベルに関するレベルを識別表示する表示制御手段と、前記第2のデータの中で前記抽出された部分に前記所定のラベルを付与すべく受け付ける受付手段とを有することを特徴とする。
本発明により、2つのデータの部分間の対応関係に基づいて、効率的に機械学習に使用する教師データを作成可能な仕組みを提供することができるようになる。
本発明の実施形態である学習データ作成補助システムのシステム構成の一例を示すブロック図。 本発明の実施形態である学習データ作成補助システムのPC等に適用可能なハードウェア構成の一例を示すブロック図。 本発明の実施形態である学習データ作成補助システムの機能構成の一例を示すブロック図。 本発明の実施形態である学習データ作成補助システムの全体処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの正解ラベル推定処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの正解ラベル推定処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの結果調整処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの調整画面表示処理の一例を示すフローチャート。 本発明の実施形態である学習データ作成補助システムの調整画面表示処理の一例を示すフローチャート。
ユーザ操作受付・実行処理の一例を示すフローチャート。
本発明の実施形態である学習データ作成補助システムの使用データの一例を示すデータ構成図。 本発明の実施形態である学習データ作成補助システムの結果調整画面の一例を示す画面イメージ。
以下、図面を参照して、本発明の実施形態を詳細に説明する。
図1は、本発明の学習データ作成補助システムの構成の一例を示すシステム構成図である。
図1(a)は構成例の1つであり、PC101のみで構成される。PC101がデータ管理から、画面表示や操作受付を含むプログラム実行まで全てを実施する。
図1(b)は構成例の1つであり、PC101とデータベースサーバ102がLAN(ローカルエリアネットワーク)104で接続されて構成される。PC101がプログラムを実行し、データはデータベースサーバ102に格納される。PC101はプログラム実行に必要なデータを逐次データベースサーバ102から取得し、実行結果等をデータベースサーバ102に登録する。
図1(c)は構成例の1つであり、PC101とアプリケーションサーバ103がLAN104で接続されて構成される。アプリケーションサーバ103がプログラムを実行し、PC101はアプリケーションサーバ103から送信された画像データを表示し、ユーザから受け付けた入力や操作内容をアプリケーションサーバ103に送信する。また、データを管理するためのデータベースサーバを別途備えてもよい。
本実施例は図1(a)の構成を前提にして説明するが、本発明は図1(b)や図1(c)の構成でも実施可能である。
図2は、図1に示したPC101のハードウェア構成の一例を示すブロック図である。本構成は、図1に示したデータベースサーバ102、アプリケーションサーバ103にも適用可能である。
図2において、201はCPUで、システムバス204に接続される各デバイスやコントローラを統括的に制御する。また、ROM202あるいは外部メモリ211には、CPU201の制御プログラムであるBIOS(Basic Input / Output System)やオペレーティングシステムプログラム(以下、OS)や、PCの実行する機能を実現するために必要な後述する各種プログラム等が記憶されている。
203はRAMで、CPU201の主メモリ、ワークエリア等として機能する。CPU201は、処理の実行に際して必要なプログラム等をROM202あるいは外部メモリ211からRAM203にロードして、ロードしたプログラムを実行することで各種動作を実現するものである。
また、205は入力コントローラで、キーボード(KB)209、マウス212等のポインティングデバイス等からの入力を制御する。206はビデオコントローラで、ディスプレイ210への表示を制御する。なお、表示器はCRTだけでなく、液晶ディスプレイ等の他の表示器であってもよい。
207はメモリコントローラで、ブートプログラム、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶する外部記憶装置(ハードディスク(HD))や、フレキシブルディスク(FD)、或いはPCMCIAカードスロットにアダプタを介して接続されるコンパクトフラッシュ(登録商標)メモリ等の外部メモリ211へのアクセスを制御する。
208は通信I/Fコントローラで、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、TCP/IPを用いた通信等が可能である。
なお、CPU201は、例えばRAM203内の表示情報用領域へアウトラインフォントの展開(ラスタライズ)処理を実行することにより、ディスプレイ210上での表示を可能としている。また、CPU201は、マウス212等でのユーザ指示を可能とする。
本発明を実現するための後述する各種プログラムは、外部メモリ211に記録されており、必要に応じてRAM203にロードされることによりCPU201によって実行されるものである。さらに、上記プログラムの実行時に用いられる設定ファイル等も外部メモリ211に格納されており、これらについての詳細な説明も後述する。
図3は、本実施形態の機能構成の一例を示すブロック図である。
本実施形態における学習データ作成補助システムは、PC101により構成される。
PC101は、画像データ記憶部301、正解データ記憶部302、一時データ記憶部303、正解ラベル推定部304、結果調整部305から構成される。
画像データ記憶部301は、時系列の画像データと画像データの管理情報を記憶する機能部であり、記憶されている時系列の画像データおよび管理情報は、正解ラベル推定部304、結果調整部305における処理で使用される。
正解データ記憶部302は、機械学習における教師データとなる正解データを記憶する機能部であり、記憶されている正解データは、正解ラベル推定部304、結果調整部305の処理結果として求められる。
一時データ記憶部303は、結果調整を行うための一時データを記憶する機能部であり、記憶されている一時データは、正解ラベル推定部304の処理結果として求められ、結果調整部305の処理の中で更新される。また記憶されている一時データは、処理対象の時刻を進めるごとにクリアされ新たに作成される。
正解ラベル推定部304は、画像データ記憶部301に記憶されている画像データから今回および前回時刻の画像データを取得し、今回時刻の画像データに対して、正解データの候補となる部分画像を抽出し、正解ラベルを推定する機能部である。処理結果は、後続の結果調整部305の処理用に、一時データ記憶部303に格納される。
結果調整部305は、一時データ記憶部303に記憶されている前回および今回時刻の画像データに関する一時データを取得して結果調整画面を表示し、ユーザからの操作を受け付けることにより調整処理を実施する機能部である。受け付けた操作に応じて、一時データ記憶部303の今回時刻の画像データに対する一時データを更新し、最終的に一時データ記憶部303の今回時刻の画像データに対する一時データから必要データを正解データ記憶部302に正解データとして登録する。
以下、本実施形態における学習データ作成補助システムの処理の前提を説明する。
まず、正解ラベルを付与したい時系列画像を用意する。時系列画像とは、固定点カメラによる時間間隔ごとの撮影データや、固定されたビデオカメラによる動画データのコマ送り画像の様な、同じ撮影視点から撮影され、撮影時間ごとに並べられた画像群のことである。
また、正解ラベル付けとは、画像内の特定の物体が写された部分画像を抽出して、当該物体を示す情報を付与することを意味する。本実施例では、正解ラベル付けの一例として、植物全体を写した画像に対して、花が写された部分画像を抽出し、「花」を示すラベル情報を付与する。この部分画像情報およびラベル情報を教師データとして検出器に学習させることにより、任意の画像に対して「花」が存在するかどうかを検出できるようになる。本実施例では、「花」のラベルが付与された部分画像のみを教師データとして保存しているが、「葉」、「背景」などの他のラベルが付与された部分画像を教師データとして採用し保存してもよい。
以下、図4を参照して、本実施形態の学習データ作成補助システムにおける全体処理について説明する。
図4は一連の画像群に正解ラベル付けを行う全体処理の一例を示すフローチャートである。本処理はPC101にて実施され、PC101のCPU201が外部メモリ211等に記憶されたプログラムを必要に応じてRAM203にロードして実行することにより実現されるものである。
ステップS401では、PC101のCPU201は、外部メモリ211等に記憶された正解ラベルを付与したい画像群を取得する。ここで取得する画像群は前述した通り、時系列データを対象とする。撮影時刻と画像ファイル名の対応は図6の時系列画像情報テーブル1001にて管理され、画像ファイルはデータベースに保存されている。
ステップS402では、PC101のCPU201は、取得した時系列を持つ画像ごとに、その時刻順にステップS403からS404までの処理を繰り返す。具体的には、図10に示す時系列画像情報テーブル1001に登録されたレコードに対応する画像を順に今回画像として取り込んで処理する。
ステップS403では、PC101のCPU201は、今回画像に対して、正解候補矩形の推定処理を行う。詳細に関しては図5で後述する。
ステップS404では、PC101のCPU201は、ステップS403における推定結果に対してユーザによる調整を行う。詳細に関しては図7で後述する。
ステップS405では、PC101のCPU201は、次の時系列画像に移行して処理を繰り返す。具体的な操作としては、図11に示す操作ボタン画面ウィンドウ1103にて次の画像ボタン1115が押下されることにより、次の時系列画像に移行する。
全ての時系列画像に対して処理を実行すれば本処理フローを終了する。
以下、図5を参照して、ステップS403の正解ラベル推定の詳細処理について説明する。
ステップS501では、PC101のCPU201は、正解矩形情報テーブル1002(図10)に前回画像に対応するレコードが存在するかどうかを判断する。もし時系列画像の最初の1枚であったり、前回画像の中に正解矩形が存在しなかった等の理由でレコードが存在しなかった場合は、ステップS506に進む。
ステップS502では、PC101のCPU201は、正解矩形情報テーブル1002の中から前回画像に対する正解矩形情報を読み込む。すなわち、前回の画像に基づいて作成された教師データを記憶手段から取得する処理の一例を示すステップである。
ステップS503では、PC101のCPU201は、読み込んだ前回画像に対する正解矩形情報ごとに、ステップS504にて前回矩形情報テーブル1003(図10)にコピーする処理を繰り返す。ステップS505では、次の正解矩形情報に移行して繰り返し処理の最初のステップに戻る。
ステップS506では、PC101のCPU201は、今回時刻画像における物体の候補矩形の抽出を行う。すなわち、今回の画像からラベル付与の対象となる部分画像を抽出する処理の一例を示すステップである。具体的な手法としては例えば、以下の手法が採用できる。
一つ目の手法は、前回時刻における正解ラベル群と類似度が大きい矩形を検出して、それを候補矩形とする手法である。類似度の計算を行うだけなので、学習済みのモデルは必要としない。ただし、最初の時系列画像には使用できない。
二つ目の手法は、汎用的な物体検出器を利用して、物体と推定される矩形画像を検出して、それを候補矩形として推定する手法である。この手法では、物体画像と背景画像との画像特徴量の差異や、画像から検知した物体の輪郭情報等をもとに候補矩形を推定するため、学習済みのモデルは必要としない。また、最初の時系列画像でも使用することができる。
三つ目の手法は、今回ラベル付け対象である特定物体の学習済み検出器を利用して、その物体を検出して、それを候補矩形として推定する手法である。この手法では、今回ラベル付け対象である特定物体の学習データで学習を行った学習済みモデルが必要である。そのため、学習データがまだ十分にない状態では利用することができない。
上記は物体検出の手法の一例であるが、物体の候補矩形の抽出のために、上記の手法の1つを使用してもよいし、複数の手法を組み合わせて使用してもよい。
ステップS507では、PC101のCPU201は、ステップS506で推定された候補矩形群の位置(minx、miny、maxx、maxy)を今回矩形情報テーブル1004(図10)の該当する項目に保存する。
ステップS508では、PC101のCPU201は、ステップS506にて抽出した候補矩形ごとに、ステップS509からS513までの処理を繰り返す。
ステップS509では、PC101のCPU201は、今回対象の候補矩形に対し、前回時刻画像への物体追跡処理を行い、対応する前回時刻正解矩形の情報を求める。
ここで、図6を参照して、ステップS509の今回矩形と前回矩形の対応付けの詳細処理について説明する。
ステップS601では、PC101のCPU201は、今回対象の候補矩形が、前回時刻画像中ではどの矩形領域に存在したかを物体追跡技術により推定する。例えば、一定速度で一定方向に移動する物体(例えば、道路を走行する車、など)であれば、前回時刻からの経過時間と速度から移動距離を求め、前回時刻画像中の矩形領域を推定する。また、経過時間内ではほぼ固定、または、微小な移動しかしない物体(例えば、今回対象としている花、など)であれば、前回時刻の矩形領域は、今回時刻の矩形領域と同じとみなすこと等により前回時刻画像中の矩形領域を推定することができる。前回時刻画像中の対応する矩形領域を追跡矩形と呼ぶ。つまり、追跡矩形は、今回対象の候補矩形を基に経過時間による移動分を補正した前回時刻での推定矩形という意味を持つ。
以下の処理で、前回時刻の正解矩形と今回対象の候補矩形との相関度合いを示す追跡信用度を算出し、追跡信用度が最大となる前回時刻の正解矩形を今回対象の候補矩形に対応付ける。すなわち、抽出された今回の部分画像の情報と、前回の教師データに含まれる部分画像の情報とに基づいて、今回の部分画像に対応する前回の教師データを特定する処理の一例を示す一連のステップである。
ステップS602では、PC101のCPU201は、探索の評価尺度となる追跡信用度の最大値を一時記憶する最大追跡信用度を0に初期化する。
ステップS603では、PC101のCPU201は、前回時刻正解矩形の情報を前回矩形情報テーブル1003から読み込む。
ステップS604では、PC101のCPU201は、読み込んだ前回時刻の正解矩形ごとにステップS605からS610までの処理を繰り返す。対象とする前回時刻の正確矩形を対応候補前回矩形と呼ぶことにする。
ステップS605では、PC101のCPU201は、今回対象の候補矩形と対応候補前回矩形との追跡信用度を求める。追跡信用度の算出方法は、一例として、追跡矩形と対応候補前回矩形との中心点間距離が近くなるほど大きくなるように追跡信用度を定義することができる(例えば、該距離の逆数)。これは、物体追跡による位置関係のみを評価する方法である。すなわち、今回の部分画像の位置情報と、前回の教師データに含まれる部分画像の位置情報とにより求められる位置関係に基づいて、対応する教師データを特定する処理の一例を示す。
また、別の算出方法として、今回対象の候補矩形と対応候補前回矩形の各画像の特徴量を既知の技術により求めてそれぞれの特徴量の差から類似度Sを算出し、追跡矩形と対応候補前回矩形との中心点間距離dとしたときに、追跡信用度Cは以下の様に定義することできる。
C=S/d
これは位置関係と画像内容の評価を併用する方法で、対応候補前回矩形が追跡矩形に位置的に近く、対応候補前回矩形が今回対象の候補矩形と画像として類似していれば追跡信用度が大きくなることがわかる。
また、別の算出方法として、前記中心点間距離dが所定の値以下ならば、つまり対応候補前回矩形が追跡矩形の近傍にある場合に、前記類似度Sをそのまま追跡信用度Cとし、中心点間距離が所定の値を超える場合には、追跡信用度Cをゼロとする方法でもよい。これは、物体追跡技術による推定位置(追跡矩形)と大きくずれることはなく、近傍内ではより画像が類似したものを選択する、という考え方に基づく。すなわち、今回の部分画像と、前回の教師データに含まれる部分画像との間の類似度に基づいて、対応する教師データを特定する処理の一例を示す。
上記は追跡信用度の算出方法の一例であり、画像の特性によって適切な方法を選定すればよい。また、複数の方法を組み合わせて使用してもよい。
ステップS606では、PC101のCPU201は、今回対象の候補矩形と対応候補前回矩形との追跡信用度が ループ現時点での追跡信用度の最大値より大きい、かつ、事前設定していた追跡信用度閾値より大きいかどうかの判断を行う。もし成り立つのであれば、ステップS607に進む。成り立たないのであれば、次のループに移る。なお、追跡信用度閾値を設定せず、単に追跡信用度が最大かどうかの判断だけを行ってもよい。
ステップS607では、PC101のCPU201は、対応候補前回矩形の「前回矩形ID」を今回矩形情報テーブル1004の今回対象の候補矩形に対応するレコードの「対応前回矩形ID」に設定する。
ステップS608では、PC101のCPU201は、ステップS605で求めた追跡信用度を今回矩形情報テーブル1004の今回対象の候補矩形に対応するレコードの「追跡信用度」に設定する。
ステップS609では、PC101のCPU201は、対応候補前回矩形の「ラベル」を今回矩形情報テーブル1004の今回対象の候補矩形に対応するレコードの「仮ラベル」に設定する。すなわち、今回の部分画像に対して、特定された前回の教師データのラベルを付与する処理の一例を示すステップである。本実施例では、正解ラベルとして「1(花)」のみを登録しているため、本処理で「仮ラベル」に設定される値は「1(花)」のみとなるが、正解ラベルとして「0(背景)」も対象としている場合は、対応候補前回矩形の「ラベル」に従った値が「仮ラベル」に設定される。
ステップS610では、PC101のCPU201は、ループ現時点での追跡信用度の最大値を、今回対象の候補矩形と対応候補前回矩形との追跡信用度で更新を行う。
ステップS611では、PC101のCPU201は、次の対応候補前回矩形に移行して、繰り返し処理の最初に戻る。
上記処理により、今回矩形情報テーブル1004の今回対象の候補矩形に対応するレコードの「対応前回矩形ID」、「追跡信用度」に、追跡信用度が最大となる対応候補前回矩形に対する「前回矩形ID」、最大追跡信用度が設定される。
図5の説明に戻る。
ステップS510では、PC101のCPU201は、ステップS509の結果、今回矩形情報テーブル1004の今回対象の候補矩形に対応するレコードに「対応前回矩形ID」が設定されているかどうか判別を行う。「対応前回矩形ID」が設定されていなければ、ステップS511に進み、設定されていれば、何も行わず次のループへと進む。
ステップS511では、PC101のCPU201は、確信度の算出を行う。確信度とは、今回対象の候補矩形が正解矩形である確からしさを表す数値であり、具体的な算出手法としては、ステップS506の候補矩形抽出で用いた類似度や検出器によるスコアを算出する方法を適用すればよい。また、最初の時系列画像に対する候補矩形の場合のように確信度を算出することが困難な場合は、確信度は未定としておいてもよい。
ステップS512では、PC101のCPU201は、ステップS511で求めた確信度を今回矩形情報テーブル1004の今回対象の候補矩形に対応するレコードの「確信度」に設定する。
ステップS513では、PC101のCPU201は、今回矩形情報テーブル1004の今回対象の候補矩形に対応するレコードの「仮ラベル」に「0(背景)」を設定する。本処理は、対応する前回時刻正解矩形が存在しないため、正解矩形かどうかの判断ができないため、仮に「花」以外としておく、という考え方に基づく。また、「確信度」に閾値を設定しておき、今回対象の候補矩形の「確信度」が閾値以上となるならば「仮ラベル」に「1(花)」を設定するようにしてもよい。
ステップS514では、PC101のCPU201は、次の候補矩形に移行し、繰り返し処理の最初に戻る。
上記の処理により、今回画像に対し、正解矩形の候補となる矩形を抽出し、前回画像の正解矩形との対応付けを行い、仮ラベルを設定することができる。
以下、図7を参照して、ステップS404の結果調整の詳細処理の一例について説明する。
ステップS701では、PC101のCPU201は、図11に示す結果調整画面をディスプレイ210に表示する。詳細処理については図8で後述する。
ステップS702では、PC101のCPU201は、ステップ701にて表示した結果調整画面において、ユーザからの操作をキーボード209やマウス212から受け付け、必要な処理を実施する。詳細処理については図9で後述する。
以下、図8を参照して、ステップS701の調整画面表示処理の詳細処理の一例について説明する。
また、本処理にて表示する結果調整画面の一例を図11に示し、説明の中で都度参照する。
ステップS801では、PC101のCPU201は、ディスプレイ210にメイン画面ウィンドウ1101を表示する。以降、ステップS810までの処理にてメイン画面の内容を表示する。
ステップS802では、PC101のCPU201は、前回矩形情報テーブル1003から前回矩形情報を読み込む。
ステップS803では、PC101のCPU201は、ステップS802にて読み込んだ前回矩形情報の「画像ファイル名」を基に、前回時刻の画像ファイルを取得する。
ステップS804では、PC101のCPU201は、ステップS803にて取得した画像ファイルを基に、前回時刻の画像1104を表示する。
ステップS805では、PC101のCPU201は、今回矩形情報テーブル1004から今回矩形情報を読み込む。
ステップS806では、PC101のCPU201は、ステップS805にて読み込んだ今回矩形情報の「画像ファイル名」を基に、今回時刻の画像ファイルを取得する。
ステップS807では、PC101のCPU201は、ステップS806にて取得した画像ファイルを基に、今回時刻の画像1105を表示する。
ステップS808では、PC101のCPU201は、前回矩形情報および今回矩形情報の矩形座標(minx、miny、maxx、maxy)を基に、前回画像および今回画像の上に、矩形枠(1106、1107など)を表示する。
ステップS809では、PC101のCPU201は、今回矩形情報の「対応前回矩形ID」を基に、前回画像の矩形枠と今回画像の矩形枠との対応関係を特定し、対応するそれぞれの矩形枠の間を線(1108など)で結んで表示する。今回矩形情報で対応前回矩形IDがブランクになっている今回の矩形や、今回矩形情報の対応矩形IDにて対応付けがされていない前回の図形については、線で結ばれず、矩形枠単体で表示される。
ステップS810では、PC101のCPU201は、今回矩形情報の「追跡信用度」および「確信度」を基に、矩形枠と線の表示色を変更する。本実施例では、追跡信用度が高い矩形枠とそれらを結ぶ線は青色、信用度が低い矩形枠とそれらを結ぶ線は赤色で表示する。また、対応する今回矩形のない前回矩形については矩形枠を黒色で表示し、一方、対応する前回矩形のない今回矩形ついては、確信度が高い矩形枠は黒色、確信度が低い矩形枠は灰色で表示する。これにより、追跡の確からしさや、正解画像としての尤もらしさを直感的に把握することができる。
ステップS811では、PC101のCPU201は、ディスプレイ210にズーム画面ウィンドウ1102を表示する。以降、ステップS817までの処理にてズーム画面の内容を表示する。
ステップS812では、PC101のCPU201は、ステップS802にて読み込んだ前回矩形情報の矩形座標(minx、miny、maxx、maxy)を基に、ステップS803にて取得した画像ファイルから矩形画像を抽出する。
ステップS813では、PC101のCPU201は、ステップS805にて読み込んだ今回矩形情報の矩形座標(minx、miny、maxx、maxy)を基に、ステップS806にて取得した画像ファイルから矩形画像を抽出する。
ステップS814では、PC101のCPU201は、今回矩形情報の「対応前回矩形ID」を基に、前回矩形画像(1109など)と今回矩形画像(1110など)との対応関係を示す対応画像を表示する。本実施例では、2つの画像を矢印をはさんで左右に表示する。すなわち、今回の部分画像と、前回の教師データに含まれる部分画像とを対応付けて表示する処理の一例を示すステップである。ただし、対応する今回矩形のない前回矩形については対応画像を表示せず、対応する前回矩形のない今回矩形については、前回矩形画像の表示位置にはメッセージ画像等を表示して対応する前回矩形がないことを表す。
ステップS815では、PC101のCPU201は、ステップS814にて表示した前回矩形画像と今回矩形画像の対応画像の表示順序を変更する。本実施例では、以下のソート順で表示順序を変更する。
[1]今回矩形について「仮ラベル」が1(花)であり、「対応前回矩形ID」が設定されているもので、「追跡信用度」の高い順。
[2]今回矩形について「仮ラベル」が1(花)であり、「対応前回矩形ID」が設定されていないもので、「確信度」の高い順。
[3]今回矩形について「仮ラベル」が0(背景)であり、「確信度」の高い順。
[1]については、ステップS815にて前回矩形と今回矩形とが対応付けられたものでユーザに削除されていない(削除操作は後述)が対象となり、[2]についてはステップS815にて前回矩形と対応付けはされなかったものでユーザに採用された(採用操作は後述)ものが対象となり、[3]については前回矩形との対応付けはされなかったもので[2]に該当するもの以外が対象となる。
ステップS816では、PC101のCPU201は、今回矩形情報の「追跡信用度」および「確信度」を基に、矩形画像の背景の表示色を変更する。色の決定方法はステップS810と同じである。
ステップS817では、PC101のCPU201は、前ステップまでで表示された前回矩形画像と今回矩形画像の対応画像に対し、削除ボタン1112、または、採用ボタン1113を表示する。具体的には、上述の[1]と[2]に含まれる対応画像については削除ボタン1112を表示し、[3]については採用ボタン1113を表示する。
ステップS818では、PC101のCPU201は、ディスプレイ210に操作ボタン画面ウィンドウ1103を表示する。
ステップS819では、PC101のCPU201は、ステップS818にて表示した操作ボタン画面ウィンドウ1103上に各機能ボタンを表示する。本実施例では、機能ボタンとして、前の画像ボタン1114、次の画像ボタン1115、前の矩形ボタン1116、次の矩形ボタン1117、保存ボタン1118を表示する。
なお、本実施例では、ズーム画面ウィンドウ1102および操作ボタン画面ウィンドウ1103を、メイン画面ウィンドウ1101とは別に表示しているが、1つのウィンドウにまとめて表示してもよい。
以下、図9を参照して、ステップS702のユーザ操作受付・実行の詳細処理について説明する。
ステップS901では、PC101のCPU201は、キーボード209やマウス212からユーザによる操作を受け付ける。
ステップS902では、PC101のCPU201は、ステップS901にて受け付けた操作の種類を判定する。操作の種類としては、本実施例では、矩形枠採用、矩形枠削除、矩形枠サイズ変更、矩形枠位置変更、新規矩形枠作成、保存があり、操作の種類によっては事前に矩形選択の操作を伴う。以下にそれぞれの具体的操作の一例について説明する。
矩形枠採用は、メイン画面ウィンドウ1101上で対象の今回矩形枠(前回矩形枠と線で結ばれていないもの)を選択した後キーボード209にて「a」キーを押下するか、ズーム画面ウィンドウ1102上で対象の矩形画像(前回矩形との対応付けのないもの)に表示された採用ボタンをマウス212にてクリックする。
矩形枠削除は、メイン画面ウィンドウ1101上で対象の今回矩形枠を選択した後キーボード209にて「d」キーを押下するか、ズーム画面ウィンドウ1102上で対象の矩形画像に表示された削除ボタンをマウス212にてクリックする。すなわち、抽出された部分画像に対して採否(取消の方)を受け付ける処理の一例を示す。
矩形枠サイズ変更は、メイン画面ウィンドウ1101上でマウス212にて対象の今回矩形枠の隅または辺をクリックして選択し、サイズ変更したい所までドラッグして離す。
矩形位置変更は、メイン画面ウィンドウ1101上でマウス212にて対象の今回矩形枠内の任意の表示位置をクリックして選択し、位置変更したい所までドラッグして離す。
新規矩形枠作成は、メイン画面ウィンドウ1101上で今回画像中で対象の1つの隅となる位置をクリックして選択し、そこを起点の隅として対角の隅までドラッグして離す。
保存は、操作ボタン画面ウィンドウ1103上で、保存ボタンをクリックする。すなわち、抽出された部分画像に対して採否(採用の方)を受け付ける処理の一例を示す。
なお上記は具体的操作の一例であり、これに限るものではない。また、矩形枠や矩形画像の選択には、マウス212にて直接、矩形枠や矩形画像をクリックして選択する方法の他に、操作ボタン画面の前の矩形ボタン1116、または、次の矩形ボタン1117をクリックして今回矩形情報テーブル1004に登録された順で前後の矩形を選択する方法も使用できる。
ステップS903では、ステップS902にて”矩形枠採用”と判定された場合、PC101のCPU201は、ズーム画面の対象の矩形画像に表示されていた採用ボタンを非表示にし、削除ボタンを表示する。
ステップS904では、PC101のCPU201は、対象の矩形画像から今回矩形IDを特定し、今回矩形情報テーブル1004の該当するレコードについて、「仮ラベル」を1(花)に更新する。ここで、ユーザにより採用されたことを受けて「確信度」を最大値である1に更新する。
なお、本実施例では、ステップS904にて「仮ラベル」に設定する内容が1(花)のみであるため、ユーザ操作として「採用」ボタンを押下させているが、設定内容が複数ある場合は、直接「仮ラベル」の内容を入力させるか、ドロップダウンリスト等から選択させてもよい。すなわち、ステップS903は、対応する教師データが特定されなかった場合に、ラベルの指定を受け付ける処理の一例を示し、ステップS904は、今回の部分画像に対して、指定を受け付けたラベルを付与する処理の一例を示す。
ステップS905では、ステップS902にて”矩形枠削除”と判定された場合、PC101のCPU201は、対象の今回矩形に対し、メイン画面に表示されていた矩形枠と線、および、ズーム画面に表示されていた矩形画像を表示削除する。
ステップS906では、PC101のCPU201は、対象の矩形画像から今回矩形IDを特定し、今回矩形情報テーブル1004の該当するレコードを削除する。ここで、レコードを削除せず、削除フラグ(不図示)を設定するようにしてもよい。すなわち、取消を受け付けた場合には、今回の部分画像に対する教師データを作成しないよう実行制御する処理の一例を示すステップである。
ステップS907では、ステップS902にて”矩形枠サイズ変更”と判定された場合、PC101のCPU201は、対象の今回矩形に対し、サイズ変更表示する。具体的には、メイン画面では、今回矩形枠を変更されたサイズで表示し、前回矩形枠と結んでいた線を変更して表示する。ズーム画面では、サイズ変更された領域の画像を抽出して表示する。
ステップS908では、PC101のCPU201は、対象の矩形画像から今回矩形IDを特定し、今回矩形情報テーブル1004の該当するレコードについて、変更されたサイズに従って座標情報「minx」、「miny」、「maxx」、「maxy」を更新する。
ステップS909では、ステップS902にて”矩形枠位置変更”と判定された場合、PC101のCPU201は、対象の今回矩形に対し、位置変更表示する。具体的には、メイン画面では、今回矩形枠を変更された位置に表示し、前回矩形枠と結んでいた線を変更して表示する。ズーム画面では、位置変更された領域の画像を抽出して表示する。
ステップS910では、PC101のCPU201は、対象の矩形画像から今回矩形IDを特定し、今回矩形情報テーブル1004の該当するレコードについて、変更された位置に従って座標情報「minx」、「miny」、「maxx」、「maxy」を更新する。
ステップS911では、ステップS902にて”新規矩形枠作成”と判定された場合、PC101のCPU201は、新規作成された矩形枠を表示する。具体的には、メイン画面では、今回矩形枠を新規作成された位置・サイズに従って表示し、ズーム画面では、新規作成された領域の画像を抽出して表示する。表示イメージは、前回矩形との対応のない今回矩形と同じである。
ステップS912では、PC101のCPU201は、新たな「今回矩形ID」にて今回矩形情報テーブル1004にレコード追加し、新規作成された矩形枠の位置・サイズに従って座標情報「minx」、「miny」、「maxx」、「maxy」を設定し、「仮ラベル」に1(花)を設定する。「確信度」には、ユーザにより新規登録されたことを受けて最大値である1を設定する。
ステップS913では、ステップS902にて”保存”と判定された場合、PC101のCPU201は、現在の調整内容で正解矩形情報テーブル1002を更新する。具体的には、今回矩形情報テーブル1004において、「仮ラベル」が1(花)に設定されているレコードを選択し、正解矩形情報テーブル1002に新たな「正解矩形ID」にてレコードを追加し、今回矩形情報テーブル「画像ファイル名」、「minx」、「miny」、「maxx」、「maxy」、「仮ラベル」を正解矩形情報テーブル1002の「画像ファイル名」、「minx」、「miny」、「maxx」、「maxy」、「ラベル」にコピーする。すなわち、採用を受け付けた場合に、今回の部分画像に対して、前回の教師データのラベルを付与することにより教師データを作成するよう実行制御する処理の一例を示すステップである。すでに今回時刻で正解矩形情報テーブル1002にデータが登録されている場合は、今回時刻のデータを削除してから上記処理を実施する。
ステップS914では、PC101のCPU201は、今回時刻分の操作が終了したかどうかを判定し、終了したと判定されればステップS915に進む。終了していないと判定されればステップS901に戻る。今回時刻分の操作が終了したと判定される操作としては、本実施例では、操作ボタン画面上で、前の画像ボタン1114、または、次の画像ボタン1115がマウス212によりクリックされた場合がある。この操作により、前の画像、次の画像に対して上述の一連の処理が可能となる。
ステップS915では、PC101のCPU201は、現在の調整内容で正解矩形情報テーブル1002を更新する。具体的な処理は、ステップS913と同じである。すなわち、作成された教師データを記憶手段に登録する処理の一例を示すステップである。
上記により、今回時刻の正解矩形候補と前回時刻の正解矩形とを対応付けて表示することにより、今回時刻の正解矩形候補に対する正解かどうかの判断を効率的に行うことができる。
また、類似性または規則性を持った時系列画像データに対し、今回時刻の正解矩形候補の抽出のために、前回時刻の正解矩形情報を利用することにより、精度を高めることが期待できる。
なお、上述した各種データの構成及びその内容はこれに限定されるものではなく、用途や目的に応じて、様々な構成や内容で構成されることは言うまでもない。
また、本発明におけるプログラムは、図4〜図9の処理をコンピュータに実行させるプログラムである。
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、DVD−ROM、磁気テープ、不揮発性のメモリカード、ROM、EEPROM、シリコンディスク等を用いることが出来る。
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
101 PC
102 データベースサーバ
103 アプリケーションサーバ
104 LAN
201 CPU
202 ROM
203 RAM
204 システムバス
205 入力コントローラ
206 ビデオコントローラ
207 メモリコントローラ
208 通信I/Fコントローラ
209 入力装置
210 ディスプレイ装置
211 外部メモリ
212 マウス

Claims (7)

  1. 機械学習に用いる、データの中の物体の部分の情報であって、前記物体の部分を識別するラベルと当該部分の位置を記憶する記憶手段を有する情報処理装置であって、
    前記記憶手段に記憶されている第1のデータの中の物体の部分の情報に基づき、第2のデータの中で抽出された部分と前記情報が記憶されている前記第1のデータの中の所定のラベルが付与された物体の部分との対応について判定する判定手段と、
    前記第2のデータの中で前記抽出された部分に対し、前記判定した結果に応じて前記所定のラベルに関するレベルを識別表示する表示制御手段と、
    前記第2のデータの中で前記抽出された部分に前記所定のラベルを付与すべく受け付ける受付手段と
    を有することを特徴とする情報処理装置。
  2. 前記表示制御手段は、前記第2のデータの中で抽出された部分の前記所定のラベルに対する確信度に基づいて前記レベルを識別表示することを特徴とする請求項1に記載の情報処理装置。
  3. 前記表示制御手段は、前記第2のデータの中で抽出された部分と前記判定された前記第1のデータの中の部分との追跡信用度に基づいて前記レベルを識別表示することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記判定手段は、前記記憶されている前記第1のデータの中の前記所定のラベルが付与された物体の部分の位置と前記第2のデータの中で前記抽出された部分の位置との距離に基づいて判定することを特徴とする請求項1〜3のいずれか1項に記載の情報処理装置。
  5. 前記判定手段は、前記情報が記憶されている前記第1のデータの中の前記所定のラベルが付与された物体の部分のデータの特徴量と前記第2のデータの中で前記抽出された部分のデータの特徴量との類似度に基づいて判定することを特徴とする請求項1〜4のいずれか1項に記載の情報処理装置。
  6. 機械学習に用いる、データの中の物体の部分の情報であって、前記物体の部分を識別するラベルと当該部分の位置を記憶する記憶手段を有する情報処理装置の制御方法であって、
    判定手段が、前記記憶手段に記憶されている第1のデータの中の物体の部分の情報に基づき、第2のデータの中で抽出された部分と前記情報が記憶されている前記第1のデータの中の所定のラベルが付与された物体の部分との対応について判定する判定ステップと、
    表示制御手段が、前記第2のデータの中で前記抽出された部分に対し、前記判定した結果に応じて前記所定のラベルに関するレベルを識別表示する表示制御ステップと、
    受付手段が、前記第2のデータの中で前記抽出された部分に前記所定のラベルを付与すべく受け付ける受付ステップと
    を有することを特徴とする情報処理装置の制御方法。
  7. 機械学習に用いる、データの中の物体の部分の情報であって、前記物体の部分を識別するラベルと当該部分の位置を記憶する記憶手段を有する情報処理装置において実行可能なプログラムであって、
    前記情報処理装置を、
    前記記憶手段に記憶されている第1のデータの中の物体の部分の情報に基づき、第2のデータの中で抽出された部分と前記情報が記憶されている前記第1のデータの中の所定のラベルが付与された物体の部分との対応について判定する判定手段と、
    前記第2のデータの中で前記抽出された部分に対し、前記判定した結果に応じて前記所定のラベルに関するレベルを識別表示する表示制御手段と、
    前記第2のデータの中で前記抽出された部分に前記所定のラベルを付与すべく受け付ける受付手段
    として機能させるためのプログラム。
JP2018218741A 2018-11-22 2018-11-22 情報処理装置、制御方法、プログラム Active JP6810359B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018218741A JP6810359B2 (ja) 2018-11-22 2018-11-22 情報処理装置、制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018218741A JP6810359B2 (ja) 2018-11-22 2018-11-22 情報処理装置、制御方法、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015250903A Division JP6442746B2 (ja) 2015-12-24 2015-12-24 情報処理装置、制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2019075130A JP2019075130A (ja) 2019-05-16
JP6810359B2 true JP6810359B2 (ja) 2021-01-06

Family

ID=66544338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018218741A Active JP6810359B2 (ja) 2018-11-22 2018-11-22 情報処理装置、制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP6810359B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021026505A (ja) * 2019-08-05 2021-02-22 ギリア株式会社 情報処理装置および情報処理用プログラム
JP7055259B2 (ja) * 2020-03-04 2022-04-15 三菱電機株式会社 ラベリング装置及び学習装置
JP7561515B2 (ja) 2020-04-09 2024-10-04 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2022018905A (ja) 2020-07-16 2022-01-27 キヤノン株式会社 情報処理装置及び方法、撮像装置、及び撮像システム
WO2022024178A1 (ja) * 2020-07-27 2022-02-03 日本電気株式会社 学習システム、物体検出システム、学習方法、及びコンピュータプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7720258B1 (en) * 2006-01-26 2010-05-18 Adobe Systems Incorporated Structured comparison of objects from similar images
US8611673B2 (en) * 2006-09-14 2013-12-17 Parham Aarabi Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying
JP2008090570A (ja) * 2006-10-02 2008-04-17 Hitachi Ltd 情報処理装置及び情報処理方法
KR100796044B1 (ko) * 2007-02-08 2008-01-21 (주)올라웍스 인물 이미지에 대한 태깅 방법
TWI489394B (zh) * 2008-03-03 2015-06-21 Videoiq Inc 用於追蹤、索引及搜尋之物件匹配
JP2012248070A (ja) * 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
US9195679B1 (en) * 2011-08-11 2015-11-24 Ikorongo Technology, LLC Method and system for the contextual display of image tags in a social network
JP2014085795A (ja) * 2012-10-23 2014-05-12 Toshiba Corp 学習画像収集装置、学習装置及び対象物検出装置
JP6088381B2 (ja) * 2013-08-02 2017-03-01 株式会社日立国際電気 物体検索システム

Also Published As

Publication number Publication date
JP2019075130A (ja) 2019-05-16

Similar Documents

Publication Publication Date Title
JP6810359B2 (ja) 情報処理装置、制御方法、プログラム
JP6442746B2 (ja) 情報処理装置、制御方法、プログラム
CN108827307B (zh) 导航方法、装置、终端及计算机可读存储介质
US9390506B1 (en) Selective object filtering and tracking
WO2013012091A1 (ja) 情報処理装置、物体追跡方法およびプログラム記憶媒体
US9471982B2 (en) Information processing apparatus and information processing method for associating an image with related information
US11055878B2 (en) Person counting method and person counting system
US20200265238A1 (en) Methods and Systems for Identification and Augmentation of Video Content
CN111859002B (zh) 兴趣点名称生成方法及装置、电子设备和介质
CN110647603A (zh) 图像标注信息的处理方法、装置和系统
CN113454640A (zh) 用于利用在线学习进行对象跟踪的方法及系统
JP5441151B2 (ja) 顔画像追跡装置及び顔画像追跡方法並びにプログラム
CN110046009B (zh) 录制方法、装置、服务器及可读存储介质
US20230410524A1 (en) Information processing apparatus, control method, and program
JP6350024B2 (ja) 情報処理装置、及びその制御方法、プログラム
US20230131717A1 (en) Search processing device, search processing method, and computer program product
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
CN111832549B (zh) 数据标注方法及装置
JP7020263B2 (ja) 体向き推定プログラム、体向き推定装置、及び体向き推定方法
Sivabalakrishnan et al. Performance analysis of fuzzy logic-based background subtraction in dynamic environments
JP2019219726A (ja) 情報処理装置、情報処理装置の制御方法、及び、プログラム
KR102502034B1 (ko) 영상의 비 식별 처리 객체를 검색하는 방법 및 시스템
KR102029860B1 (ko) 실시간 다중 객체 추적 방법과 이를 수행하기 위한 장치
CN115546295B (zh) 目标6d姿态估计模型训练方法及目标6d姿态估计方法
US20220230333A1 (en) Information processing system, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181225

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200512

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201123

R151 Written notification of patent or utility model registration

Ref document number: 6810359

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250