JP6856853B2 - 極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ｇａｎを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 - Google Patents

極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ｇａｎを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 Download PDF

Info

Publication number
JP6856853B2
JP6856853B2 JP2020004558A JP2020004558A JP6856853B2 JP 6856853 B2 JP6856853 B2 JP 6856853B2 JP 2020004558 A JP2020004558 A JP 2020004558A JP 2020004558 A JP2020004558 A JP 2020004558A JP 6856853 B2 JP6856853 B2 JP 6856853B2
Authority
JP
Japan
Prior art keywords
image
score
network
initial
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020004558A
Other languages
English (en)
Other versions
JP2020119555A (ja
Inventor
桂賢 金
桂賢 金
鎔重 金
鎔重 金
寅洙 金
寅洙 金
鶴京 金
鶴京 金
雲鉉 南
雲鉉 南
碩▲ふん▼ 夫
碩▲ふん▼ 夫
明哲 成
明哲 成
東勳 呂
東勳 呂
宇宙 柳
宇宙 柳
泰雄 張
泰雄 張
景中 鄭
景中 鄭
泓模 諸
泓模 諸
浩辰 趙
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020119555A publication Critical patent/JP2020119555A/ja
Application granted granted Critical
Publication of JP6856853B2 publication Critical patent/JP6856853B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)

Description

本発明は、自律走行自動車に使用される学習方法及び学習装置、そして、それを利用したテスト方法及びテスト装置に関し、より詳細にはワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲をＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置に関する。
ＣＮＮは、自動車の自律走行分野でも広く使用されているが、これは主に自動車に取り付けられたカメラを通じて取得された映像を分析することで障害物を検出し、フリースペース（Ｆｒｅｅ Ｓｐａｃｅ）を検出するなどの機能を遂行して安全に車両が走行し得るようにする。
ところが、このようにＣＮＮを利用して自動車を自律走行させる方法は、特定の状況において遂行が困難であり得る。すなわち、ＣＮＮは、カメラを通じて得られた映像を使用しなければならないが、カメラが揺れるなどの問題により映像が大きく揺れると、映像のそれぞれのフレームごとにイメージが大きく変わる「ジッタリング（Ｊｉｔｔｅｒｉｎｇ）」現象が発生するようになる。このようなジッタリング現象が発生すると、ＣＮＮが映像上の物体の動きを追跡するのが難しくなる。特に、このようなジッタリング現象は、オフロードを頻繁に走る軍用車両の自律走行中に非常に多く発生し、このような発生を防ぐ方法が極めて重要である。
このようなジッタリングを除去する従来技術として、カメラの動きを測定してジッタリングが発生したイメージを物理的に正す方法があるが、この場合、カメラモジュールの重さが増加して費用がかさみ、様々な装置の使用により故障の危険が増加する。代案としてソフトウェア技術があるが、これはイメージをグリッドに分けて、カメラの揺れによるそれぞれの前記グリッドのそれぞれの動きを示すそれぞれのベクトルを算出した後、それぞれの前記ベクトルを参照してそれぞれのグリッドをワーピング（Ｗａｒｐｉｎｇ）することによってジッタリングをなくす方法である。
ところが、このようなソフトウェア技術によると、これはイメージのオプティカルフロー（Ｏｐｔｉｃａｌ Ｆｌｏｗ）のみを考慮し、ジッタリングが発生したイメージを調整する過程でイメージに歪曲を大きく起こすため、イメージ上で認識されるべき物体が認識されないようにしたり、当該イメージを過度に非現実的に変換するようになる問題がある。
本発明は、上述した問題点を解決することを目的とする。
本発明は、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させる過程において生成されたワーピングされた（Ｗａｒｐｅｄ）イメージで生じた歪曲を、ＧＡＮを利用して減らす方法を提供することを目的とする。
本発明の一態様によると、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすための学習方法において、（ａ）少なくとも１つの初期イメージ（Ｉｎｉｔｉａｌ Ｉｍａｇｅ）を取得すると、学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記初期イメージを少なくとも１つの調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）に変換させる段階；及び（ｂ）前記学習装置が、（ｉ）前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）と、（ｉｉ）前記初期イメージに含まれている少なくとも一つの初期物体（Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ Ｓｃｏｒｅ）と、（ｉｉｉ）前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ Ｌｏｓｓ）を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させる段階；を含むことを特徴とする。
一実施例において、前記（ｂ）段階で、前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル（Ｒｅａｌ）イメージ又はバーチャル（Ｆａｋｅ）イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする。
一実施例において、前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする。
一実施例において、前記（ｂ）段階で、前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも１つの調整物体（Ａｄｊｕｓｔｅｄ Ｏｂｊｅｃｔ）に該当する少なくとも１つのＲＯＩに対する少なくとも１つのクラススコア（Ｃｌａｓｓ Ｓｃｏｒｅ）を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする。
一実施例において、前記（ｂ）段階で、前記生成ネットワークに含まれている比較レイヤ（Ｃｏｍｐａｒｉｎｇ Ｌａｙｅｒ）は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）との間の差に関する情報を参照して前記類似度スコアを生成することを特徴とする。
一実施例において、前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする。
一実施例において、前記（ｂ）段階で、前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア（Ｉｎｔｅｇｒａｔｅｄ Ｓｃｏｒｅ）が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする。
一実施例において、前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）を参照して生成されることを特徴とする。
本発明の他の態様によると、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすためのテスト方法において、（１）学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つの学習用初期イメージ（Ｉｎｉｔｉａｌ Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）に変換させ、（２）前記学習装置が、（ｉ）前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）と、（ｉｉ）前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ Ｓｃｏｒｅ）と、（ｉｉｉ）前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ Ｌｏｓｓ）を生成させた状態で、テスト装置が、前記生成ネットワークに含まれている前記調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させる段階；を含むことを特徴とする。
本発明のまた他の態様によると、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすための学習装置において、インストラクションを格納する少なくとも一つのメモリと、（Ｉ）少なくとも一つの初期イメージ（Ｉｎｉｔｉａｌ Ｉｍａｇｅ）を取得すると、調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記初期イメージを少なくとも一つの調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）に変換させるプロセス、及び（ＩＩ）（ｉ）前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）と、（ｉｉ）前記初期イメージに含まれている少なくとも一つの初期物体（Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ Ｓｃｏｒｅ）と、（ｉｉｉ）前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ Ｌｏｓｓ）を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル（Ｒｅａｌ）イメージ又はバーチャル（Ｆａｋｅ）イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする。
一実施例において、前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも１つの調整物体（Ａｄｊｕｓｔｅｄ Ｏｂｊｅｃｔ）に該当する少なくとも１つのＲＯＩに対する少なくとも１つのクラススコア（Ｃｌａｓｓ Ｓｃｏｒｅ）を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記生成ネットワークに含まれている比較レイヤ（Ｃｏｍｐａｒｉｎｇ Ｌａｙｅｒ）は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）との間の差に関する情報を参照して前記類似度スコアを生成することを特徴とする。
一実施例において、前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする。
一実施例において、前記（ＩＩ）プロセスで、前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア（Ｉｎｔｅｇｒａｔｅｄ Ｓｃｏｒｅ）が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする。
一実施例において、前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）を参照して生成されることを特徴とする。
本発明の他の態様によると、ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすためのテスト装置において、インストラクションを格納する少なくとも一つのメモリと、（１）学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つの学習用初期イメージ（Ｉｎｉｔｉａｌ Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）に変換させ、（２）前記学習装置が、（ｉ）前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）と、（ｉｉ）前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ Ｓｃｏｒｅ）と、（ｉｉｉ）前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ Ｌｏｓｓ）を生成させた状態で、前記生成ネットワークに含まれている前記調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする。
本発明は、ＲＧＢフォーマットであるトレーニングイメージのセットをサイクルＧＡＮを利用して非ＲＧＢフォーマットに変換して非ＲＧＢフォーマットのトレーニングイメージセットに生じる問題を緩和させる効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図１は、本発明の一実施例によるジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させる過程でワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲を、ＧＡＮを利用して減らす方法を遂行するための学習装置の構成を簡略に示した図面である。 図２は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、ＧＡＮを利用して減らすプロセスを簡略に示した図面である。 図３は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、ＧＡＮを利用して減らすプロセスの効果を簡略に示した図面である。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例によるジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させる過程でワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲を、ＧＡＮを利用して減らす方法を遂行するための学習装置の構成を簡略に示した図面である。
図１を参照すると、学習装置１００は、追って詳細に説明する構成要素である生成ネットワーク１３０と、判別ネットワーク１４０と、物体検出ネットワーク１５０とを含むことができる。生成ネットワーク１３０、判別ネットワーク１４０及び物体検出ネットワーク１５０の入出力及び演算の過程は、それぞれ通信部１１０及びプロセッサ１２０によって行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は後述する様々なインストラクション（Ｉｎｓｔｒｕｃｔｉｏｎ）を格納した状態であり得、プロセッサ１２０は、メモリ１１５に格納されたインストラクションを遂行することができ、追って説明するプロセスを遂行することによって本発明を遂行することができる。このように学習装置１００が描写されたからといって、学習装置１００が本発明を実施するためのプロセッサ、メモリ、媒体又は他の学習装置の全ての組み合わせを含む統合プロセッサ（Ｉｎｔｅｇｒａｔｅｄ Ｐｒｏｃｅｓｓｏｒ）を含む場合を排除するわけではない。
以上、ＧＡＮを利用してジッタリングが起きたイメージを安定化させるプロセスで生成された、ワーピングされたイメージ内に発生した歪曲を減らすための学習方法を遂行する学習装置１００の構成を考察した。以下、前記学習方法について図２を参照して検討することにする。
図２は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、ＧＡＮを利用して減らす方法を学習するプロセスを簡略に示した図面である。
図２を参照すると、少なくとも一つの初期イメージが生成ネットワーク１３０に入力されると、生成ネットワーク１３０に含まれている調整レイヤ１３１により少なくとも一つの調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）が生成され得る。以後、生成ネットワーク１３０に含まれているロスレイヤ１３３が、（ｉ）生成ネットワーク１３０に含まれている比較レイヤ１３２と、判別ネットワーク１４０と、物体検出ネットワーク１５０とによって生成された調整イメージに対するスコアを取得し、（ｉｉ）前記スコアを参照して生成ネットワークロスを生成した後、（ｉｉｉ）これをバックプロパゲーションすることによって生成ネットワーク１３０のパラメータを学習することができる。
具体的に、学習装置１００は、初期イメージを取得することができる。初期イメージは、ジッタリングが起きたイメージからジッタリングを除去するプロセスを通じて生成された安定化したイメージのうち一つであり得る。この場合、前記ジッタリング除去プロセスは、ジッタリングが起きたイメージを複数のグリッドに分けるプロセスと、カメラが揺れて発生したグリッドの動きを示すジッタリングベクトルを算出するプロセスと、それぞれのジッタリングベクトルのそれぞれの逆方向にそれぞれのグリッドを動かすジッタリングイメージをワーピングするプロセスとを含むことができる。問題は、ワーピングプロセスが他の方向にグリッドを移動させて安定化したイメージ上に一部歪曲現象を引き起こし得るという点である。よって、このような過程を経て生成された初期イメージは、その内部の物体の形が一部歪曲している状態であり得る。
少なくとも一つの初期イメージが取得されると、学習装置１００は、生成ネットワーク１３０をもって初期イメージを少なくとも一つの調整イメージに変換させることができる。具体的に、学習装置１００は、生成ネットワーク１３０に含まれている調整レイヤ１３１をもって、初期イメージに含まれているピクセルに対応する初期特徴値の少なくとも一部を調整することによって初期イメージを調整イメージに変換させることができる。
調整レイヤ１３１は、初期特徴値に対してコンボリューション演算及びデコンボリューション演算を少なくとも一回ずつ適用することによって初期イメージを調整イメージに変換することができるであろう。この際、初期特徴値は、初期イメージがＲＧＢフォーマットとして表現されている場合、色相値を含むことができる。初期イメージがＲＧＢフォーマットでない場合、該当フォーマットの値を含むことができる。また、初期イメージが複数チャンネルの値を含んでいるのであれば、初期値もこれを含むことができる。
以後、調整イメージは、生成ネットワーク１３０に含まれている比較レイヤ１３２と、判別ネットワーク１４０と、物体検出ネットワーク１５０とに伝達された後、生成ネットワークロスを生成するためのそれぞれのスコアを生成するのに使用されるようになる。以下、それぞれのスコアを生成するプロセスについて説明するが、まず、判別ネットワーク１４０により遂行されるプロセスについて説明することにする。
第一に、判別ネットワーク１４０は、調整イメージがリアル（Ｒｅａｌ）イメージと判断される、少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）を生成することができる。具体的に、判別ネットワーク１４０は、調整イメージにコンボリューション演算を少なくとも一回適用することによって調整イメージに対応する特徴マップ（Ｆｅａｔｕｒｅ Ｍａｐ）を生成し、これを参照して、調整イメージがリアルイメージ又はバーチャル（Ｆａｋｅ）イメージであるのかを表す少なくとも一つの確率を判断することによって、自然度スコアを生成することができる。自然度スコアを生成するために、判別ネットワーク１４０は、生成ネットワーク１３０と並列して学習され得る。
具体的に、生成ネットワーク１３０により生成された調整イメージが取得される間、判別ネットワーク１４０は、それ自体に入力されたイメージが調整イメージであるのか学習用リアルイメージであるのかを表す学習用リアルイメージと、これに対応する原本正解とをさらに取得することができる。この際、それぞれの原本正解は、それぞれに対応するイメージがリアルイメージであるのかバーチャルイメージであるのかを示す。以後、判別ネットワーク１４０は、調整イメージと学習用リアルイメージとを含んでそれ自体に入力されたそれぞれのイメージに対してコンボリューション演算を少なくとも一回適用して生成されたそれぞれの特徴マップを参照して、それ自体に入力されたイメージがリアルイメージであるのかバーチャルイメージであるのかを判断することができる。判別ネットワーク１４０は、判断の結果とそれに対応する原本正解とを参照して判別ネットワークロスを生成した後、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習することができる。
このような学習プロセスを通じて、判別ネットワーク１４０は、生成ネットワーク１３０と並列して学習され得るようになる。
ただし、その他の実施例として、判別ネットワーク１４０は調整イメージのサブ領域（Ｓｕｂ−ｒｅｇｉｏｎ）がリアルイメージであるのか又はバーチャルイメージであるのかを表す確率を決定することができ、この確率を参照して自然度スコアを生成することができる。この際、サブ領域は、「スライディングウィンドウ（Ｓｌｉｄｉｎｇ Ｗｉｎｄｏｗ）」と呼ばれる方法により選択され得る。詳細には、第１サブ領域が調整イメージ内に選択され得、第１サブ領域等を少しずつ動かして行って第２サブ領域を選択することができる。
第二に、物体検出ネットワーク１５０は、初期イメージに含まれている少なくとも一つの初期物体が固有の特性が保持された状態で調整イメージに含まれているのかを表す、少なくとも一つの特性保持スコアを生成することができる。具体的に、物体検出ネットワーク１５０は、（ｉ）ＲＰＮからそれ自体に入力されたイメージ上のそれぞれのＲＯＩを取得することができ、（ｉｉ）それぞれのＲＯＩに対してコンボリューション演算を少なくとも一回適用することによってそれぞれの特徴マップを生成した後、（ｉｉｉ）それぞれの特徴マップに対してＦＣ演算を適用することによってそれぞれのＲＯＩに含まれるそれぞれの物体のクラスに対応する確率を含むそれぞれのクラススコアを生成することができる。この際、クラススコアに関する特定の情報を、例を挙げて説明すると、物体検出ネットワーク１５０が検出する物体を歩行者クラスと、自動車クラスと、背景クラスとを含む３つのクラスに分類すれば、特定の物体に対応する特定のクラススコアは、第一に特定ＲＯＩに含まれている特定の物体が歩行者である確率、第二に特定の物体が自動車である確率、及び第三に特定の物体が背景である確率である３つの構成要素を含むことができる。残りのクラススコアがほぼ同様に生成された後、物体検出ネットワーク１５０は、それぞれのクラススコアを参照して特性保持スコアを生成することができる。
一例として、特性保持スコアは、それぞれのクラススコアに対応する、それぞれの部分特性保持スコアの和として算出され得る。この場合、前記特定の物体に対応する部分特性保持スコアのうち特定の部分特性保持スコアは、（ｉ）特定の物体が背景クラスでない物体クラスに含まれる確率のうち最も大きい値と（ｉｉ）特定の物体が背景クラスに含まれる確率と１との間の差を足し合わせて算出することができる。たとえば、特定のクラススコアが（０．７、０．２、０．１）であれば、特定の一部特性保持スコアは０．７＋（１−０．１）＝１．６と計算されるはずである。
前記判別ネットワーク１４０と異なり、物体検出ネットワーク１５０は、生成ネットワーク１３０と並列して学習するのではなく、生成ネットワーク１３０の学習過程が遂行される以前にすでに学習されたものであり得る。
最後に、比較レイヤ１３２は、初期イメージ及び調整イメージ間の類似する程度を表す類似度スコアを生成することができる。具体的に、比較レイヤ１３２は、初期特徴値と、これに対応する、調整イメージに含まれている調整特徴値との間の差に関する情報を生成した後、これを利用して類似度スコアを生成することができる。
例示として、比較レイヤ１３２は、それぞれの初期特徴値と、それに対応するそれぞれの調整特徴値との間のそれぞれのユークリッド距離（Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）を算出して差に関する情報を生成することができ、構成要素がすべて０である元来の地点からそれぞれの初期特徴値までのそれぞれのユークリッド距離を足し合わせて和の情報（Ｓｕｍ Ｉｎｆｏｒｍａｔｉｏｎ）を生成することができる。その後、比較レイヤ１３２は、差に関する情報を前記和で割った後、これを１から引くことによって、類似度スコアを生成することができる。
以上、自然度スコア、特性保持スコア、類似度スコアを生成する方法について具体的に考察してみた。このようなスコアがどのように使用されるのかに関する説明は、以下、ロスレイヤ１３３について説明しつつ併せて詳細に説明する。
学習装置１００は、ロスレイヤ１３３をもって、自然度スコアと、特性保持スコアと、類似度スコアとを参照して生成ネットワークロスを生成させることができる。生成ネットワークロスは、統合スコアが大きくなるように生成ネットワーク１３０に含まれているパラメータが学習されるようにすることができる。この際、統合スコアは、少なくとも一つの自然度スコアと、特性保持スコアと、類似度スコアとを参照して算出され得る。例示として、統合スコアは、自然度スコアと、特性保持スコアと、類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）を参照して生成され得る。ロスレイヤは、下記の数式によって生成ネットワークロスを生成することができる。
Figure 0006856853
 前記数式でＥ1（Ｇ）は自然度スコアを意味し、Ｅ2（Ｇ）は特性保持スコアを意味し、Ｅ3（Ｇ）は類似度スコアを意味し得る。そして、αとβとはそれぞれの項（Ｔｅｒｍ）に対応する重み付け値を意味する。
第一に、Ｅ1（Ｇ）は、上記で見られるように基本的な実施例では、「スライディングウィンドウ」と呼ばれる方法を利用する場合、
Figure 0006856853
 であり得、又は単にＤ（Ｇ（Ｉ））として与えられ得るが、これは、判別ネットワーク１４０が調整イメージをリアルイメージとして判断する確率を表す。「スライディングウィンドウ」という方法を用いる場合には、
Figure 0006856853
 項は、調整イメージに含まれるそれぞれのサブ領域がリアルイメージ又はバーチャルイメージであるそれぞれの確率を足し合わせて、その結果として生じた値を正規化（Ｎｏｍａｌｉｚｉｎｇ）するためのものである。Ｋｗは前記サブ領域の幅、Ｋhは前記サブ領域の高さを意味し、Ｗは調整イメージの幅、Ｈは調整イメージの高さを意味する。Ｓｘは前記サブ領域の左辺と調整イメージ左辺との間の距離を意味し、Ｓｙは前記サブ領域の上辺と調整イメージの上辺との間の距離を意味する。数式によってＥ1（Ｇ）は、以前に説明したような機能をすることができる。
第二に、Ｅ2（Ｇ）で、
Figure 0006856853
 項は第ｉ物体が背景クラスでない物体クラスに含まれるものと判断される確率のうち最も大きい値を意味し、
Figure 0006856853
 項は１から、第ｉ物体が背景クラスに含まれるものと判断される確率を引いた値を意味する。この場合、
Figure 0006856853
 は、第ｉ物体を含むバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）の位置を意味し得る。
第三に、Ｅ3（Ｇ）で、Iは初期特徴値に対応するベクトル、G(I)は調整特徴値に対応するベクトルを意味する。
このように、統合スコアが大きくなるようにする方向に生成ネットワークロスを生成する理由について、以下で説明することにする。
第一に、自然度スコアを高くなるようにすることによって、調整イメージがより自然に見えるようにする。調整イメージに含まれている物体が歪曲されれば、調整イメージは自然であるように見えない。調整イメージに含まれている物体の歪曲が少ないほど、ディスクリミネーティングネットワーク１４０は、調整イメージがリアルイメージである確率を高く評価するので、自然度スコアが高くなり得る。そうすると、自然度スコアが大きくなって、調整イメージに含まれている初期物体の歪曲を減らすことができる。
第二に、特性保持スコアを高くすることによって、調整イメージに含まれている物体がそれ自体の特性を十分に保持することができる。物体検出ネットワーク１５０が、調整イメージに含まれている物体を容易に検出するほど、特性保持スコアが高くなり得る。そのため、特性保持スコアが高くなるようにすることによって、初期物体の特性が調整プロセスの後にも十分に保持されるようにし得るのである。
第三に、類似度スコアが高くなるようにすることによって、調整イメージにおいて初期物体に対応しない新たな物体が生成されるのを防ぐことができる。類似度スコアなしに自然度スコアと特性保持スコアのみを使用するようになると、調整レイヤ１３１のパラメータは歪曲された初期物体を調整するだけでなく、調整イメージ内に新たな物体を生成する方向に学習され得るからである。よって、類似度スコアが高くなるようにすることによって、望まない新たな物体が調整イメージ上に生成されるのを防ぐことができるのである。
先に説明したように、自然度スコアと、特性保持スコアと、類似度スコアとのうち少なくとも一部の加重和を参照して統合スコアを生成することができる。この際、それぞれのスコアに対応するそれぞれの重み付け値はユーザが調整することができる。例えば、初期イメージと調整イメージとがあまりにも類似していることから物体の歪曲が減らない場合、類似度スコアに対する重み付け値を減らすことができる。
前記のような方法によって生成ネットワークロスが生成されると、学習装置１００は、ロスレイヤ１３３をもって、生成ネットワークロスをバックプロパゲーションすることによって生成ネットワーク１３０のパラメータを学習させることができる。
参考までに、以下の説明で混同を避けるために「学習用」という文句は、前述の学習プロセスに関する用語に対して追加され、「テスト用」という文句はテストプロセスに関する用語に対して追加される。
具体的に、（１）少なくとも一つの学習用初期イメージが取得されると、学習装置が、生成ネットワーク１３０に含まれている調整レイヤ１３１をもって、学習用初期イメージ（Ｉｎｉｔｉａｌ Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）に変換させ、（２）学習装置が、（ｉ）学習用調整イメージが判別ネットワークによってリアルイメージであるものと判断される、少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）と、（ｉｉ）学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ）が固有の特性が保持された状態で学習用調整イメージに含まれているのかを表す、少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ Ｓｃｏｒｅ）と、（ｉｉｉ）学習用初期イメージ及び学習用調整イメージ間の類似する程度を表す、少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）とのうち少なくとも一部を参照して生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ Ｌｏｓｓ）を生成させた状態で、少なくとも一つのテスト用初期イメージが取得されると、テスト装置が、生成ネットワーク１３０に含まれている調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させてテスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させることができる。
テストプロセスにおいて、前述した学習装置１００の構成で、ディスクリミネーティングネットワーク１４０と、物体検出ネットワーク１５０と、生成ネットワーク１３０とに含まれている比較レイヤ１３２及びロスレイヤ１３３は、除外された状態であり得る。
このようにテストする場合の効果を検討するために、図３を参照することにする。
図３は、本発明の一実施例によるジッタリングが起きたイメージを安定化させる過程でワーピングされたイメージに発生した歪曲を、ＧＡＮを利用して減らすプロセスの効果を簡略に示した図面である。
図３を参照すると、先に言及したとおり、初期物体はイメージワーピングのために歪曲されたことを確認することができる。この際、本発明の一実施例による方法を初期イメージに適用すると、初期イメージが図３のように歪曲が大幅に減った調整イメージに変換され得る。
本発明は、ＧＡＮを利用して歪曲を減らすことによってジッタリングが起きたイメージを安定化させるプロセス中に生成された、ワーピングされたイメージに発生した歪曲の問題を緩和することができるポジティブな効果がある。
本発明の一実施例による方法は、極限状況において、フォールトトレランス（Ｆａｕｌｔ Ｔｏｌｅｒａｎｃｅ）及びフラクチュエーションロバスト性（Ｆｌｕｃｔｕａｔｉｏｎ Ｒｏｂｕｓｔｎｅｓｓ）を向上させるのに使用され得、行動予測、超精密物体の検出又は追跡に使用されてもよい。
本発明の技術分野における通常の技術者に理解され得るところとして、前記で説明されたイメージ、例えば、オリジナルイメージ、オリジナルラベル及び追加ラベルのようなイメージデータの送受信が学習装置及びテスト装置の各通信部により行われ得、特徴マップと演算を遂行するためのデータが学習装置及びテスト装置のプロセッサ（及び／又はメモリ）によって保有／保持され得、コンボリューション演算、デコンボリューション演算、ロス値演算の過程が主に学習装置及びテスト装置のプロセッサによって遂行され得るが、本発明がこれに限定されはしないであろう。
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であると、かかる記載から多様な修正及び変形が行われ得る。
従って、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (18)

  1. ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすための学習方法において、
    （ａ）少なくとも１つの初期イメージ（Ｉｎｉｔｉａｌ Ｉｍａｇｅ）を取得すると、学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記初期イメージを少なくとも１つの調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）に変換させる段階；及び
    （ｂ）前記学習装置が、（ｉ）前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）と、（ｉｉ）前記初期イメージに含まれている少なくとも一つの初期物体（Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ Ｓｃｏｒｅ）と、（ｉｉｉ）前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ Ｌｏｓｓ）を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させる段階；
    を含むことを特徴とする方法。
  2. 前記（ｂ）段階で、
    前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル（Ｒｅａｌ）イメージ又はバーチャル（Ｆａｋｅ）イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする請求項１に記載の方法。
  3. 前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする請求項２に記載の方法。
  4. 前記（ｂ）段階で、
    前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも１つの調整物体（Ａｄｊｕｓｔｅｄ Ｏｂｊｅｃｔ）に該当する少なくとも１つのＲＯＩに対する少なくとも１つのクラススコア（Ｃｌａｓｓ Ｓｃｏｒｅ）を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする請求項１に記載の方法。
  5. 前記（ｂ）段階で、
    前記生成ネットワークに含まれている比較レイヤ（Ｃｏｍｐａｒｉｎｇ Ｌａｙｅｒ）は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）との間の差に関する情報を参照して、前記類似度スコアを生成することを特徴とする請求項１に記載の方法。
  6. 前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする請求項５に記載の方法。
  7. 前記（ｂ）段階で、
    前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア（Ｉｎｔｅｇｒａｔｅｄ Ｓｃｏｒｅ）が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする請求項１に記載の方法。
  8. 前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）を参照して生成されることを特徴とする請求項７に記載の方法。
  9. ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすためのテスト方法において、
    （１）学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つの学習用初期イメージ（Ｉｎｉｔｉａｌ Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）に変換させ、（２）前記学習装置が、（ｉ）前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）と、（ｉｉ）前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ Ｓｃｏｒｅ）と、（ｉｉｉ）前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ Ｌｏｓｓ）を生成させた状態で、テスト装置が、前記生成ネットワークに含まれている前記調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させる段階；
    を含むことを特徴とするテスト方法。
  10. ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすための学習装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （Ｉ）少なくとも一つの初期イメージ（Ｉｎｉｔｉａｌ Ｉｍａｇｅ）を取得すると、調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、前記初期イメージに含まれているピクセルに対応する少なくとも一部の初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記初期イメージを少なくとも一つの調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）に変換させるプロセス、及び（ＩＩ）（ｉ）前記調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）と、（ｉｉ）前記初期イメージに含まれている少なくとも一つの初期物体（Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ Ｓｃｏｒｅ）と、（ｉｉｉ）前記初期イメージ及び前記調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）とのうち少なくとも一部を取得すると、前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとを参照して生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ Ｌｏｓｓ）を生成させ、前記生成ネットワークロスをバックプロパゲーションすることによって前記生成ネットワークのパラメータを学習させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
  11. 前記（ＩＩ）プロセスで、
    前記判別ネットワークは、前記調整イメージに対応する特徴マップを参照して、前記調整イメージがリアル（Ｒｅａｌ）イメージ又はバーチャル（Ｆａｋｅ）イメージに該当するのかに関する少なくとも一つの前記確率を判断し、これを通じて前記自然度スコアを生成することを特徴とする請求項１０に記載の装置。
  12. 前記判別ネットワークは、前記調整イメージと、追加して取得された少なくとも一つの学習用リアルイメージ（Ｒｅａｌ Ｉｍａｇｅ）と、これに対応する原本正解とを参照して判別ネットワークロスを生成し、これをバックプロパゲーションすることによって判別ネットワークのパラメータを学習して、前記調整イメージを含む少なくとも一つの入力されたイメージがリアルイメージまたはバーチャルイメージに該当する確率を判断させることを特徴とする請求項１１に記載の装置。
  13. 前記（ＩＩ）プロセスで、
    前記物体検出ネットワークは、前記調整イメージに含まれている少なくとも１つの調整物体（Ａｄｊｕｓｔｅｄ Ｏｂｊｅｃｔ）に該当する少なくとも１つのＲＯＩに対する少なくとも１つのクラススコア（Ｃｌａｓｓ Ｓｃｏｒｅ）を生成し、前記クラススコアを参照して前記特性保持スコアを生成することを特徴とする請求項１０に記載の装置。
  14. 前記（ＩＩ）プロセスで、
    前記生成ネットワークに含まれている比較レイヤ（Ｃｏｍｐａｒｉｎｇ Ｌａｙｅｒ）は、前記初期特徴値と、これに対応する、前記調整イメージに含まれている調整特徴値（Ａｄｊｕｓｔｅｄ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）との間の差に関する情報を参照して前記類似度スコアを生成することを特徴とする請求項１０に記載の装置。
  15. 前記類似度スコアは、前記初期特徴値をさらに参照して生成されることを特徴とする請求項１４に記載の装置。
  16. 前記（ＩＩ）プロセスで、
    前記生成ネットワークロスは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部を参照して算出された統合スコア（Ｉｎｔｅｇｒａｔｅｄ Ｓｃｏｒｅ）が大きくなるように前記生成ネットワークに含まれているパラメータが学習されるようにすることを特徴とする請求項１０に記載の装置。
  17. 前記統合スコアは、前記自然度スコアと、前記特性保持スコアと、前記類似度スコアとのうち少なくとも一部の加重和（Ｗｅｉｇｈｔｅｄ Ｓｕｍ）を参照して生成されることを特徴とする請求項１６に記載の装置。
  18. ジッタリング（Ｊｉｔｔｅｒｉｎｇ）が起きたイメージを安定化させるプロセスで生成されたワーピングされた（Ｗａｒｐｅｄ）イメージに発生した歪曲（Ｄｉｓｔｏｒｔｉｏｎ）を、生成ネットワーク（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ）と判別ネットワーク（Ｄｉｓｃｒｉｍｉｎａｔｉｎｇ Ｎｅｔｗｏｒｋ）とを含むＧＡＮを利用して減らすためのテスト装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    （１）学習装置が、調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つの学習用初期イメージ（Ｉｎｉｔｉａｌ Ｉｍａｇｅ）に含まれているピクセルに対応する少なくとも一部の学習用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記学習用初期イメージを少なくとも一つの学習用調整イメージ（Ａｄｊｕｓｔｅｄ Ｉｍａｇｅ）に変換させ、（２）前記学習装置が、（ｉ）前記学習用調整イメージが前記判別ネットワークによりリアルイメージであるものと判断される少なくとも一つの確率を表す少なくとも一つの自然度スコア（Ｎａｔｕｒａｌｉｔｙ Ｓｃｏｒｅ）と、（ｉｉ）前記学習用初期イメージに含まれている少なくとも一つの学習用初期物体（Ｉｎｉｔｉａｌ Ｏｂｊｅｃｔ）が固有の特性が保持された状態で前記学習用調整イメージに含まれているのかを表す少なくとも一つの特性保持スコア（Ｍａｉｎｔｅｎａｎｃｅ Ｓｃｏｒｅ）と、（ｉｉｉ）前記学習用初期イメージ及び前記学習用調整イメージ間の類似する程度を表す少なくとも一つの類似度スコア（Ｓｉｍｉｌａｒｉｔｙ Ｓｃｏｒｅ）とのうち少なくとも一部を参照して前記生成ネットワークに含まれているロスレイヤ（Ｌｏｓｓ Ｌａｙｅｒ）をもって生成ネットワークロス（Ｇｅｎｅｒａｔｉｎｇ Ｎｅｔｗｏｒｋ Ｌｏｓｓ）を生成させた状態で、前記生成ネットワークに含まれている前記調整レイヤ（Ａｄｊｕｓｔｉｎｇ Ｌａｙｅｒ）をもって、少なくとも一つのテスト用初期イメージに含まれているピクセルに対応する少なくとも一部のテスト用初期特徴値（Ｉｎｉｔｉａｌ Ｆｅａｔｕｒｅ Ｖａｌｕｅ）を調整させて前記テスト用初期イメージを少なくとも一つのテスト用調整イメージに変換させるプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とするテスト装置。
JP2020004558A 2019-01-28 2020-01-15 極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ｇａｎを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置 Active JP6856853B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/258,820 2019-01-28
US16/258,820 US10380724B1 (en) 2019-01-28 2019-01-28 Learning method and learning device for reducing distortion occurred in warped image generated in process of stabilizing jittered image by using GAN to enhance fault tolerance and fluctuation robustness in extreme situations

Publications (2)

Publication Number Publication Date
JP2020119555A JP2020119555A (ja) 2020-08-06
JP6856853B2 true JP6856853B2 (ja) 2021-04-14

Family

ID=67543705

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020004558A Active JP6856853B2 (ja) 2019-01-28 2020-01-15 極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ｇａｎを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置

Country Status (5)

Country Link
US (1) US10380724B1 (ja)
EP (1) EP3686837B1 (ja)
JP (1) JP6856853B2 (ja)
KR (1) KR102337381B1 (ja)
CN (1) CN111489298B (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI760657B (zh) * 2019-11-14 2022-04-11 和碩聯合科技股份有限公司 異常偵測模型的訓練方法及使用此方法的電子裝置
US20220414849A1 (en) * 2019-11-25 2022-12-29 Shenzhen Institutes Of Advanced Technology Chinese Academy Of Sciences Image enhancement method and apparatus, and terminal device
WO2021150033A1 (en) * 2020-01-23 2021-07-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device
CN111199550B (zh) * 2020-04-09 2020-08-11 腾讯科技（深圳）有限公司 图像分割网络的训练方法、分割方法、装置和存储介质
CN112016439B (zh) * 2020-08-26 2021-06-29 上海松鼠课堂人工智能科技有限公司 基于对抗神经网络的游戏化学习环境创建方法和系统
CN115239941B (zh) * 2022-07-25 2023-04-28 北京瑞莱智慧科技有限公司 对抗图像生成方法、相关装置及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013175003A (ja) * 2012-02-24 2013-09-05 Osaka Prefecture Univ Ｐｓｆ推定方法とそれを用いた劣化画像の復元方法およびこれらを記録したプログラムとそれを実行するコンピュータ装置
JP5762587B2 (ja) * 2013-04-15 2015-08-12 キヤノン株式会社 画像処理装置および画像処理方法
US10614287B2 (en) * 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
US10498962B2 (en) * 2015-07-22 2019-12-03 Sony Corporation Camera module that corrects for camera shake and optical-system distortion
WO2017020150A1 (zh) * 2015-07-31 2017-02-09 深圳市大疆创新科技有限公司 一种图像处理方法、装置及摄像机
CN105631808B (zh) * 2015-12-23 2018-10-19 浙江越剑智能装备股份有限公司 一种矫正自动验布机中布面抖动造成的图像畸变的方法
WO2018053340A1 (en) 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
US10713785B2 (en) * 2017-02-13 2020-07-14 Siemens Healthcare Gmbh Image quality assessment system and method
US20180336439A1 (en) * 2017-05-18 2018-11-22 Intel Corporation Novelty detection using discriminator of generative adversarial network
US10262243B2 (en) * 2017-05-24 2019-04-16 General Electric Company Neural network point cloud generation system
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
US10726304B2 (en) * 2017-09-08 2020-07-28 Ford Global Technologies, Llc Refining synthetic data with a generative adversarial network using auxiliary inputs
JP7242288B2 (ja) * 2018-12-25 2023-03-20 キヤノンメディカルシステムズ株式会社 医用画像診断装置及びモデル学習装置

Also Published As

Publication number Publication date
CN111489298A (zh) 2020-08-04
CN111489298B (zh) 2023-04-14
EP3686837B1 (en) 2021-11-24
US10380724B1 (en) 2019-08-13
KR20200093417A (ko) 2020-08-05
EP3686837A1 (en) 2020-07-29
KR102337381B1 (ko) 2021-12-10
JP2020119555A (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
JP6856853B2 (ja) 極限状況においてフォールトトレランス及びフラクチュエーションロバスト性を向上させるために、ジッタリングが起きたイメージを安定化させるプロセスで生成されたワーピングされたイメージに発生した歪曲を、ｇａｎを利用して減らすための学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
JP6895694B2 (ja) Ａｖｍ及び強化学習を利用して自律走行の安全性を達成するためのアテンション−ドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａｖｍａｎｄ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｔｏ ｔｈｅｒｅｂｙ ａｃｈｉｅｖｅ ｓａｆｅｔｙ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ｝
JP6886202B2 (ja) 仮想走行の環境で使用されるドメイン適応に適用され得るｇａｎを利用して、リアル特徴マップと同一または類似する特性を有するバーチャル特徴マップを生成する学習方法及び学習装置、そしてそれを利用したテスト方法及びテスト装置
JP6912835B2 (ja) 自律走行自動車のレベル４を満たすために要求されるｈｄマップアップデートに利用される、少なくとも一つのアダプティブロス重み付け値マップを利用したアテンションドリブン・イメージセグメンテーション学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
KR102337376B1 (ko) 레인 마스크(Lane Mask)를 사용하여 후처리 없이 입력 이미지에 포함된 하나 이상의 차선을 검출하는 방법 및 장치, 그리고 이를 이용한 테스트 방법 및 테스트 장치
US10373027B1 (en) Method for acquiring sample images for inspecting label among auto-labeled images to be used for learning of neural network and sample image acquiring device using the same
US9947077B2 (en) Video object tracking in traffic monitoring
CN111507906B (zh) 用用于容错及波动鲁棒性的神经网络除抖动的方法及装置
CN111489285B (zh) 利用循环gan将真实图像变换成虚拟图像的方法及装置
JP6957050B2 (ja) モバイルデバイスまたは小型ネットワークに適用可能なハードウェアを最適化するのに利用可能なｒｏｉをプーリングするために、マスキングパラメータを利用する方法及び装置、そしてこれを利用したテスト方法及びテスト装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｐｏｏｌｉｎｇ ｒｏｉ ｂｙ ｕｓｉｎｇ ｍａｓｋｉｎｇ ｐａｒａｍｅｔｅｒｓ ｔｏ ｂｅ ｕｓｅｄ ｆｏｒ ｍｏｂｉｌｅ ｄｅｖｉｃｅｓ ｏｒ ｃｏｍｐａｃｔ ｎｅｔｗｏｒｋｓ ｖｉａ ｈａｒｄｗａｒｅ ｏｐｔｉｍｉｚａｔｉｏｎ， ａｎｄ ｔｅｓｔｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｔｅｓｔｉｎｇ ｄｅｖｉｃｅ ｕｓｉｎｇ ｔｈｅ ｓａｍｅ｝
JP6892158B2 (ja) オンデバイス独立型予測に基づいて自律走行車両のモードを切り換えることによって自律走行の安全性を図る学習方法及び学習装置、そしてこれを利用したテスティング方法及びテスティング装置
JP6916548B2 (ja) 自律走行自動車のレベル４を満たすために必要なｈｄマップとのコラボレーションを支援するエンベディングロス及びソフトマックスロスを利用して少なくとも一つの車線を有するイメージをセグメンテーションする学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
CN111507459B (zh) 降低神经网络的注解费用的方法和装置
CN111507159A (zh) 提供自动驾驶安全性的方法和装置
US10402686B1 (en) Learning method and learning device for object detector to be used for surveillance based on convolutional neural network capable of converting modes according to scales of objects, and testing method and testing device using the same
JP6890855B2 (ja) Ａｖｍを利用して自律走行の安全性を達成するためのアテンションドリブンアルゴリズムを利用したリソース割り当てのための方法及び装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｂｙ ｕｓｉｎｇ ａｖｍ ｔｏ ｔｈｅｒｅｂｙ ａｃｈｉｅｖｅ ｓａｆｅｔｙ ｏｆ ａｕｔｏｎｏｍｏｕｓ ｄｒｉｖｉｎｇ｝
CN114529890A (zh) 状态检测方法、装置、电子设备及存储介质
CN118072196A (zh) 一种基于YOLOv5改进的远距离岸滩障碍物目标识别方法及系统
CN113379001B (zh) 针对图像识别模型的处理方法及装置
KR102543272B1 (ko) 영역 기반 안개 제거 방법 및 그 장치
CN113592752B (zh) 一种基于对抗网络的道路交通光污损图像增强方法及装置
CN118072278A (zh) 对象检测方法、对象检测设备以及其非暂时性存储媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210218

R150 Certificate of patent or registration of utility model

Ref document number: 6856853

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250