TW202407555A - 資訊處理裝置、資訊處理方法、及記錄媒體 - Google Patents

Abstract

[課題]容易取得適合AI之使用案例的影像。 [解決手段]本技術的資訊處理裝置，係具備：選擇部，係從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇學習模型之學習時所被使用之學習影像。本技術係可適用於例如，生成由大量的學習影像所構成之資料集的資料集生成裝置。

Description

資訊處理裝置、資訊處理方法、及記錄媒體

本技術係有關於資訊處理裝置、資訊處理方法、及記錄媒體，特別是有關於，能夠容易取得適合AI之使用案例的影像的資訊處理裝置、資訊處理方法、及記錄媒體。

近年來，為了AI(Artificial Intelligence)的學習等用途之目的，而會需要準備由大量的影像所構成的資料集。例如，專利文獻1中係記載了，將從資料來源所收集到的原始資料進行分類並生成資料集的資料管理系統。 [先前技術文獻] [專利文獻]

[專利文獻1]日本特開2021-068181號公報

[發明所欲解決之課題]

在專利文獻1所記載的資料管理系統中，係從拍攝實際的風景、並在網際網路上被公開的影像中，找出適切的影像，利用被公開在Web網站上的資料集，必須由使用者自己以這類方法，來收集適合於AI學習的大量之影像。

在這些方法中，在收集大量之影像上需要花費勞力，且所收集到的影像對於AI之使用案例而言有時候並不一定適切。

本技術係有鑑於此種狀況而研發，目的在於，能夠容易取得適合AI之使用案例的影像。 [用以解決課題之手段]

本技術之一側面的資訊處理裝置，係具備：選擇部，係從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇前記學習模型之學習時所被使用之學習影像。

本技術之一側面的資訊處理方法，係由資訊處理裝置，從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇前記學習模型之學習時所被使用之學習影像。

本技術之一側面的記錄媒體，係記錄有程式，其係令以下處理被執行：從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇前記學習模型之學習時所被使用之學習影像。

於本技術之一側面中，係從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，前記學習模型之學習時所被使用之學習影像會被選擇。

以下，說明用以實施本技術的形態。說明是按照以下順序進行。 1.AI學習系統的概要 2.關於GUI 3.資料集生成裝置的構成與動作 4.變形例

＜1.AI學習系統的概要＞ 圖1係為本技術的一實施形態所述之AI學習系統的構成例的圖示。

如圖1所示，AI學習系統係由資料集生成裝置1和學習裝置2所構成。

資料集生成裝置1，係將用來輸入AI之使用案例等所需之GUI(Graphical User Interface)加以顯示，並將由相應於使用案例之複數個學習影像所構成的資料集予以生成的資訊處理裝置。學習影像，係為AI之學習時所被使用之影像。資料集係藉由例如，從資料集生成裝置1所預先保持的影像群之中，將適合於使用案例的影像當作學習影像而加以選擇，而被生成。

於資料集生成裝置1中，使用CG而被生成的影像或藉由實拍而被拍攝的影像、與對應於各影像的詮釋資料，係被登錄在資料庫中。對應於各影像的詮釋資料，係包含：表示影像中所拍到的被攝體之種類或背景之種類的資訊、對應於影像的景深地圖、對影像的切割結果等。資料庫中所被登錄的影像，係亦可由靜止影像所構成，亦可由動態影像所構成。

資料集生成裝置1，係將已生成的資料集，供給至學習裝置2。

學習裝置2，係使用從資料集生成裝置1所被供給之資料集來實施學習，生成含有AI(學習模型)的AI引擎。學習裝置2，係亦可使用從資料集生成裝置1所被供給之資料集來進行AI之再學習。

此外，亦可為，學習裝置2是具備資料集生成裝置1的構成。此情況下，亦可為，一旦使用者使用GUI而輸入使用案例，則學習裝置2就可生成資料集而進行AI之學習。

參照圖2，說明資料集生成裝置1生成資料集的流程。

於步驟S1中，使用者係使用藉由資料集生成裝置1而被顯示的GUI，將用來生成資料集所需之各種設定，進行輸入。

於步驟S2乃至S4中，資料集生成裝置1，係將共通設定、使用案例、及使用者設定之輸入，透過GUI而受理。

於步驟S5中，資料集生成裝置1，係進行資料集生成。藉由資料集生成，透過GUI而被輸入的共通設定、使用案例、及使用者設定所相應的影像，係從被登錄在資料庫中的影像群之中，被當作學習影像而選擇，影像資料集和詮釋資料集係被生成。影像資料集，係由複數個學習影像所構成的資料集，詮釋資料集，係由複數個學習影像所分別對應之詮釋資料所構成的資料集。關於資料集生成的細節，係參照圖4而後述。

於步驟S6中，資料集生成裝置1，係在GUI上進行學習影像的預覽顯示。

於步驟S7中，使用者，係觀看GUI上的學習影像的預覽顯示，判斷藉由資料集生成裝置1而被生成的影像資料集是否已經成為所望之資料集。

於步驟S7中判斷為影像資料集尚未成為所望之資料集的情況下，則回到步驟S1，使用者係使用GUI而將設定予以再次輸入、變更。例如，使用者係可將欲追加至影像資料集的影像也就是追加影像進行輸入，或將3DCG場景予以輸入。

於步驟S8中，資料集生成裝置1，係將追加影像之輸入，透過GUI而受理。此處，例如表示是否將追加影像以資料庫之影像進行置換的選項，亦可連同追加影像而被一併輸入。

於步驟S9中，資料集生成裝置1，係基於選項，來判定是否將追加影像以資料庫之影像進行置換。

於步驟S8中判定為要將追加影像以資料庫之影像進行置換的情況下，則於步驟S5的資料集生成時，資料集生成裝置1，係基於追加影像，而從資料庫中所保持的影像群之中，選擇出要追加至影像資料集的影像。具體而言，資料集生成裝置1，係從資料庫中所保持的影像群之中，檢索出與追加影像相似的影像(類似影像)並追加至影像資料集。

另一方面，於步驟S8中判定為不要將追加影像以資料庫之影像進行置換的情況下，則資料集生成裝置1，係將追加影像直接追加至影像資料集，於步驟S6中進行學習影像的預覽顯示。

於步驟S10中，資料集生成裝置1，係將3DCG場景之輸入，透過GUI而受理。在3DCG場景之輸入中，含有例如CG(Computer Graphics)之3D模型(CG模型)的3DCG場景檔案與渲染之設定，係被輸入至資料集生成裝置1。此處，所謂CG之3D模型，係指被形成在虛擬空間內的3維物體與週邊環境之模型。

於步驟S11中，資料集生成裝置1，係使用3DCG場景檔案來進行渲染以生成渲染影像，並將渲染影像追加至影像資料集。其後，於步驟S6中，資料集生成裝置1，係進行學習影像的預覽顯示。

此外，使用者，係可將共通設定、使用案例、使用者設定、追加影像、及3DCG場景之輸入，以任意之順序而加以進行。

使用者，係如以上般地在觀看每次輸入各設定時就被更新的學習影像的預覽顯示，在判斷為影像資料集已經成為所望之資料集的情況下，按下GUI上的相機模擬的執行鈕。關於相機模擬的執行鈕按下後的流程，係參照圖6而於後述。

圖3係為各設定的輸入介面之例子、與各設定中所被輸入的資訊之例子的圖示。

如圖3所示，共通設定之輸入，係使用文字方塊或下拉式選單、小圖示等之輸入介面而被進行。在共通設定之輸入中，關於相機模擬用之相機的資訊(相機資訊)，所被輸出的學習影像之張數，所被輸出的學習影像之解析度，所被輸出的影像之形式，作為學習影像是希望用實拍之影像還是CG之影像之哪一影像，是否進行擴增等，係被輸入。

使用案例之輸入，係使用文字方塊或下拉式選單、小圖示等之輸入介面而被進行。在使用案例之輸入中，例如人物辨識或雜訊降低這類使用案例之種類，係被輸入。

使用者設定之輸入，係使用文字方塊或下拉式選單、小圖示、滑移列等之輸入介面而被進行。在使用者設定之輸入中，被攝體或背景之種類這類詮釋資料、亮度或頻率這類影像之統計量等，對於學習影像而使用者所希望的條件，係被輸入。

追加影像之輸入，係使用拖放操作、或文字方塊、下拉式選單、小圖示等的輸入介面而被進行。在追加影像之輸入中，欲追加至資料集的影像、或表示是否將追加影像以資料庫內的類似影像來替代的選項，係被輸入。

3DCG場景之輸入，係使用拖放操作、或文字方塊、下拉式選單、小圖示等的輸入介面，而被輸入。在3DCG場景之輸入中，3DCG場景檔案、渲染器之設定、是否進行虛擬相機之移動或被攝體之移動等所致之擴增等，係被輸入。

參照圖4，說明圖2的步驟S5中所被進行的資料集生成的細節。

於資料集生成中，係如圖4所示，例如，隨應於透過GUI所被輸入之設定之種類，而會進行步驟S31乃至S33的3個處理之任一處理。於步驟S31乃至S33的3個處理之各者中，假設共通設定係被共通地輸入。

在使用案例與共通設定已被輸入的情況下，於步驟S31中，資料集生成裝置1係例如，從被登錄在資料庫中的影像群之中，將適合於使用案例的影像，當作學習影像而加以選擇，達到藉由共通設定所被輸入的張數。例如，資料集生成裝置1，係基於被登錄在資料庫中的各影像、對使用案例的分數、詮釋資料、統計量等所被登錄而成的表格，來選擇適合於使用案例的影像。對使用案例的分數係表示，被登錄在資料庫中的各影像，是適合於作為某個使用案例中所被使用之AI之學習影像的程度。

圖5係為適合於使用案例的影像之選擇時所被使用的表格之例子的圖示。

在圖5的例子中，表格中係被登錄有：被登錄在資料庫中的各影像之ID、影像檔案、對使用案例的分數、被攝體、及背景(場景)。

於表格中係列舉出所被想定的使用案例，針對各個使用案例的分數是被預先登錄。在圖4的例子中，作為使用案例，是舉出了NR(Noise Reduction)、人物辨識、物體辨識、及景深推定。對使用案例的分數越高，影像就越適合於作為該使用案例中所被使用之AI之學習影像。

於圖5的表格中，對於被指派了001之ID的影像，作為對NR的分數係標示了8，作為對人物辨識的分數是標示了7，作為對物體辨識的分數是標示了4，作為對景深推定的分數是標示了6。在表格中，對被指派了001之ID的影像，作為被攝體是被登錄了拍到狗與人，作為背景是被登錄了拍到房間。

於圖5的表格中，對於被指派了002之ID的影像，作為對NR的分數係標示了5，作為對人物辨識的分數是標示了6，作為對物體辨識的分數是標示了5，作為對景深推定的分數是標示了7。在表格中，對被指派了002之ID的影像，作為被攝體是被登錄了拍到人、車、及自行車，作為背景是被登錄了拍到城市。

於圖5的表格中，對於被指派了003之ID的影像，作為對NR的分數係標示了4，作為對人物辨識的分數是標示了6，作為對物體辨識的分數是標示了1，作為對景深推定的分數是標示了3。在表格中，對被指派了003之ID的影像，作為被攝體是被登錄了拍到人，作為背景是被登錄了拍到河川。

於圖5的表格中，對於被指派了004之ID的影像，作為對NR的分數係標示了3，作為對人物辨識的分數是標示了2，作為對物體辨識的分數是標示了4，作為對景深推定的分數是標示了5。在表格中，對被指派了004之ID的影像，作為被攝體是被登錄了拍到車與招牌，作為背景是被登錄了拍到森林。

資料集生成裝置1係例如，在資料庫中所被登錄的影像之中，按照透過GUI而被輸入的對使用案例的分數由高往低的影像之順序，將藉由共通設定所輸入之張數的影像，當作學習影像而加以選擇。

回到圖4，在使用者設定與共通設定已被輸入的情況下，於步驟S32中，資料集生成裝置1係例如，藉由參照被登錄在資料庫中的詮釋資料，以選擇學習影像。具體而言，資料集生成裝置1，係從被登錄在資料庫中的影像群之中，基於上述的表格，將符合於藉由使用者設定所被輸入之使用者之希望的影像，當作學習影像而加以選擇，達到藉由共通設定所輸入之張數。

在追加影像與共通設定已被輸入的情況下，於步驟S33中，資料集生成裝置1係例如，從被登錄在資料庫中的影像群之中，檢索出與追加影像相似的影像，並追加至影像資料集。例如，藉由追加與追加影像相似的影像，導致資料集中所含之學習影像之張數，超過了藉由共通設定所輸入之張數的情況下，則以使得學習影像之張數，會變成與藉由共通設定所輸入之張數相同的方式，將原本就未被包含在資料集中的影像之中的一部分之影像，排除在資料集之外。例如，亦可像是將對使用案例的分數由低往高的影像依序排除在資料集之外，將要被排除在資料集之外的影像，基於對使用案例的各學習影像之分數來加以決定。

接著，參照圖6，說明資料集被生成後的流程。

於步驟S41中，資料集生成裝置1，係透過GUI而受理相機模擬的執行鈕之按下。

一旦相機模擬的執行鈕被按下，則資料集生成裝置1，係進行虛線圍繞表示的步驟S42、S46之處理。

於步驟S42中，資料集生成裝置1，係執行相機模擬。在相機模擬中，係對影像資料集中所含之影像、追加影像、及渲染影像，施行以相機模擬用之相機資訊為依據的加工處理，而生成已模擬過的影像資料集。

資料集生成裝置1，係藉由以相機資訊為依據的加工處理，而生成例如，重現了以相機資訊所示之相機而被拍攝之影像的影像。已模擬過的影像資料集中所含之影像，係為含有以重現對象之相機進行攝影而會產生於影像上之雜訊等的，被包含在影像資料集中的影像、追加影像、及渲染影像。此外，於相機模擬中作為重現對象之相機係被設成例如，將對藉由學習裝置2所被生成之AI進行輸入之影像予以拍攝的相機。

為了高精度地重現藉由重現對象之相機而被拍攝的影像，加工處理之對象的影像資料集中所含之影像、追加影像、及渲染影像，希望是理想影像。理想影像，係為不含雜訊等的影像。

於步驟S43中，資料集生成裝置1，係將已模擬過的影像資料集，加以記憶。

於步驟S44中，資料集生成裝置1，係對已模擬過的影像資料集進行影像解析，並取得已模擬過的影像資料集全體之統計量。

於步驟S45中，資料集生成裝置1，係將已模擬過的影像資料集之統計量，加以記憶。

於步驟S46中，資料集生成裝置1，係對追加影像與渲染影像，進行詮釋資料處理。具體而言，資料集生成裝置1，係對追加影像與渲染影像進行物體辨識等，將追加影像與渲染影像所分別對應的詮釋資料，加以取得。

於步驟S47中，資料集生成裝置1，係把步驟S5的資料集生成中所被生成的詮釋資料集和，步驟S46中所被取得的詮釋資料，當作1個詮釋資料集而加以記憶。

於步驟S48中，資料集生成裝置1，係在GUI上進行輸出資料集之顯示。輸出資料集，係含有：已模擬過的影像資料集、已模擬過的影像資料集之統計量、及詮釋資料集。

於步驟S49中，使用者係觀看GUI上的輸出資料集之顯示，判斷輸出資料集是否已經成所望之資料集。

於步驟S49中判斷為輸出資料集尚未成為所望之資料集的情況下，則回到圖2的步驟S1，使用者係使用GUI而將設定予以再次輸入、變更。

另一方面，於步驟S49中判斷為輸出資料集已經成為所望之資料集的情況下，則於步驟S50中，使用者係操作學習裝置2而進行AI之學習。AI之學習時，係使用從資料集生成裝置1透過GUI所被輸出的輸出資料集。

圖7係為GUI上的顯示的輸出介面之例子、與所被顯示的資訊之例子的圖示。

如圖7所示，學習影像的預覽顯示，係使用影像或文字等的輸出介面而被進行。在學習影像的預覽顯示中，含有已被選擇作為學習影像之影像的資料集、相機模擬的處理結束為止的預估時間等，係被顯示。

輸出資料集之顯示，係使用影像、文字、圖形等的輸出介面而被進行。在輸出資料集之顯示中，含有已被選擇作為學習影像之影像(已模擬過的影像)的資料集、各學習影像所對應之詮釋資料、各學習影像之解析結果、影像資料集全體之統計量、所被輸入的設定之資訊等，係被顯示。

＜2.關於GUI＞ 參照圖8乃至圖17，說明藉由資料集生成裝置1而被顯示的GUI。於資料集生成裝置1中，用來讓使用者輸入使用案例等所需之輸入GUI、和用來讓使用者確認輸出資料集所需之輸出GUI，係被顯示。例如，輸入GUI，係在相機模擬被執行前就被顯示，輸出GUI，係在相機模擬被執行後、輸出資料集被輸出至學習裝置2前被顯示。

・關於輸入GUI 圖8係為輸入GUI的第1顯示例的圖示。

如圖8所示，輸入GUI，係由輸入領域A1和預覽領域A2所構成。於輸入領域A1中，包含有用來輸入各種設定所需之輸入手段的畫面之顯示係被進行，於預覽領域A2中，學習影像的預覽顯示係被進行。

在輸入領域A1之上側，係被顯示有5個頁籤T1乃至T5。一旦選擇頁籤T1乃至T5之各者，則用來輸入共通設定、使用案例、使用者設定、追加影像、及3DCG場景之任一者所需之畫面，就被顯示於輸入領域A1中。於圖8中，頁籤T1以白色圖示，係表示頁籤T1乃至T5之中的頁籤T1已被選擇。此情況下，輸入領域A1中係被顯示有，含有用來輸入共通設定所需之輸入手段的畫面也就是共通設定輸入畫面。

在共通設定輸入畫面之左上部係被顯示有，用來輸入要被輸出之學習影像之張數所需之輸入方塊B1。在圖8的例子中係被輸入了，要輸出1000張的學習影像。

在輸入方塊B1之下側係被顯示有，用來輸入關於相機模擬中作為重現對象之相機中所被設置之影像感測器的資訊所需之輸入方塊B2。作為關於影像感測器的資訊，例如影像感測器的型號或影像感測器的特性，係被輸入。資料集生成裝置1，係可基於關於影像感測器的資訊，來模擬以該當影像感測器取得影像之際所會產生的雜訊等。在圖8的例子中係被輸入了「IMX290」之型號。

在輸入方塊B2之下側係被顯示有，用來輸入關於相機模擬中作為重現對象之相機中所被設置之鏡頭的資訊所需之輸入方塊B3。作為關於鏡頭的資訊，例如鏡頭的類型(種類)係被輸入。在圖8的例子中係被輸入了「廣角鏡頭」之類型。

在輸入方塊B3之下側係被顯示有，用來選擇是否要輸入詳細設定所需之核取方塊C1。一旦選擇要進行詳細設定，則例如，在共通設定輸入畫面上，用來輸入針對重現對象之相機而被測定之PSF(Point Spread Function)或畸變之資料所需之輸入手段，係被顯示。

此外，上述的關於影像感測器的資訊、關於鏡頭的資訊、及詳細設定，被包含在相機模擬用之相機資訊中。作為相機資訊，亦可輸入關於相機之設定或攝影條件的資訊。

在核取方塊C1之下側係被顯示有，用來輸入擴增之設定所需之輸入方塊B4。作為擴增之設定，例如像是使雜訊量或亮度做變化這類，要以擴增來做何種變化，係被輸入。在圖8的例子中係被輸入了，藉由使影像之亮度做變化，以作成較暗的影像與較亮的影像。在不需要進行擴增的情況下，使用者係亦可例如，不輸入擴增之設定、或把不進行擴增這件事情當作設定而輸入。

在輸入方塊B4之下側係被顯示有，用來輸入所被輸出之學習影像的形式(資料格式)所需之輸入方塊B5。在圖8的例子中係被輸入了「.exr」之形式。

在輸入方塊B5之下側係被顯示有，用來輸入所被輸出之學習影像的解析度所需之輸入方塊B6。在圖8的例子中係被輸入了，要輸出寬度為4000像素、高度為3000像素的學習影像。

圖9係為輸入GUI的第2顯示例的圖示。

於圖9中，頁籤T2以白色圖示，係表示頁籤T1乃至T5之中的頁籤T2已被選擇。此情況下，輸入領域A1中係被顯示有，含有用來輸入使用案例所需之輸入手段的畫面也就是使用案例輸入畫面。

在使用案例輸入畫面之左上部係被顯示有，用來輸入使用案例所需之輸入方塊B11。在圖9的例子中係被輸入了，AI之使用案例係為雜訊降低。

在輸入方塊B11之下側，所被想定的使用案例之一覽是以小圖示與按鈕而被顯示。在圖9的例子中，表示雜訊降低的小圖示I1與按鈕B12、表示人物辨識的小圖示I2與按鈕B13、及表示物體辨識的小圖示I3與按鈕B14，係被顯示。由於在輸入方塊B11中作為使用案例是被輸入了雜訊降低，因此表示雜訊降低的小圖示I1與按鈕B12，係於圖9中以粗線圍繞表示的方式，相較其他小圖示或按鈕而被強調顯示。

使用者，係藉由使用輸入方塊B11進行輸入、或按下小圖示或方塊，就可進行使用AI之目的(使用案例)之輸入。在使用輸入方塊B11來輸入使用案例的情況下，則已被輸入的使用案例也會被反映至小圖示或按鈕的顯示上，在使用小圖示或按鈕來輸入使用案例的情況下，則已被輸入的使用案例也會被反映至輸入方塊B11的顯示上。

一旦共通設定和使用案例被輸入，則如圖9的右側所示，於預覽領域A2中，將基於共通設定和使用案例而被選擇的學習影像之一覽加以顯示的預覽顯示，係被進行。在預覽顯示中，表示各學習影像的縮圖影像，係被排列而顯示。在圖9的例子中，4×3(縱×橫)張的縮圖影像，是被排列成瓷磚狀而被顯示。

已被選擇之學習影像的數量大於12的情況下，資料集生成裝置1，係藉由受理使用者所做的所定之操作，而將預覽領域A2中所顯示的縮圖影像進行切換。在圖9的預覽領域A2的例子中，關於已被選擇之學習影像之數量的資訊，是藉由縮圖影像之下側所示的白色與黑色的圓形來顯示。

在預覽領域A2之左下部係被顯示有，用來提示相機模擬之處理結束為止的預估時間所需之輸入方塊B21。在圖9的例子中係被顯示了，相機模擬之處理結束為止的預估時間為1小時。

在預覽領域A2之右下部係被顯示有，相機模擬的執行鈕B22。

此外，於預覽領域A2中，亦可進行已模擬過的影像的預覽顯示。在已模擬過的影像的預覽顯示中，例如，已被施行了以已被輸入之相機資訊為依據之加工處理的所定之1張影像，係被顯示在學習影像的縮圖影像之右側。所定之1張影像，係亦可為影像資料集中所包含之學習影像之中的1張影像，亦可為預先決定的1張影像。

使用者，係觀看已模擬過的影像的預覽顯示，就可確認在相機模擬中對影像所施行的加工處理，是否為所望之加工處理。

圖10係為輸入GUI的第3顯示例的圖示。

於圖10中，頁籤T3以白色圖示，係表示頁籤T1乃至T5之中的頁籤T3已被選擇。此情況下，輸入領域A1中係被顯示有，含有用來輸入使用者設定所需之輸入手段的畫面也就是使用者設定輸入畫面。

在使用者設定輸入畫面之上部係被顯示有，用來輸入學習影像的背景之種類所需之輸入方塊B31。在圖10的例子中係被輸入了，要輸出拍到城市作為背景的學習影像。

在輸入方塊B31之下側，所被想定的背景之一覽是以小圖示與按鈕而被顯示。在圖10的例子中，表示城市、房間、森林、及河川之各者的小圖示和按鈕，係被顯示。由於在輸入方塊B31中作為背景是被輸入了城市，因此表示城市的小圖示與按鈕，係於圖10中以粗線圍繞表示的方式，相較其他小圖示或按鈕而被強調顯示。

使用者，係藉由使用輸入方塊B31進行輸入、或按下小圖示或按鈕，就可輸入希望作為學習影像之背景的背景之種類。在使用輸入方塊B31來輸入背景之種類的情況下，則已被輸入的背景之種類也會被反映至小圖示或按鈕的顯示上，在使用小圖示或按鈕來輸入背景之種類的情況下，則已被輸入的背景之種類也會被反映至輸入方塊B31的顯示上。

在表示背景之種類的按鈕之下側係被顯示有，用來輸入學習影像的被攝體之種類所需之輸入方塊B32。在圖10的例子中係被輸入了，要輸出拍到人與自行車作為被攝體的學習影像。

在輸入方塊B32之下側，所被想定的被攝體之一覽是以小圖示與按鈕而被顯示。在圖10的例子中，表示人、汽車、自行車、及狗之各者的小圖示和按鈕，係被顯示。由於在輸入方塊B32中作為被攝體是被輸入了人與自行車，因此表示人及自行車之各者的小圖示與按鈕，係於圖10中以粗線圍繞表示的方式，相較其他小圖示或按鈕而被強調顯示。

使用者，係藉由使用輸入方塊B32進行輸入、或按下小圖示或按鈕，就可輸入希望作為學習影像之被攝體的被攝體之種類。在使用輸入方塊B32來輸入被攝體之種類的情況下，則已被輸入的被攝體之種類也會被反映至小圖示或按鈕的顯示上，在使用小圖示或按鈕來輸入被攝體之種類的情況下，則已被輸入的被攝體之種類也會被反映至輸入方塊B32的顯示上。

在使用者設定輸入畫面之左下部係被顯示有，用來輸入影像的亮度所需之滑移列SB1。使用者，係藉由移動滑移列SB1上的滑動鈕，就可調整學習影像的亮度。在圖10的例子中，滑移列SB1上的滑動鈕被使用者移動到左側的情況下，資料集生成裝置1係例如，將比原本已被選擇作為學習影像之影像還暗的影像，當作學習影像而加以選擇。資料集生成裝置1，係亦可隨應於使用者所做的操作，而不改變學習影像，就改變學習影像的亮度。

在使用者設定輸入畫面之下部中央係被顯示有，用來輸入影像的頻率(空間頻率)所需之滑移列SB2。使用者，係藉由移動滑移列SB2上的滑動鈕，就可調整學習影像的頻率。在圖10的例子中，滑移列SB2上的滑動鈕被使用者移動到左側的情況下，資料集生成裝置1係例如，將被攝體的紋理是比原本已被選擇作為學習影像之影像還要單調的影像(顏色不怎麼有變化的影像等)，當作學習影像而加以選擇。資料集生成裝置1，係亦可隨應於使用者所做的操作，而不改變學習影像，就改變學習影像的頻率。

在使用者設定輸入畫面之右下部係被顯示有，用來輸入影像的對比度所需之滑移列SB3。使用者，係藉由移動滑移列SB3上的滑動鈕，就可調整學習影像的對比度。在圖10的例子中，滑移列SB3上的滑動鈕被使用者移動到左側的情況下，資料集生成裝置1係例如，將對比度是比原本已被選擇作為學習影像之影像還低的影像，當作學習影像而加以選擇。資料集生成裝置1，係亦可隨應於使用者所做的操作，而不改變學習影像，就改變學習影像的對比度。

一旦共通設定、使用案例、及使用者設定被輸入，則於預覽領域A2中，基於共通設定、使用案例、及使用者設定而被選擇的學習影像之一覽，係被顯示。

圖11係為輸入GUI的第4顯示例的圖示。

於圖11中，頁籤T4以白色圖示，係表示頁籤T1乃至T5之中的頁籤T4已被選擇。此情況下，輸入領域A1中係被顯示有，含有用來輸入追加影像所需之輸入手段的畫面也就是追加影像輸入畫面。

在追加影像輸入畫面之左上部係被顯示有，用來輸入追加影像所需之輸入方塊B41。在輸入方塊B41中係被輸入有，例如追加影像的路徑。在圖11的例子中係被輸入了「C:\Users\Pictures\dog.png」之路徑。此外，和被登錄在資料庫中的影像同樣地，追加影像係亦可由靜止影像來構成，亦可由動態影像來構成。

在輸入方塊B41之下側係被顯示有，用來選擇是否從資料庫檢索出追加影像之類似影像所需之核取方塊C11。一旦選擇要檢索類似影像，則資料集生成裝置1，係從資料庫中所被登錄的影像群之中，檢索出追加影像之類似影像，並將該當類似影像追加至影像資料集。

一旦追加影像被輸入，則於預覽領域A2中，含有追加影像或追加影像之類似影像的學習影像之一覽，係被顯示。

圖12係為輸入GUI的第5顯示例的圖示。

於圖12中，頁籤T5以白色圖示，係表示頁籤T1乃至T5之中的頁籤T5已被選擇。此情況下，輸入領域A1中係被顯示有，含有用來輸入3DCG場景所需之輸入手段的畫面也就是3DCG場景輸入畫面。

在3DCG場景輸入畫面之左上部係被顯示有，用來輸入3DCG場景檔案所需之輸入方塊B51。在輸入方塊B51中係被輸入有，例如3DCG場景檔案的路徑。在圖12的例子中係被輸入了「C:\Users\Documents\animal.max」之路徑。

在輸入方塊B51之下側係被顯示有，用來輸入3DCG場景之渲染中所被使用之渲染器所需之輸入方塊B52。在圖12的例子中係被輸入了「S-Render」之渲染器。

輸入方塊B52之下側係被顯示有，用來輸入被配置在虛擬空間的虛擬相機之中，成為渲染影像之視點的虛擬相機所需之輸入方塊B53。在圖12的例子中係被輸入了，要生成從「cam001」之視點所看到的渲染影像。

在輸入方塊B53之下側係被顯示有，用來輸入擴增之設定所需之輸入方塊B54。作為擴增之設定，例如像是使虛擬相機進行旋轉這類，要以擴增來做何種變化，係被輸入。在圖12的例子中係被輸入了，在渲染時藉由使(虛擬)相機進行旋轉，以作成複數個影像。在不需要進行擴增的情況下，使用者係亦可例如，不輸入擴增之設定、或把不進行擴增這件事情當作設定而輸入。

一旦3DCG場景被輸入，則於預覽領域A2中，含有基於3DCG場景檔案所被生成之渲染影像的學習影像之一覽，係被顯示。此外，和被登錄在資料庫中的影像同樣地，渲染影像係亦可由靜止影像來構成，亦可由動態影像來構成。

・關於輸出GUI 輸出GUI係例如，在輸入GUI上相機模擬的執行鈕B22被按下，相機模擬之處理結束時，會被顯示。

圖13係為輸出GUI的第1顯示例的圖示。

如圖13所示，輸出GUI，係由輸出資料集顯示領域A11所構成。於輸出資料集顯示領域A11中，輸出資料集之顯示係被進行。

輸出資料集顯示領域A11之上側係被顯示有4個頁籤T11乃至T14。一旦選擇頁籤T11乃至T14之各者，則用來確認已模擬過的學習影像之一覽、已模擬過的學習影像之詳細、已模擬過的影像資料集之統計量(解析結果)、及輸出設定之任一者所需之畫面，係被顯示於輸出資料集顯示領域A11中。於圖13中，頁籤T11以白色圖示，係表示頁籤T11乃至T14之中的頁籤T11已被選擇。此情況下，輸出資料集顯示領域A11中係被顯示有，已模擬過的學習影像之一覽。

在輸出資料集顯示領域A11之上部係被顯示有，已模擬過的學習影像之一覽。具體而言，表示已模擬過的學習影像的縮圖影像，是被排列而顯示。在圖13的例子中，在縱深方向上排列的3張縮圖影像之組合，是在水平方向上被排列而顯示。例如，被攝體之種類為相同的影像，詮釋資料或統計量(亮度或頻率等)為相近的影像這類彼此相似的複數個影像，是在縱深方向上被排列而顯示。

在表示學習影像的縮圖影像之下側係被顯示有，用來輸入對使用者而言想要確認的，學習影像的詮釋資料之種類或統計量(解析資料)之種類所需之輸入方塊B61。在圖13的例子中係被輸入了，使用者想要確認景深地圖。

在輸入方塊B61之下側，可顯示的詮釋資料與統計量之一覽是以小圖示與按鈕而被顯示。在圖13的例子中，表示作為詮釋資料的景深地圖與切割結果、和作為統計量的頻率、色彩分布、及亮度分布之各者的小圖示和按鈕，係被顯示。由於在輸入方塊B61中是被輸入了景深地圖，因此表示景深地圖的小圖示與按鈕，係於圖13中以粗線圍繞表示的方式，相較其他小圖示或按鈕而被強調顯示。

使用者，係藉由使用輸入方塊B61進行輸入、或按下小圖示或按鈕，就可進行欲確認的詮釋資料之種類或統計量之種類的輸入。在使用輸入方塊B61而輸入了詮釋資料或統計量之種類的情況下，已被輸入之詮釋資料或統計量之種類，係也會被反映至小圖示或按鈕的顯示上。在使用小圖示或按鈕而輸入了詮釋資料或統計量之種類的情況下，已被輸入之詮釋資料或統計量之種類，係也會被反映至輸入方塊B61的顯示上。

在表示詮釋資料與統計量之種類的按鈕之下側係被顯示有，使用輸入方塊B61等而被輸入之種類的詮釋資料或統計量之一覽。具體而言，表示使用輸入方塊B61等而被輸入之種類的詮釋資料或統計量的影像，係被排列而顯示。表示詮釋資料或統計量的影像之各者的位置，係對應於，在輸出資料集顯示領域A11之上部所被顯示的已模擬過的學習影像的位置。例如，於輸出資料集顯示領域A11之上部從左起算第1個前方側所被顯示的學習影像所對應的表示詮釋資料的影像，係被顯示在輸出資料集顯示領域A11之下部從左起算第1個前方側。

一旦被顯示於輸出資料集顯示領域A11之上部的縮圖影像被使用者按下，則圖14所示的學習影像一覽畫面A12，係被例如彈出顯示。在學習影像一覽畫面A12中，已模擬過的學習影像之一覽，係被顯示。具體而言，表示已模擬過的學習影像的縮圖影像，是被排列成瓷磚狀而被顯示。在圖14的例子中，4×4(縱×橫)張的縮圖影像，是被排列而顯示。

在已模擬過的學習影像的數量大於16的情況下，資料集生成裝置1，係藉由受理使用者所做的所定之操作，而將學習影像一覽畫面A12中所顯示的縮圖影像進行切換。在圖14的學習影像一覽畫面A12的例子中，關於已模擬過的學習影像之數量的資訊，是藉由縮圖影像之下側所示的白色與黑色的圓形來顯示。

圖15係為輸出GUI的第2顯示例的圖示。

於圖15中，頁籤T12以白色圖示，係表示頁籤T11乃至T14之中的頁籤T12已被選擇。此情況下，輸出資料集顯示領域A11中係被顯示有，已模擬過的學習影像之詳細。

在輸出資料集顯示領域A11之左上係被顯示有，用來輸入對使用者而言想要確認的，詮釋資料之種類或統計量之種類所需之輸入方塊B71。在圖15的例子中係被輸入了，使用者想要確認景深地圖、切割、頻率、色彩分布、及亮度分布。

在輸入方塊B71之右側，可顯示的詮釋資料與統計量之一覽是以小圖示與按鈕而被顯示。在圖15的例子中，表示景深地圖、切割、頻率、色彩分布、及亮度分布之各者的小圖示和按鈕，係被顯示。由於在輸入方塊B71中是被輸入了景深地圖、切割、頻率、色彩分布、及亮度分布，因此表示景深地圖、切割、頻率、色彩分布、及亮度分布的小圖示與按鈕，係於圖15中以粗線圍繞表示的方式而被強調顯示。

使用者，係藉由使用輸入方塊B71進行輸入、或按下小圖示或按鈕，就可進行欲確認的詮釋資料之種類或統計量之種類的輸入。在使用輸入方塊B71而輸入了詮釋資料或統計量之種類的情況下，已被輸入之詮釋資料或統計量之種類，係也會被反映至小圖示或按鈕的顯示上。在使用小圖示或按鈕而輸入了詮釋資料或統計量之種類的情況下，已被輸入之詮釋資料或統計量之種類，係也會被反映至輸入方塊B71的顯示上。

輸入方塊B71之下側，表示使用輸入方塊B71等而被輸入之種類之詮釋資料的影像或表示統計量的圖形，與學習影像建立對應而被登錄的表格，係被顯示。在圖15的表格的例子中，學習影像的ID、學習影像的縮圖影像、景深地圖、表示切割結果的影像、表示頻率的圖形、表示色彩分布的圖形、及亮度的直方圖，是以一覽方式而被顯示。此外，學習影像的ID，係並非於資料庫中對各影像所指派的ID，而是對已被選擇作為學習影像之影像所新指派的ID。

此外，於表格中，亦可基於ID等，而將學習影像進行排序、或進行檢索。

圖16係為輸出GUI的第3顯示例的圖示。

於圖16中，頁籤T13以白色圖示，係表示頁籤T11乃至T14之中的頁籤T13已被選擇。此情況下，輸出資料集顯示領域A11中係被顯示有，已模擬過的影像資料集全體之統計量(解析資料)。

在輸出資料集顯示領域A11之左上部係被顯示有，用來輸入對使用者而言想要確認的，影像資料集全體之統計量之種類所需之輸入方塊B81。在圖16的例子中係被輸入了，使用者想要確認色彩分布與亮度分布。

在輸入方塊B81之左下側，可顯示的統計量之一覽是以小圖示與按鈕而被顯示。在圖16的例子中，表示頻率、色彩分布、及亮度分布之各者的小圖示和按鈕，係被顯示。由於在輸入方塊B81中是被輸入了色彩分布與亮度分布，因此表示色彩分布與亮度分布的小圖示與按鈕，係於圖16中以粗線圍繞表示的方式，相較其他小圖示與按鈕而被強調顯示。

使用者，係藉由使用輸入方塊B81進行輸入、或按下小圖示或按鈕，就可進行欲確認的統計量之種類的輸入。在使用輸入方塊B81來輸入統計量之種類的情況下，則已被輸入的統計量之種類也會被反映至小圖示或按鈕的顯示上，在使用小圖示或按鈕來輸入統計量之種類的情況下，則已被輸入的統計量之種類也會被反映至輸入方塊B81的顯示上。

在輸入方塊B81之右下側係被顯示有，表示使用輸入方塊B81等而被輸入之種類之統計量的圖形。在圖16的例子中，表示已模擬過的影像資料集中所含之複數個學習影像之色彩分布的圖形、和表示複數個學習影像之亮度分布的圖形，係被顯示。

在輸出資料集顯示領域A11之左下部係被顯示有，表示各學習影像的被攝體或背景(場景)之種類的表格。於圖18的表格的例子中，各學習影像的被攝體之種類，是以大項目、中項目、及小項目之3個粒度而被表示。例如，被指派了001之ID的學習影像的被攝體，在大項目係為動物，在中項目係為狗，在小項目係為蝴蝶犬。被指派了002之ID的學習影像的被攝體，在大項目係為交通工具，在中項目係為汽車。

此外，於表格中，亦可基於ID等，而將學習影像進行排序、或進行檢索。

在輸出資料集顯示領域A11之右下部係被顯示有，為了將影像資料集中的被攝體或背景的種類之分布以視覺性來加以表示所需之方塊B82。在方塊B82中，例如隨應於拍到相同被攝體的學習影像之數量，表示該當被攝體的文字的尺寸會被變更而被顯示。在圖18的方塊B82的例子中，拍到相同被攝體的學習影像之數量越多，則表示該當被攝體的文字的尺寸就會越大而被顯示。

使用者，係亦可於輸出資料集顯示領域A11之左下部的表格中，將大項目、中項目、及小項目之其中任一者予以按下。在表格的大項目之部分被按下的情況下，資料集生成裝置1，係隨應於拍到動物或交通工具等的學習影像之數量來進行方塊B82中的顯示，在表格的中項目之部分被按下的情況下，則隨應於拍到狗或汽車等的學習影像之數量來進行方塊B82中的顯示。如此，使用者係藉由於表格中按下大項目、中項目、及小項目之其中任一者，就可指定在方塊B82中所被顯示的被攝體之種類的粒度。

藉由觀看參照圖13乃至圖16所說明的輸出GUI之每一者的顯示，使用者係可確認輸出資料集是否已經成為所望之資料集。在判斷為輸出資料集已經成為所望之資料集的情況下，使用者係使用參照圖17所說明的輸出GUI，將輸出設定予以輸入。

圖17係為輸出GUI的第4顯示例的圖示。

於圖17中，頁籤T14以白色圖示，係表示頁籤T11乃至T14之中的頁籤T14已被選擇。此情況下，輸出資料集顯示領域A11中係被顯示有，用來輸入輸出設定所需之輸入手段。

在輸出資料集顯示領域A11之左上部係被顯示有，用來輸入對使用者而言希望包含在輸出資料集中的統計量(解析資料)之種類所需之輸入方塊B91。在圖17的例子中係被輸入了，要將含有表示色彩分布與亮度分布之資料的輸出資料集予以輸出。

在輸入方塊B91之左下側，可輸出的統計量之一覽是以小圖示與按鈕而被顯示。在圖17的例子中，表示頻率、色彩分布、及亮度分布之各者的小圖示和按鈕，係被顯示。由於在輸入方塊B91中是被輸入了色彩分布與亮度分布，因此表示色彩分布與亮度分布的小圖示與按鈕，係於圖17中以粗線圍繞表示的方式，相較其他小圖示與按鈕而被強調顯示。

使用者，係藉由使用輸入方塊B91進行輸入、或按下小圖示或按鈕，就可進行要被輸出的統計量之種類的輸入。在使用輸入方塊B91來輸入統計量之種類的情況下，則已被輸入的統計量之種類也會被反映至小圖示或按鈕的顯示上，在使用小圖示或按鈕來輸入統計量之種類的情況下，則已被輸入的統計量之種類也會被反映至輸入方塊B91的顯示上。

此外，所被輸出的統計量，係亦可為各學習影像的統計量，亦可為影像資料集全體的統計量。

在表示統計量之種類的按鈕之下側係被顯示有，用來輸入對使用者而言想要包含在輸出資料集中的詮釋資料之種類所需之輸入方塊B92。在圖17的例子中係被輸入了，把景深地圖當作詮釋資料集而輸出。

在輸入方塊B92之左下側，可輸出的詮釋資料之一覽是以小圖示與按鈕而被顯示。在圖17的例子中，表示景深地圖與切割結果之各者的小圖示和按鈕，係被顯示。由於在輸入方塊B92中是被輸入了景深地圖，因此表示景深地圖的小圖示與按鈕，係於圖17中以粗線圍繞表示的方式，相較其他小圖示和按鈕而被強調顯示。

使用者，係藉由使用輸入方塊B92進行輸入、或按下小圖示或按鈕，就可進行要被輸出的詮釋資料之種類的輸入。在使用輸入方塊B92來輸入詮釋資料之種類的情況下，則已被輸入的詮釋資料之種類也會被反映至小圖示或按鈕的顯示上，在使用小圖示或按鈕來輸入詮釋資料之種類的情況下，則已被輸入的詮釋資料之種類也會被反映至輸入方塊B92的顯示上。

在表示詮釋資料之種類的按鈕之下側係被顯示有，用來輸入讓輸出資料集被輸出之資料夾的路徑所需之輸入方塊B93。在圖17的例子中係被輸入了「C:\Users\Documents」之路徑。

使用參照圖17所說明的輸出GUI而輸入了輸出設定之後，例如受理了所定之操作的情況下，則資料集生成裝置1係將輸出資料集予以輸出。

此外，如以上的輸入GUI與輸出GUI中，輸入方塊係藉由：可選擇所望之選單的下拉式選單、可輸入文字的文字方塊、或可選擇所望之選單、也可輸入文字的組合方塊等，來加以實現。

如以上，使用者係只使用藉由資料集生成裝置1而被顯示的輸入GUI或輸出GUI，來輸入AI之使用案例等，就可取得適合於該當使用案例中所被使用之AI之學習的學習影像。使用者，係將適合於AI之學習的學習影像，不必實際進行攝影、也不必從網際網路上公開的影像來搜尋等等，藉由簡單的操作，就可容易加以取得。

於資料集生成裝置1中，只有即使無授權也能利用的影像被登錄至資料庫的情況下，使用者係可不必在意授權問題，就能取得大量的學習影像。

＜3.資料集生成裝置的構成與動作＞ ・資料集生成裝置的構成 圖18係為資料集生成裝置1的構成例的區塊圖。

如圖18所示，資料集生成裝置1，係由：輸出入I/F11、輸入資訊取得部12、資料集生成部13、資料集資料庫14、渲染部15、相機模擬執行部16、影像解析部17、詮釋資料處理部18、輸出資料集記憶部19、顯示控制部20、及顯示部21所構成。

輸出入I/F11係為，用來進行對資料集生成裝置1的資料之輸入、及從資料集生成裝置1的資料之輸出所需之介面。資料集生成裝置1，亦可個別地具備輸入I/F與輸出I/F。輸出入I/F11，係偵測使用者所做的輸入GUI或輸出GUI上之操作，而將表示操作內容的資訊，供給至輸入資訊取得部12。又，輸出入I/F11，係以未圖示的路徑，從輸出資料集記憶部19取得輸出資料集，並輸出至學習裝置2。

輸入資訊取得部12，係基於從輸出入I/F11所被供給之資訊，取得已被使用者所輸入的各種設定之資訊。輸入資訊取得部12，係將關於共通設定、使用案例、使用者設定、及追加影像的資訊，供給至資料集生成部13。輸入資訊取得部12，係將關於3DCG場景的資訊，供給至渲染部15。在不檢索追加影像之類似影像的情況下，輸入資訊取得部12，係將追加影像，供給至相機模擬執行部16與詮釋資料處理部18。

資料集生成部13，係從已被登錄在資料集資料庫14的影像群之中，基於從輸入資訊取得部12所被供給之資訊而選擇學習影像，生成影像資料集。資料集生成部13，係作為從已被登錄在資料集資料庫14的影像群之中選擇出學習影像的選擇部而發揮機能。又，資料集生成部13，係將已選擇之學習影像所對應之詮釋資料，從資料集資料庫14加以取得，而生成詮釋資料集。

在要檢索追加影像之類似影像的情況下，資料集生成部13，係從已被登錄在資料集資料庫14的影像群之中，檢索出追加影像之類似影像，並追加至影像資料集。

資料集生成部13，係將已生成的影像資料集供給至相機模擬執行部16，並將詮釋資料集供給至輸出資料集記憶部19。

資料集資料庫14中，使用CG所被生成的影像或以實拍而被拍攝的影像、及對應於各影像的詮釋資料或統計量，係被預先登錄。

渲染部15，係進行以關於從輸入資訊取得部12所被供給之3DCG場景的資訊為依據的渲染，而生成渲染影像。渲染部15，係將渲染影像供給至相機模擬執行部16和詮釋資料處理部18。

相機模擬執行部16，係對從輸入資訊取得部12所被供給之追加影像、從資料集生成部13所被供給之影像資料集中所含之各學習影像、及從渲染部15所被供給之渲染影像，執行相機模擬，並生成已模擬過的影像資料集。相機模擬執行部16，係作為對追加影像、影像資料集中所含之學習影像、及渲染影像施行以相機資訊為依據之加工處理的加工處理部，而發揮機能。

圖19係為相機模擬之例子的圖示。

如上述，影像資料集中所含之學習影像、追加影像、及渲染影像係為理想影像為佳。相機模擬執行部16，係如圖19所示，將因為重現對象之相機之攝影而會產生在影像上的劣化或雜訊，附加至理想影像，以生成劣化影像。

具體而言，相機模擬執行部16係例如，如下式(1)所示，對理想影像I將劣化因子K進行卷積，並將雜訊n進行加算，藉由適用如此的模型，以生成劣化影像I’。

【數1】

藉由將劣化影像與理想影像當作學習資料來使用的學習，AI係將劣化影像中所含之劣化因子與雜訊，進行推測。對於含有AI的AI引擎，如圖20的箭頭#1所示，一旦含有與學習時所被使用的劣化影像中所含之劣化或雜訊相同之劣化或雜訊的攝影影像被輸入，則AI引擎，係如箭頭#2所示，會將接近理想影像的高畫質的重建影像予以輸出。

如此，學習時所被使用的劣化影像中所含之劣化或雜訊，與推論時被輸入至AI引擎的攝影影像中所含之劣化或雜訊，係為相同的劣化或雜訊為佳。相機模擬執行部16，係藉由生成含有因為重現對象之相機之攝影而會產生在影像上之劣化或雜訊的劣化影像，就可生成含有適合於以重現對象之相機所拍攝之攝影影像為輸入之AI之學習的劣化影像的影像資料集。

此外，相機模擬執行部16，係亦可藉由將重現對象之相機的鏡頭方面所對應之模型、和感測器方面所對應之模型，對理想影像做適用，以生成劣化影像。

鏡頭方面所對應之模型係亦可為，會將鏡頭的像差、透光率、光學濾鏡、迷光等所造成的模糊、畸變、遮陰、曜光、鬼影等之劣化，附加至理想影像的模型。感測器方面所對應之模型係亦可為，會將感測器的分光、混色、光電轉換等所造成的劣化，附加至理想影像的模型。又，感測器方面所對應之模型係亦可為，會將感測器的光學散粒雜訊、暗電流散粒雜訊、隨機性散粒雜訊、圖案雜訊、白點雜訊、像素值之加算等，附加至理想影像的模型。

相機模擬執行部16，亦可藉由進行壓縮演算法之適用、壓縮率之轉換、以可變位元率進行壓縮、色階抽略等，來生成劣化影像。在理想影像是以動態影像而被構成的情況下，相機模擬執行部16係亦可藉由將畫格予以抽略，來生成劣化影像。

相機模擬執行部16，係亦可藉由適用會將考慮到感測器之攝影影像之缺陷所造成的劣化附加至理想影像的模型，來生成劣化影像。像素的缺陷，係除了白色、黑色、或對隨機值的缺陷以外，亦可為像面相位差取得用之像素、偏光像素、IR取得像素、UV取得像素、測距用之像素、溫度像素等之未被使用於影像的像素之其中至少任一者所致之缺陷。

相機模擬執行部16，亦可藉由適用考慮到感測器之其他特性的模型，來生成劣化影像。例如，模型亦可為，能夠取得考慮到感測器的彩色濾光片特性、彩色濾光片排列、溫度特性、轉換效率、感度(HDR合成、增益特性)、讀出順序(滾動式快門變形)等之劣化影像的模型。

相機模擬執行部16，係亦可藉由適用能夠取得考慮到支援多光譜影像或高光譜影像之相機的影像的模型，來生成劣化影像。

相機模擬執行部16，係亦可藉由進行重現攝影條件的轉換，來生成劣化影像。攝影條件係為例如：照明、飽和、曝光等之條件。照明，係例如表示光源的種類等。例如，亦可進行，會將太陽光、隧道照明、路燈這類光源予以重現的這類轉換。又，亦可進行不只有光源的種類，就連光源的位置、光源所朝向之方向都能夠重現的這類轉換。飽和所致之劣化係為例如過曝等，來自周圍像素之映入所致之超過像素值的色彩之最大值的劣化。曝光所致之劣化，係為快門速度、光圈等之條件所產生的劣化，係表示曝光不足、曝光過度等。亦可進行重現鏡頭之焦點的轉換。

回到圖18，相機模擬執行部16，係將已模擬過的影像資料集，供給至影像解析部17和輸出資料集記憶部19。

影像解析部17，係進行從相機模擬執行部16所被供給之已模擬過的影像資料集中所含之學習影像的影像解析，並取得影像資料集全體之統計量。影像解析部17，係將影像資料集全體之統計量，供給至輸出資料集記憶部19。

詮釋資料處理部18，係對從輸入資訊取得部12所被供給之追加影像、和從渲染部15所被供給之渲染影像，進行詮釋資料處理，以取得追加影像與渲染影像所分別對應的詮釋資料。詮釋資料處理部18，係將追加影像與渲染影像所分別對應的詮釋資料，供給至輸出資料集記憶部19。

輸出資料集記憶部19，係將從資料集生成部13所被供給之詮釋資料集、從相機模擬執行部16所被供給之已模擬過的影像資料集、及從影像解析部17所被供給之已模擬過的影像資料集之統計量，當作輸出資料集而記憶。輸出資料集記憶部19，係將從詮釋資料處理部18所被供給之追加影像與渲染影像所分別對應的詮釋資料，追加至詮釋資料集並記憶。

顯示控制部20，係以未圖示的路徑，從資料集生成裝置1之各構成取得資訊，生成輸入GUI或輸出GUI並令其被顯示於顯示部21。

顯示部21，係由例如顯示器所構成，依照顯示控制部20所做的控制，而將輸入GUI或輸出GUI進行顯示。此外，顯示部21，亦可被設在外部之裝置。

・資料集生成裝置的動作 接著，參照圖21的流程圖，說明具有如上構成的資料集生成裝置1所進行的處理。圖21的處理係例如，在顯示部21中被顯示有輸入GUI時，就被開始。

於步驟S101中，輸入資訊取得部12，係將使用者所做的共通設定之輸入，予以受理。

於步驟S102中，輸入資訊取得部12，係將使用者所做的使用案例之輸入，予以受理。此外，藉由使用輸出資料集之學習而被生成的AI之使用案例對使用者而言是未被想定的情況下，則步驟S102之處理係被略過。

於步驟S103中，輸入資訊取得部12，係將使用者所做的使用者設定之輸入，予以受理。此外，對使用者而言不想進行詳細設定的情況下，則步驟S103的處理係被略過。

於步驟S104中，輸入資訊取得部12，係將使用者所做的追加影像之輸入，予以受理。此外，對使用者而言，沒有想要追加至影像資料集的影像的情況下，則步驟S104的處理係被略過。

於步驟S105中，輸入資訊取得部12，係將使用者所做的追加影像之輸入，予以受理。此外，對使用者而言，在不想要將渲染影像追加至影像資料集的情況下，則步驟S105的處理係被略過。

於步驟S106中，輸入資訊取得部12係判定，相機模擬的執行鈕是否有被按下。

於步驟S106中判定為相機模擬的執行鈕未被按下的情況下，則處理係回到步驟S101，並重複進行其以後之處理。

於步驟S101乃至S105之處理中一旦各種設定被輸入，則所被輸入之設定所相應之影像資料集就會被生成，在輸入GUI上就會進行學習影像的預覽顯示。使用者，係觀看學習影像的預覽顯示，判斷影像資料集是否已經成為所望之資料集。在判斷為影像資料集已經成為所望之資料集的情況下，相機模擬的執行鈕係被使用者所按下。於步驟S106中判定為相機模擬的執行鈕有被按下的情況下，處理係往步驟S107前進。

於步驟S107中，相機模擬執行部16，係執行相機模擬，生成已模擬過的學習資料集。

於步驟S108中，輸出入I/F11，係將含有已模擬過的學習資料集的輸出資料集，予以輸出。

藉由以上的處理，使用者係只使用藉由資料集生成裝置1而被顯示的輸入GUI或輸出GUI，來輸入AI之使用案例等，就可取得適合於該當使用案例中所被使用之AI之學習的學習影像。使用者，係將適合於AI之學習的學習影像，不必實際進行攝影、也不必從網際網路上公開的影像來搜尋等等，藉由簡單的操作，就可容易加以取得。

＜4.變形例＞ ・關於輸入GUI 圖22係為輸入GUI的其他顯示例的圖示。

如圖22所示，輸入GUI亦可設計成，由去除了預覽領域A2的輸入領域A1所構成。在預覽領域A2不被當成輸入GUI的一部分而顯示的情況下，相機模擬的執行鈕B22，係被顯示在例如輸入領域A1之右下部。

・關於電腦 上述一連串處理，係可藉由硬體來執行，也可藉由軟體來執行。以軟體來執行一連串處理時，構成該軟體的程式，是從程式記錄媒體，安裝至內嵌有專用硬體的電腦，或是泛用之個人電腦等。

圖23係以程式來執行上述一連串處理的電腦的硬體之構成例的區塊圖。

CPU501、ROM502、RAM503，係藉由匯流排504而被彼此連接。

在匯流排504上係還連接有輸出入介面505。輸出入介面505上則連接著，由鍵盤、滑鼠等所成之輸入部506、和由顯示器、揚聲器等所成之輸出部507。又，在輸出入介面505上係連接有，由硬碟或非揮發性記憶體等所成之記憶部508、由網路介面等所成之通訊部509、驅動可移除式媒體511用的驅動機510。

在如以上構成的電腦中，藉由CPU501而例如將記憶部508中所記憶之程式透過輸出入介面505及匯流排504，而載入至RAM503裡並加以執行，就可進行上述一連串處理。

CPU501所執行之程式，係記錄在例如可移除式媒體511，或者是透過區域網路、網際網路、數位播送這類有線或無線之傳輸媒體而提供，然後被安裝在記憶部508中。

電腦所執行的程式，係可為依照本說明書所說明之順序而在時間序列上進行處理的程式，也可平行地，或呼叫進行時等必要之時序上進行處理的程式。

此外，於本說明書中，所謂的系統，係意味著複數構成要素(裝置、模組(零件)等)的集合，所有構成要素是否位於同一框體內則在所不問。因此，被收納在個別的框體中，透過網路而連接的複數台裝置、及在1個框體中收納有複數模組的1台裝置，均為系統。

此外，本說明書中所記載之效果僅為例示並非限定，亦可還有其他效果。

本技術的實施形態係不限定於上述實施形態，在不脫離本技術主旨的範圍內可做各種變更。

例如，本技術係亦可將1個機能透過網路而分擔給複數台裝置，採取共通進行處理的雲端運算之構成。

又，上述的流程圖中所說明的各步驟，係可由1台裝置來執行以外，亦可由複數台裝置來分擔執行。

甚至，若1個步驟中含有複數處理的情況下，該1個步驟中所含之複數處理，係可由1台裝置來執行以外，也可由複數台裝置來分擔執行。

・構成的組合例 本技術係亦可採取如以下之構成。

(1) 一種資訊處理裝置，係具備： 選擇部，係從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇前記學習模型之學習時所被使用之學習影像。 (2) 如前記(1)所記載之資訊處理裝置，其中， 還具備：顯示控制部，係將用來讓使用者輸入前記使用案例所需之輸入手段，加以顯示。 (3) 如前記(2)所記載之資訊處理裝置，其中， 用來輸入前記使用案例所需之輸入手段，係包含：下拉式選單、文字方塊、組合方塊、及小圖示之其中任一者。 (4) 如前記(2)或(3)所記載之資訊處理裝置，其中， 還具備：加工處理部，係對前記學習影像，施行以關於拍攝被輸入至前記學習模型之影像之相機的資訊為依據的加工處理。 (5) 如前記(4)所記載之資訊處理裝置，其中， 前記加工處理部，係藉由將因為前記相機之攝影而在影像所產生的劣化與雜訊之其中至少任一者附加至前記學習影像，以進行前記加工處理。 (6) 如前記(4)或(5)所記載之資訊處理裝置，其中， 前記顯示控制部，係在對前記學習影像施行前記加工處理之前，將已被選擇作為前記學習影像的影像之一覽，加以顯示。 (7) 如前記(4)至(6)之任一項所記載之資訊處理裝置，其中， 前記顯示控制部，係在對前記學習影像施行前記加工處理之前，將已被施行過前記加工處理的影像，加以顯示。 (8) 如前記(4)至(7)之任一項所記載之資訊處理裝置，其中， 前記顯示控制部，係將用來輸入關於前記相機的資訊所需之輸入手段，加以顯示。 (9) 如前記(8)所記載之資訊處理裝置，其中， 關於前記相機的資訊係包含：關於前記相機中所被設置的影像感測器與鏡頭之其中至少任一者的資訊。 (10) 如前記(9)所記載之資訊處理裝置，其中， 用來輸入關於前記相機的資訊所需之輸入手段係還包含：用來輸入前記影像感測器之型號或特性、及前記鏡頭之種類之其中至少任一者所需之輸入手段。 (11) 如前記(1)至(10)之任一項所記載之資訊處理裝置，其中， 前記選擇部，係從前記影像群之中，隨應於已被使用者所輸入的被攝體之種類、背景之種類、亮度、頻率、及對比度之其中至少任一者，來選擇前記學習影像。 (12) 如前記(1)至(11)之任一項所記載之資訊處理裝置，其中， 前記選擇部，係將基於已被使用者所輸入的影像而從前記影像群之中所被選擇出來的影像、或已被前記使用者所輸入的影像，當作前記學習影像而進行追加。 (13) 如前記(1)至(12)之任一項所記載之資訊處理裝置，其中， 前記選擇部，係將基於已被使用者所輸入的CG模型而被生成的影像，當作前記學習影像而進行追加。 (14) 如前記(1)至(13)之任一項所記載之資訊處理裝置，其中， 前記選擇部，係基於已被登錄有，前記影像群中所包含的各影像的適合於所定之使用案例中所被使用之前記學習模型之學習之程度的表格，來選擇前記學習影像。 (15) 如前記(1)至(14)之任一項所記載之資訊處理裝置，其中，還具備： 輸出部，係對實施前記學習模型之學習的學習裝置，輸出前記學習影像；和 顯示控制部，係在前記學習影像被輸出之前，顯示前記學習影像之一覽。 (16) 如前記(15)所記載之資訊處理裝置，其中， 前記顯示控制部，係在前記學習影像被輸出之前，將對應於前記學習影像的詮釋資料與統計量之其中至少任一者之一覽，加以顯示。 (17) 如前記(15)或(16)所記載之資訊處理裝置，其中， 前記顯示控制部，係在前記學習影像被輸出之前，將：由複數個前記學習影像所構成的資料集的統計量、表示複數個前記學習影像各者的被攝體或背景之種類的資訊、表示前記資料集中的前記被攝體或前記背景的種類之分布的資訊之其中至少任一者，加以顯示。 (18) 一種資訊處理方法，係由資訊處理裝置， 從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇前記學習模型之學習時所被使用之學習影像。 (19) 一種電腦可讀取之記錄媒體，係記錄有程式，其係用來令以下處理被執行： 從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇前記學習模型之學習時所被使用之學習影像。

1:資料集生成裝置 2:學習裝置 11:輸出入I/F 12:輸入資訊取得部 13:資料集生成部 14:資料集資料庫 15:渲染部 16:相機模擬執行部 17:影像解析部 18:詮釋資料處理部 19:輸出資料集記憶部 20:顯示控制部 21:顯示部 501:CPU 502:ROM 503:RAM 504:匯流排 505:輸出入介面 506:輸入部 507:輸出部 508:記憶部 509:通訊部 510:驅動機 511:可移除式媒體 A1:輸入領域 A2:預覽領域 A11:輸出資料集顯示領域 A12:學習影像一覽畫面 B1,B11,B2,B21,B3,B31,B32,B4,B41,B5,B51,B52,B53,B54,B6,B61,B71,B81,B91,B92,B93:輸入方塊 B12~B14:按鈕 B22:執行鈕 B82:方塊 C1,C11:核取方塊 I1~I3:小圖示 T1~T5,T11~T14:頁籤

[圖1]本技術的一實施形態所述之AI學習系統的構成例的圖示。 [圖2]資料集生成裝置生成資料集的流程的說明圖。 [圖3]各設定的輸入介面之例子、與各設定中所被輸入的資訊之例子的圖示。 [圖4]圖2的步驟S5中所被進行的資料集生成之細節的說明圖。 [圖5]適合於使用案例的影像之選擇時所被使用的表格之例子的圖示。 [圖6]資料集被生成後的流程的說明圖。 [圖7]GUI上的顯示的輸出介面之例子、與所被顯示的資訊之例子的圖示。 [圖8]輸入GUI的第1顯示例的圖示。 [圖9]輸入GUI的第2顯示例的圖示。 [圖10]輸入GUI的第3顯示例的圖示。 [圖11]輸入GUI的第4顯示例的圖示。 [圖12]輸入GUI的第5顯示例的圖示。 [圖13]輸出GUI的第1顯示例的圖示。 [圖14]學習影像一覽畫面的顯示例的圖示。 [圖15]輸出GUI的第2顯示例的圖示。 [圖16]輸出GUI的第3顯示例的圖示。 [圖17]輸出GUI的第4顯示例的圖示。 [圖18]資料集生成裝置的構成例的區塊圖。 [圖19]相機模擬之例子的圖示。 [圖20]AI引擎所致之影像輸出之例子的圖示。 [圖21]資料集生成裝置所進行之處理的說明用流程圖。 [圖22]輸入GUI的其他顯示例的圖示。 [圖23]電腦的硬體的構成例的區塊圖。

Claims (19)

1. 一種資訊處理裝置，係具備： 選擇部，係從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇前記學習模型之學習時所被使用之學習影像。
2. 如請求項1所記載之資訊處理裝置，其中， 還具備：顯示控制部，係將用來讓使用者輸入前記使用案例所需之輸入手段，加以顯示。
3. 如請求項2所記載之資訊處理裝置，其中， 用來輸入前記使用案例所需之輸入手段，係包含：下拉式選單、文字方塊、組合方塊、及小圖示之其中任一者。
4. 如請求項2所記載之資訊處理裝置，其中， 還具備：加工處理部，係對前記學習影像，施行以關於拍攝被輸入至前記學習模型之影像之相機的資訊為依據的加工處理。
5. 如請求項4所記載之資訊處理裝置，其中， 前記加工處理部，係藉由將因為前記相機之攝影而在影像所產生的劣化與雜訊之其中至少任一者附加至前記學習影像，以進行前記加工處理。
6. 如請求項4所記載之資訊處理裝置，其中， 前記顯示控制部，係在對前記學習影像施行前記加工處理之前，將已被選擇作為前記學習影像的影像之一覽，加以顯示。
7. 如請求項4所記載之資訊處理裝置，其中， 前記顯示控制部，係在對前記學習影像施行前記加工處理之前，將已被施行過前記加工處理的影像，加以顯示。
8. 如請求項4所記載之資訊處理裝置，其中， 前記顯示控制部，係將用來輸入關於前記相機的資訊所需之輸入手段，加以顯示。
9. 如請求項8所記載之資訊處理裝置，其中， 關於前記相機的資訊係包含：關於前記相機中所被設置的影像感測器與鏡頭之其中至少任一者的資訊。
10. 如請求項9所記載之資訊處理裝置，其中， 用來輸入關於前記相機的資訊所需之輸入手段係還包含：用來輸入前記影像感測器之型號或特性、及前記鏡頭之種類之其中至少任一者所需之輸入手段。
11. 如請求項1所記載之資訊處理裝置，其中， 前記選擇部，係從前記影像群之中，隨應於已被使用者所輸入的被攝體之種類、背景之種類、亮度、頻率、及對比度之其中至少任一者，來選擇前記學習影像。
12. 如請求項1所記載之資訊處理裝置，其中， 前記選擇部，係將基於已被使用者所輸入的影像而從前記影像群之中所被選擇出來的影像、或已被前記使用者所輸入的影像，當作前記學習影像而進行追加。
13. 如請求項1所記載之資訊處理裝置，其中， 前記選擇部，係將基於已被使用者所輸入的CG模型而被生成的影像，當作前記學習影像而進行追加。
14. 如請求項1所記載之資訊處理裝置，其中， 前記選擇部，係基於已被登錄有，前記影像群中所包含的各影像的適合於所定之使用案例中所被使用之前記學習模型之學習之程度的表格，來選擇前記學習影像。
15. 如請求項1所記載之資訊處理裝置，其中，還具備： 輸出部，係對實施前記學習模型之學習的學習裝置，輸出前記學習影像；和 顯示控制部，係在前記學習影像被輸出之前，顯示前記學習影像之一覽。
16. 如請求項15所記載之資訊處理裝置，其中， 前記顯示控制部，係在前記學習影像被輸出之前，將對應於前記學習影像的詮釋資料與統計量之其中至少任一者之一覽，加以顯示。
17. 如請求項15所記載之資訊處理裝置，其中， 前記顯示控制部，係在前記學習影像被輸出之前，將：由複數個前記學習影像所構成的資料集的統計量、表示複數個前記學習影像各者的被攝體或背景之種類的資訊、表示前記資料集中的前記被攝體或前記背景的種類之分布的資訊之其中至少任一者，加以顯示。
18. 一種資訊處理方法，係由資訊處理裝置， 從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇前記學習模型之學習時所被使用之學習影像。
19. 一種電腦可讀取之記錄媒體，係記錄有程式，其係用來令以下處理被執行： 從預先保持的影像群之中，隨應於把影像當作輸入的學習模型之使用案例，來選擇前記學習模型之學習時所被使用之學習影像。

Images