WO2023032374A1 - データ生成方法、学習方法、撮像装置、及びプログラム - Google Patents

データ生成方法、学習方法、撮像装置、及びプログラム Download PDF

Info

Publication number
WO2023032374A1
WO2023032374A1 PCT/JP2022/022229 JP2022022229W WO2023032374A1 WO 2023032374 A1 WO2023032374 A1 WO 2023032374A1 JP 2022022229 W JP2022022229 W JP 2022022229W WO 2023032374 A1 WO2023032374 A1 WO 2023032374A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
color
image
image data
processing
Prior art date
Application number
PCT/JP2022/022229
Other languages
English (en)
French (fr)
Inventor
祐也 西尾
俊輝 小林
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280050879.3A priority Critical patent/CN117769838A/zh
Publication of WO2023032374A1 publication Critical patent/WO2023032374A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Definitions

  • the learning execution unit 84 performs the learning process of inputting the second image data 104 to the CNN 110, calculating the error 112, calculating a plurality of adjustment values 114, and adjusting a plurality of optimization variables in the CNN 110 using a plurality of teacher data. 108 is repeated. That is, the learning execution unit 84 uses a plurality of adjustment values 114 calculated so as to minimize the error 112 for each of the plurality of second image data 104 included in the plurality of teacher data 108, and calculates a plurality of CNN 110 is optimized by adjusting optimization variables.
  • a trained model 116 is generated by optimizing the CNN 110 in this way.
  • the trained model 116 is stored in a default storage device by the learning executing section 84 .
  • Examples of the default storage device include the NVM 72 of the information processing device 14 (see FIG. 3), the NVM 50 of the imaging device 12, and the like.
  • the trained model 116 stored in the predetermined storage device is used by the imaging device 12 for AI-based subject detection processing, for example.
  • the color chart information 94 the second RAM data 92 obtained by capturing the color chart 90 with the reference imaging device 60 is subjected to the first image processing 86.
  • Information obtained by performing the second image processing 86A corresponding to a part of the processing is used (see FIG. 6). Since the color chart information 94 is information that serves as a reference for generating the first information 96 using the third image processing 86B, using a part of the image processing of the first image processing 86 corresponding to all image processing, preferably created.
  • a plurality of first image data sets based on a plurality of first image data 20 generated by mutually different imaging devices are generated.
  • the two-image data 104 by bringing the color of each image represented by each of the second image data 104 closer to the reference color, color variations between image capturing apparatuses are reduced. Therefore, the second image data 104 are suitable for AI teaching data because the color reference is unified compared to the case where the contents of image processing of different imaging devices are not considered at all. Therefore, in the information processing system 10 according to this embodiment, machine learning is performed using the teacher data 108 including the second image data 104 . Therefore, according to this configuration, it is possible to obtain a trained model 116 capable of achieving highly accurate inference compared to the case where machine learning is not performed using teacher data including the second image data 104 .
  • color chart information 94 is generated by capturing an image of the color chart 90 with a reference imaging device 60 having an image sensor having the same spectral characteristics as the image sensor 24 of the imaging device 12 . You may do so.
  • the color chart information 94 thus obtained is information generated based on the spectral characteristics of the imaging device.
  • the processor 48 externally acquires an imaging device spectral characteristic 118, which is the spectral characteristic of the imaging device 12, and a color chart spectral characteristic 120, which is the spectral characteristic of the color chart 90.
  • Color patch information 122 may be generated based on device spectral characteristics 118 and color patch spectral characteristics 120 .

Abstract

データ生成方法は、撮像装置によって被写体が撮像されることで得られ、機械学習に用いられる画像データであり、かつ、付帯情報を有する第１画像データを生成する。データ生成方法は、撮像装置が第１画像処理を行うことで第１画像データを生成する第１生成工程と、付帯情報に含まれる情報として、第１画像処理に関する画像処理情報に基づく第１情報を生成する第２生成工程と、を備える。

Description

データ生成方法、学習方法、撮像装置、及びプログラム
　本開示の技術は、データ生成方法、学習方法、撮像装置、及びプログラムに関する。
　特開２０１８－１５２８０４号公報には、カラーチャートを撮影して得た画像から抽出したＲＧＢデータに対して、３次元ＲＧＢ色空間における３次元幾何学変換を、誤差の共分散行列を考慮した統計的に最適な方法により推定する方法が開示されている。また、文献１には、複数の異なる自由度の幾何学変換モデルの推定結果から、幾何学的モデル選択によりモデルの複雑さと当てはまりのよさをバランスする最適なモデルを決定し、選択された３次元幾何学変換による色補正処理を３次元ルックアップテーブル補間により計算することにより、カラーチャートを含むシーンを撮影した異なる機種の様々なカメラ間のカラーマッチングを行う方法が開示されている。
　特開平９－２８４５８１号公報には、第１～第４の変換手段及び出力手段を備えた色シミュレーション装置が開示されている。第１の変換手段は、被写体の各色を光源に依存しない分光反射率分布または分光透過率分布を多変量解析することにより得られる少なくとも３つの特徴パラメータと特徴パラメータ係数で表現する手段である。また、第１の変換手段は、入力された色情報値を、該色情報値に対応する少なくとも３つの特徴パラメータ係数に変換する。第２の変換手段は、第１の変換手段からの少なくとも３つの特徴パラメータ係数を、多変量解析により得られた少なくとも３つの特徴パラメータ信号により分光反射率信号若しくは分光透過率信号に変換する。第３の変換手段は、第２の変換手段で変換された分光反射率分布または分光透過率分布を、指定された光源の分光情報に基づいて、色彩値信号に変換する。第４の変換手段は、複数のニューラルネットワークからなり、準備時において、あらかじめプリンタから出力された色分解値が既知の標準色見本の光源別の色彩値を入力として与え、標準色見本の色分解値を教師信号として与え、ニューラルネットワークの学習を行なわせる機能と、変換時には前記第３の変換手段からの光源の情報が既知の色彩値を学習済みの光源別のネットワークに選択的に入力することにより、色分解値を出力する機能とを有する。出力手段は、第４の変換手段で変換された色分解値により、現画像を出力する。
　本開示の技術に係る一つの実施形態は、画像処理が行われた画像データにより示される画像の画質について、画像処理に起因するばらつきを軽減することができるデータ生成方法、学習方法、撮像装置、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、撮像装置によって被写体が撮像されることで得られ、機械学習に用いられる画像データであり、かつ、付帯情報を有する第１画像データを生成するデータ生成方法であって、撮像装置が第１画像処理を行うことで第１画像データを生成する第１生成工程と、付帯情報に含まれる情報として、第１画像処理に関する画像処理情報に基づく第１情報を生成する第２生成工程と、を備えるデータ生成方法である。
　本開示の技術に係る第２の態様は、イメージセンサと、プロセッサと、を備え、プロセッサが、イメージセンサによって被写体が撮像されることで生成された撮像信号に対して第１画像処理を行うことで、機械学習に用いられる第１画像データを生成し、第１画像データが有する付帯情報に含まれる情報として、第１画像処理に関する画像処理情報に基づく第１情報を生成する撮像装置である。
　本開示の技術に係る第３の態様は、撮像装置によって被写体が撮像されることで得られ、機械学習に用いられる画像データであり、かつ、付帯情報を有する第１画像データを生成するデータ生成処理をコンピュータに実行させるためのプログラムであって、データ生成処理が、撮像装置が第１画像処理を行うことで第１画像データを生成すること、及び、付帯情報に含まれる情報として、第１画像処理に関する画像処理情報に基づく第１情報を生成すること、を含むプログラムである。
情報処理システムの全体の構成の一例を示す概略構成図である。 撮像装置の電気系のハードウェア構成の一例を示す概略構成図である。 情報処理装置の電気系のハードウェア構成の一例を示す概略構成図である。 第１生成部の処理内容の一例を示す概念図である。 第２画像処理及び第３画像処理の処理内容の一例を示す概念図である。 第２生成部の処理内容の一例を示す概念図である。 第１生成部及び演算部の処理内容の一例を示す概念図である。 教師データ生成部の処理内容の一例を示す概念図である。 学習実行部の処理内容の一例を示す概念図である。 データ生成処理の流れの一例を示すフローチャートである。 機械学習処理の流れの一例を示すフローチャートである。 図６に示す色票よりも色パッチの種類が多い色票を用いた場合の第２生成部の処理内容の一例を示す概念図である。 図７に示す色票よりも色パッチの種類が多い色票を用いた場合の演算部の処理内容の一例を示す概念図である。 撮像装置で用いられる色票情報と情報処理装置で用いられる基準色情報とが同じ情報である場合の撮像装置及び情報処理装置での処理内容の一例を示す概念図である。 色票情報の生成方法の変形例を示す概念図である。
　以下、添付図面に従って本開示の技術に係るデータ生成方法、学習方法、撮像装置、及びプログラムの実施形態の一例について説明する。
　一例として図１に示すように、情報処理システム１０は、撮像装置１２及び情報処理装置１４を備えている。撮像装置１２及び情報処理装置１４は、互いに通信可能に接続されている。なお、本実施形態において、撮像装置１２は、本開示の技術に係る「撮像装置」の一例である。
　撮像装置１２は、被写体１６を撮像することで、付帯情報１８を有する第１画像データ２０を生成する。第１画像データ２０は、機械学習に用いられる画像データである。機械学習は、例えば、情報処理装置１４によって実行される。詳しくは後述するが、付帯情報１８は、第１画像データ２０に関するメタデータである。
　撮像装置１２は、撮像装置本体２１及び交換レンズ２２を備えている。交換レンズ２２は、撮像装置本体２１に交換可能に装着される。図１に示す例では、撮像装置１２の一例として、レンズ交換式のデジタルカメラが示されている。
　但し、これは、あくまでも一例に過ぎず、レンズ固定式のデジタルカメラであってもよいし、スマートデバイス、ウェアラブル端末、細胞観察装置、眼科観察装置、又は外科顕微鏡等の各種の電子機器に搭載されるデジタルカメラであってもよい。
　撮像装置本体２１には、イメージセンサ２４が設けられている。イメージセンサ２４は、本開示の技術に係る「イメージセンサ」の一例である。イメージセンサ２４は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサである。
　撮像装置本体２１の上面にはレリーズボタン２５が設けられている。ユーザによってレリーズボタン２５が操作されると、イメージセンサ２４は、被写体１６を含む撮像範囲を撮像する。交換レンズ２２が撮像装置本体２１に装着された場合に、被写体１６を示す被写体光は、交換レンズ２２を透過してイメージセンサ２４に結像され、被写体１６の画像を示すアナログ画像データ５６（図２参照）がイメージセンサ２４によって生成される。
　本実施形態では、イメージセンサ２４としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、イメージセンサ２４がＣＣＤ（Charge Coupled Device）イメージセンサ等の他種類のイメージセンサであっても本開示の技術は成立する。
　情報処理装置１４は、機械学習に用いられる装置である。情報処理装置１４は、コンピュータ２６、受付装置２８、及びディスプレイ３０を備えており、アノテータ３２によって使用される。アノテータ３２とは、与えられたデータに対して機械学習用のアノテーションを付与する作業者（すなわち、ラベリングを行う作業者）を指す。
　コンピュータ２６には、撮像装置本体２１が通信可能に接続されている。図１に示す例では、撮像装置本体２１及びコンピュータ２６が通信ケーブル３４を介して接続されている。なお、図１に示す例では、撮像装置本体２１とコンピュータ２６とが有線接続されている形態例が示されているが、本開示の技術はこれに限定されず、撮像装置本体２１とコンピュータ２６との接続は、無線接続であってもよい。
　コンピュータ２６には、受付装置２８が接続されている。受付装置２８は、キーボード３６及びマウス３８等を有しており、アノテータ３２からの指示を受け付ける。
　一例として図２に示すように、撮像装置１２は、イメージセンサ２４の他に、コンピュータ４０、ＵＩ（User Interface）系装置４２、Ａ／Ｄ（Analog/Digital）変換器４４、及び外部Ｉ／Ｆ（Interface）４６を備えている。
　コンピュータ４０は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ４０は、プロセッサ４８、ＮＶＭ（Non-volatile memory）５０、及びＲＡＭ（Random Access Memory）５２を備えている。
　プロセッサ４８、ＮＶＭ５０、及びＲＡＭ５２は、バス５４に接続されている。また、イメージセンサ２４、ＵＩ系装置４２、Ａ／Ｄ変換器４４、及び外部Ｉ／Ｆ４６も、バス５４に接続されている。
　プロセッサ４８は、本開示の技術に係る「プロセッサ」の一例である。プロセッサ４８は、撮像装置１２の全体を制御する。プロセッサ４８は、例えば、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）を含む処理装置であり、ＧＰＵは、ＣＰＵの制御下で動作し、画像に関する処理の実行を担う。
　ここでは、プロセッサ４８の一例としてＣＰＵ及びＧＰＵを含む処理装置を挙げているが、これはあくまでも一例に過ぎず、プロセッサ４８は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。
　ＮＶＭ５０は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ５０としては、例えば、フラッシュメモリ（例えば、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory））が挙げられる。ＲＡＭ５２は、一時的に情報が記憶されるメモリであり、プロセッサ４８によってワークメモリとして用いられる。ＲＡＭ５２としては、例えば、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等が挙げられる。
　ＵＩ系装置４２は、ユーザからの指示を示す指示信号を受け付ける受付機能と、ユーザに対して情報を提示する提示機能とを有する装置である。受付機能は、例えば、タッチパネル及びハードキー（例えば、レリーズボタン２５及びメニュー選択キー）等によって実現される。提示機能は、例えば、ディスプレイ及びスピーカ等によって実現される。
　イメージセンサ２４は、プロセッサ４８の制御下で、被写体１６（図１参照）を撮像する。イメージセンサ２４には、Ａ／Ｄ変換器（図示省略）が組み込まれており、イメージセンサ２４によって撮像されることによって得られたアナログ画像データをデジタル化することで、ＲＡＷデータである第１ＲＡＷ（Raw image format）データ５８を生成する。第１ＲＡＷデータ５８は、Ｒ（赤）画素、Ｇ（緑）画素、及びＢ（青）画素がモザイク状に配列された画像を示すデータである。プロセッサ４８は、Ａ／Ｄ変換器４４から第１ＲＡＷデータ５８を取得し、取得した第１ＲＡＷデータ５８に対して、デモザイク処理等を含む第１画像処理８６（図４及び図５参照）を行う。なお、第１ＲＡＷデータ５８は、本開示の技術に係る「撮像信号」の一例である。
　外部Ｉ／Ｆ４６は、撮像装置１２の外部に存在する装置（以下、「外部装置」とも称する）とプロセッサ４８との間の各種情報の授受を司る。外部Ｉ／Ｆ４６の一例としては、ＵＳＢ（Universal Serial Bus）インタフェースが挙げられる。外部Ｉ／Ｆ４６には、外部装置として、情報処理装置１４、基準撮像装置６０、スマートデバイス、パーソナル・コンピュータ、サーバ、ＵＳＢメモリ、メモリカード、又はプリンタ等が直接的又は間接的に接続される。基準撮像装置６０の一例としては、例えば、撮像装置１２に相当する機能を有する撮像装置が挙げられる。
　ところで、撮像装置１２を含む複数の撮像装置（例えば、異なるメーカで製造された複数の撮像装置）の各々によって被写体１６（図１参照）が撮像されることで得られる画像データにより示される画像の画質は、撮像装置間で同種の画像処理が行われたとしても、各撮像装置で行われる画像処理に対して用いられるパラメータの違い等に起因して、ばらつくことがある。例えば、ホワイトバランス補正処理で用いられるホワイトバランスゲイン（以下、「ＷＢゲイン」とも称する）が撮像装置間で異なると、各撮像装置によって被写体１６が撮像されることで得られる各画像の色味が異なる。また、各画像の色味が異なるだけでなく、撮像装置の画像処理に用いられる各種のパラメータ次第で、被写体１６（図１参照）の本来の色味とは全く異なる色味の画像が得られてしまうこともある。
　そこで、このような事情に鑑み、撮像装置１２は、プロセッサ４８によってデータ生成処理（図４～図７及び図１０参照）が行われるように構成されている。データ生成処理は、プロセッサ４８がデータ生成処理プログラム６２に従って第１生成部６４及び第２生成部６６として動作することで実現される。データ生成処理プログラム６２は、本開示の技術に係る「プログラム」の一例である。
　図２に示す例では、ＮＶＭ５０にデータ生成処理プログラム６２が記憶されている。プロセッサ４８は、ＮＶＭ６２からデータ生成処理プログラム６２を読み出し、読み出したデータ生成処理プログラム６２をＲＡＭ５２上で実行する。プロセッサ４８は、ＲＡＭ５２上で実行するデータ生成処理プログラム６２に従って第１生成部６４及び第２生成部６６として動作することでデータ生成処理を行う。
　一例として図３に示すように、情報処理装置１４は、コンピュータ２６、受付装置２８、及びディスプレイ３０の他、外部Ｉ／Ｆ６８を備えている。
　コンピュータ２６は、プロセッサ７０、ＮＶＭ７２、及びＲＡＭ７４を備えている。プロセッサ７０、ＮＶＭ７２、及びＲＡＭ７４は、バス７６に接続されている。また、受付装置２８、ディスプレイ３０、及び外部Ｉ／Ｆ６８も、バス７６に接続されている。
　プロセッサ７０は、情報処理装置１４の全体を制御する。プロセッサ７０、ＮＶＭ７２、及びＲＡＭ７４は、上述したプロセッサ４８、ＮＶＭ５０、及びＲＡＭ５２と同様のハードウェア資源である。
　受付装置２８は、アノテータ３２（図１参照）からの指示を受け付ける。プロセッサ７０は、受付装置２８によって受け付けられた指示に従って動作する。
　外部Ｉ／Ｆ６８は、上述した外部Ｉ／Ｆ４６と同様のハードウェア資源である。外部Ｉ／Ｆ６８は、撮像装置１２の外部Ｉ／Ｆ４６に接続されており、撮像装置１２とプロセッサ７０との間の各種情報の授受を司る。
　ＮＶＭ７２には、機械学習処理プログラム７８が記憶されている。プロセッサ７０は、ＮＶＭ７２から機械学習処理プログラム７８を読み出し、読み出した機械学習処理プログラム７８をＲＡＭ７４上で実行する。プロセッサ７０は、ＲＡＭ７４上で実行する機械学習処理プログラム７８に従って機械学習処理を行う。機械学習処理は、プロセッサ７０が機械学習処理プログラム７８に従って演算部８０、教師データ生成部８２、及び学習実行部８４として動作することで実現される。
　一例として図４に示すように、第１生成部６４は、第１ＲＡＷデータ５８に対して第１画像処理８６を行うことで第１画像データ２０を生成する。ここで、第１画像データ２０を生成する工程は、本開示の技術に係る「第１生成工程」の一例である。
　第１画像処理８６には、第１画像処理８６の一部の処理である第２画像処理８６Ａ、及び、第１画像処理８６の一部の処理である第３画像処理８６Ｂが含まれている。ここで、第２画像処理８６Ａは、本開示の技術に係る「第１画像処理の一部の処理に相当する第２画像処理」の一例である。
　第１生成部６４は、第１ＲＡＷデータ５８に対して第１画像処理８６（例えば、第２画像処理８６Ａ及び第３画像処理８６Ｂ）を行うことで処理済み画像データ８８を生成し、生成した処理済み画像データ８８に対して付帯情報１８を紐付けることで第１画像データ２０を生成する。
　一例として図５に示すように、第１生成部６４は、デモザイク処理部６４Ａ、ホワイトバランス補正部６４Ｂ、色補正部６４Ｃ、ガンマ補正部６４Ｄ、色空間変換部６４Ｅ、輝度処理部６４Ｆ、色差処理部６４Ｇ、色差処理部６４Ｈ、リサイズ処理部６４Ｉ、及び圧縮処理部６４Ｊを備えている。
　第２画像処理８６Ａの一例としては、デモザイク処理部６４Ａによって行われる処理が挙げられる。第３画像処理８６Ｂの一例としては、ホワイトバランス補正部６４Ｂによっ
て行われる処理、色補正部６４Ｃによって行われる処理、ガンマ補正部６４Ｄによって行われる処理、色空間変換部６４Ｅによって行われる処理、輝度処理部６４Ｆによって行われる処理、色差処理部６４Ｇによって行われる処理、色差処理部６４Ｈによって行われる処理、リサイズ処理部６４Ｉによって行われる処理、及び圧縮処理部６４Ｊによって行われる処理が挙げられる。
　デモザイク処理部６４Ａは、第１ＲＡＷデータ５８に対してデモザイク処理を行う。デモザイク処理は、第１ＲＡＷデータ５８をＲ、Ｇ、及びＢに３板化する処理である。すなわち、デモザイク処理部６４Ａは、第１ＲＡＷデータ５８に含まれるＲ信号、Ｇ信号、及びＢ信号に色補間処理を施すことにより、Ｒに対応する画像を示すＲ画像データ、Ｇに対応する画像を示すＢ画像データ、及びＧに対応する画像を示すＧ画像データを生成する。ここで、色補間処理とは、各画素が有さない色を周辺画素から補間する処理を指す。すなわち、光電変換素子２４Ａ（図２参照）の各感光画素においては、Ｒ信号、Ｇ信号、又はＢ信号（すなわち、Ｒ、Ｇ、及びＢのうちの１色の画素に対応する信号値）しか得られないため、デモザイク処理部６４Ａは、各画素において得られない他の色について、周辺の画素の信号値を用いて補間する。なお、以下では、Ｒ画像データ、Ｂ画像データ、及びＧ画像データを、「ＲＧＢ画像データ」とも称する。
　ホワイトバランス補正部６４Ｂは、デモザイク処理が行われることで得られたＲＧＢ画像データに対してホワイトバランス補正処理を行う。ホワイトバランス補正処理は、Ｒ画素、Ｇ画素、及びＢ画素の各々について設定されたＷＢゲインを、ＲＧＢの色信号に乗じることで、ＲＧＢの色信号について光源種の色の影響を補正する処理である。ＷＢゲインは、例えば、白色に対するゲインである。白色に対するゲインの一例としては、画像に写り込んでいる白色の被写体に対してＲ信号、Ｇ信号、及びＢ信号の各信号レベルが等しくなるように定められたゲインが挙げられる。ＷＢゲインは、例えば、画像解析が行われることによって特定された光源種に応じて設定されたり、ユーザ等によって指定された光源種に応じて設定されたりする。
　色補正部６４Ｃは、ホワイトバランス補正処理が行われたＲＧＢ画像データに対して色補正処理（ここでは、一例として、リニアマトリクスによる色補正）を行う。色補正処理は、色相及び色飽和特性を調整する処理である。色補正処理の一例としては、ＲＧＢ画像データに対して色再現係数（例えば、リニアマトリクス係数）を乗じることで色再現性を変化させる処理が挙げられる。なお、色再現係数は、Ｒ、Ｇ、及びＢの分光特性を人間の視感度特性に近付けるように定められた係数である。
　ガンマ補正部６４Ｄは、色補正処理が行われたＲＧＢ画像データに対してガンマ補正処理を行う。ガンマ補正処理は、画像の階調の応答特性を示す値、すなわち、ガンマ値に従ってＲＧＢ画像データにより示される画像の階調を補正する処理である。
　色空間変換部６４Ｅは、色補正処理が行われたＲＧＢ画像データに対して色空間変換処理を行う。色空間変換処理は、色補正処理が行われたＲＧＢ画像データの色空間をＲＧＢ色空間からＹＣｂＣｒ色空間に変換する処理である。すなわち、色空間変換部６４Ｅは、ＲＧＢ画像データを輝度・色差信号に変換する。輝度・色差信号は、Ｙ信号、Ｃｂ信号、及びＣｒ信号である。Ｙ信号は、輝度を示す信号である。以下、Ｙ信号を輝度信号と記載する場合もある。Ｃｂ信号は、Ｂ信号から輝度成分を減じた信号を調整することで得られた信号である。Ｃｒ信号は、Ｒ信号から輝度成分を減じた信号を調整することで得られた信号である。以下、Ｃｂ信号及びＣｒ信号を色差信号と記載する場合もある。
　輝度処理部６４Ｆは、Ｙ信号に対して輝度フィルタ処理を行う。輝度フィルタ処理は、Ｙ信号を、輝度フィルタ（図示省略）を用いてフィルタリングする処理である。例えば、輝度フィルタは、デモザイク処理で生じた高周波ノイズを低減したり、シャープネスを強調したりするフィルタである。Ｙ信号に対する信号処理、すなわち、輝度フィルタによるフィルタリングは、輝度フィルタパラメータに従って行われる。輝度フィルタパラメータは、輝度フィルタに対して設定されるパラメータである。輝度フィルタパラメータは、デモザイク処理で生じた高周波ノイズを低減する度合い、及びシャープネスを強調する度合いを規定している。輝度フィルタパラメータは、例えば、撮像条件、又は、ＵＩ系装置４２（図２参照）によって受け付けられた指示信号に従って変更される。
　色差処理部６４Ｇは、Ｃｂ信号に対して第１色差フィルタ処理を行う。第１色差フィルタ処理は、Ｃｂ信号を、第１色差フィルタ（図示省略）を用いてフィルタリングする処理である。例えば、第１色差フィルタは、Ｃｂ信号に含まれる高周波ノイズを低減するローパスフィルタである。Ｃｂ信号に対する信号処理、すなわち、第１色差フィルタによるフィルタリングは、指定された第１色差フィルタパラメータに従って行われる。第１色差フィルタパラメータは、第１色差フィルタに対して設定されるパラメータである。第１色差フィルタパラメータは、Ｃｂ信号に含まれる高周波ノイズを低減する度合いを規定している。第１色差フィルタパラメータは、例えば、撮像条件、又は、ＵＩ系装置４２（図２参照）によって受け付けられた指示信号に従って変更される。
　色差処理部６４Ｈは、Ｃｒ信号に対して第２色差フィルタ処理を行う。第２色差フィルタ処理は、Ｃｒ信号を、第２色差フィルタ（図示省略）を用いてフィルタリングする処理である。例えば、第２色差フィルタは、Ｃｒ信号に含まれる高周波ノイズを低減するローパスフィルタである。Ｃｒ信号に対する信号処理、すなわち、第２色差フィルタによるフィルタリングは、指定された第２色差フィルタパラメータに従って行われる。第２色差フィルタパラメータは、第２色差フィルタに対して設定されるパラメータである。第２色差フィルタパラメータは、Ｃｒ信号に含まれる高周波ノイズを低減する度合いを規定している。第２色差フィルタパラメータは、例えば、撮像条件、又は、ＵＩ系装置４２（図２参照）によって受け付けられた指示信号に従って変更される。
　リサイズ処理部６４Ｉは、輝度・色差信号に対してリサイズ処理を行う。リサイズ処理は、輝度・色差信号により示される画像のサイズを、ユーザ等によって指定されたサイズに合わせるように輝度・色差信号を調節する処理である。
　圧縮処理部６４Ｊは、リサイズ処理が行われた輝度・色差信号に対して圧縮処理を行う。圧縮処理は、例えば、輝度・色差信号を既定の圧縮方式に従って圧縮する処理である。既定の圧縮方式としては、例えば、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、又は、ＪＰＥＧ　ＸＲ（Joint Photographic Experts Group Extended Range）等が挙げられる。輝度・色差信号に対して圧縮処理が行われることによって処理済み画像データ８８が得られる。圧縮処理部６４Ｊは、処理済み画像データ８８を既定の記憶装置（例えば、ＲＡＭ５２（図２参照））に記憶させる。
　一例として図６に示すように、基準撮像装置６０は、色票９０を撮像することで第２ＲＡＷデータ９２を生成する。第２ＲＡＷデータ９２は、本開示の技術に係る「色票撮像信号」の一例である。
　色票９０は、複数の色パッチ９０Ａを含む。図６に示す例では、色票９０の一例として、２４色の矩形状の色パッチ９０Ａが配列された板状の物体が示されている。第２ＲＡＷデータ９２は、第１ＲＡＷデータ５８を得るために撮像装置１２によって行われた処理と同様の処理が基準撮像装置６０によって行われることで得られたＲＡＷデータである。
　基準撮像装置６０では、第２ＲＡＷデータ９２に対して第２画像処理８６Ａが行われることによって、色票９０を示す色票情報９４が生成される。例えば、色票情報９４は、複数の色パッチ９０Ａ（一例として、２４色の色パッチ９０Ａ）の各々についてのＲ、Ｇ及びＢの信号値（例えば、０～２５５の２５６階調の画素毎の出力値）として表現される。すなわち、色票情報９４は、複数の色パッチ９０ＡがＲ、Ｇ及びＢの信号値として規定された情報である。ここで、Ｒの信号値は、本開示の技術に係る「第１原色を示す第１信号値」の一例であり、Ｇの信号値は、本開示の技術に係る「第２原色を示す第２信号値」の一例であり、Ｂの信号値は、本開示の技術に係る「第３原色を示す第３信号値」の一例である。
　このようにして得られた色票情報９４は、撮像装置１２に予め記憶されている。図６に示す例では、色票情報９４は、ＮＶＭ５０に予め記憶されている。
　第２生成部６６は、付帯情報１８に含まれる情報として、第１情報９６を生成する。第１情報９６は、第１画像処理８６（図４参照）に関する画像処理情報（以下、単に「画像処理情報」とも称する）に基づく情報である。ここで、第１情報９６を生成する工程は、本開示の技術に係る「第２生成工程」の一例である。
　画像処理情報の一例としては、第３画像処理８６Ｂで用いられる各種パラメータが挙げられる。各種パラメータとしては、例えば、ホワイトバランス補正処理で用いられるＷＢゲイン、ガンマ補正処理で用いられるガンマ値、色補正処理で用いられる色再現係数、色空間変換処理で用いられる変換係数、輝度フィルタ処理で用いられる輝度フィルタパラメータ、第１色差フィルタ処理で用いられる第１色差フィルタパラメータ、第２色差フィルタ処理で用いられる第２色差フィルタパラメータ、リサイズ処理で用いられるパラメータ、及び圧縮処理で用いられるパラメータが挙げられる。なお、画像処理情報は、第１画像処理８６の一部を考慮しない画像処理情報であってもよい。例えば、画像処理情報は、ホワイバランス補正処理を考慮しない情報であってもよい。
　第１情報９６は、色票情報９４と画像処理情報とに基づく情報である。換言すると、第１情報９６は、色票情報９４から派生した色情報である。色票情報９４から派生した色情報の一例としては、色票情報９４が表現されたＲ、Ｇ及びＢの信号値に対して画像処理情報が加味されることによって、色票情報９４が表現されたＲ、Ｇ及びＢの信号値を変更させて得られた情報が挙げられる。
　第１情報９６、すなわち、色票情報９４と画像処理情報とに基づく情報は、例えば、色票情報９４に対して、第１画像処理８６の一部の処理である第３画像処理８６Ｂが行われることによって得られる。図６に示す例において、生成部６６は、ＮＶＭ５０から色票情報９４を取得し、取得した色票情報９４に対して第３画像処理８６Ｂを行うことで第１情報９６を生成する。第１情報９６は、複数の色パッチ９０Ａ（一例として、２４色の色パッチ９０Ａ）の各々についてのＲ、Ｇ及びＢの信号値として表現される。
　第２生成部６６は、付帯情報１８に含まれる情報として、第２情報９８を生成する。第２情報９８は、第３画像処理８６Ｂに含まれるホワイトバランス補正処理で用いられるゲインに関する情報である。本実施形態では、第２情報９８として、色票情報９４に対して行われたホワイトバランス補正処理で用いられたＷＢゲインが適用されている。
　なお、これは、あくまでも一例に過ぎず、ＷＢゲインを算出するために用いられる信号値そのものであってもよく、ホワイトバランス補正処理で用いられるゲインに関する情報であればよい。
　また、図６に示す例では、付帯情報１８に含まれる情報として、第１情報９６及び第２情報９８が示されているが、本開示の技術はこれに限定されず、付帯情報１８には、更に、撮像装置１２によって被写体検出処理（例えば、ＡＩ（Artificial Intelligence）方式又はテンプレートマッチング方式の被写体検出処理）が行われることで被写体１６（図１参照）が検出されたエリアを特定可能な被写体検出エリア情報、又は、処理済み画像データ８８により示される画像内の指定されたエリアを特定可能な指定エリア情報等が含まれていてもよい。
　一例として図７に示すように、第１生成部６４は、第２生成部６６から、第１情報９６及び第２情報９８を含む付帯情報１８を取得し、取得した付帯情報１８を処理済み画像データ８８に対して紐付けることで第１画像データ２０を生成する。第１生成部６４は、生成した第１画像データ２０を情報処理装置１４に送信する。
　情報処理装置１４は、第１生成部６４から送信された第１画像データ２０を受信する。情報処理装置１４において、演算部８０は、第１画像データ２０に対して付帯情報１８を用いた演算を行うことで、第２画像データ１０４を生成する。例えば、第２画像データ１０４は、第１画像データ２０に対して、付帯情報１８に含まれる第１情報９６と、色票９０の基準色を示す情報である基準色情報１００とを比較した結果を用いた演算が行われることによって生成される。ここで、第２画像データ１０４を生成する工程は、本開示の技術に係る「第３生成工程」の一例である。
　演算部８０が第２画像データ１０４を生成する場合、演算部８０は、基準色情報１００を取得する。例えば、基準色情報１００は、ＮＶＭ７２（図３参照）に予め記憶されており、演算部８０によって取得される。基準色情報１００は、複数の色パッチ９０Ａ（一例として、２４色の色パッチ９０Ａ）の各々についてのＲ、Ｇ及びＢの信号値として表現された情報である。基準色情報１００は、一般的な規格として広く知られている情報であってもよいし、色票９０が測色器（図示省略）によって測色されて得られた情報であってもよい。ここで、「基準色」は、例えば、人の目が知覚する色に近い色、又は、ＡＩの機械学習に適した色等である。
　また、演算部８０が第２画像データ１０４を生成する場合、演算部８０は、第１生成部によって生成された第１画像データ２０を取得し、取得した第１画像データ２０から、処理済み画像データ８８、第１情報９６、及び第２情報９８を抽出する。演算部８０は、第１情報９６と基準色情報１００との差分１０２を算出する。差分１０２の一例としては、色票９０の色パッチ毎の差分が挙げられる。ここでは、差分１０２を挙げているが、これは、あくまでも一例に過ぎず、差分１０２に代えて、第１情報９６及び基準色情報１００の一方に対する他方の割合を適用してもよく、第１情報９６と基準色情報１００との相違度を示す値であれば如何なる値であってもよい。
　演算部８０は、第１情報９６を用いた演算を行うことで処理済み画像データ８８に対して差分１０２を用いた演算を行うことで補正した処理済み画像データ８８を生成する。すなわち、処理済み画像データ８８に対して差分１０２を用いた演算が行われることによって、処理済み画像データ８８が補正した処理済み画像データ８８に変換される。処理済み画像データ８８に対して差分１０２を用いた演算とは、例えば、第１情報９６を基準色情報１００に一致させるのに要する係数、又は、第１情報９６を基準色情報１００に近付けるのに要する係数を処理済み画像データ８８に対して画素単位で乗じる演算を指す。これによって、処理済み画像データ８８により示される画像の色を基準色の色に近付けることができる。
　色票情報９４（図６参照）は、色票９０を適切な白色の光源で撮像されることによって生成されるため、ホワイトバランス補正処理で光源による色の変化を抑制する必要は無い。一方で、実際に撮像されることで得られた画像を示す第１画像データ２０は様々な光源（すなわち、環境光）の下で撮像されることによって得られる画像データであるため、ホワイトバランス補正処理をして光源の影響を抑えた自然な色にすることが重要である。しかし、図７のように、第１画像データ２０により示される画像の色を第１情報９６に基づいて基準色の色に近付ける補正が行われる場合、撮像装置１２で実行されたホワイトバランス補正処理の効果を打ち消してしまい、結果として基準色が光源の色の影響で変化した画像を示す画像データが生成されてしまう。第１情報９６は、ホワイトバランス補正処理を含めた第３画像処理８６Ｂに基づいて生成されているからである。
　そこで、演算部８０は、差分１０２を用いた演算を行うことで補正した処理済み画像データ８８に対して第２情報９８を用いた演算を行うことで、補正した処理済み画像データ８８を補正して第２画像データ１０４を生成する。これによって、光源の色を抑えて基準色に近付けた画像を示す第２画像データ１０４が生成される。処理済み画像データ８８に対して第２情報９８を用いた演算とは、例えば、処理済み画像データ８８に対してホワイトバランス補正処理が行われることで得られた色味を、色票情報９４に対してホワイトバランス補正処理が行われることで得られた色味に一致させるのに要する係数、又は、処理済み画像データ８８に対してホワイトバランス補正処理が行われることで得られた色味を、色票情報９４に対してホワイトバランス補正処理が行われることで得られた色味に近付けるのに要する係数を処理済み画像データ８８に対して画素単位で乗じる演算を指す。
　なお、図６では、第１情報９６はホワイトバランス補正処理を含む第３画像処理８６Ｂの情報に基づいて生成されている。しかし、第３画像処理８６Ｂのうちホワイトバランス補正処理を考慮せずに第１情報９６を生成している場合は、図７における、補正された処理済み画像データ８８に対する第２情報９８を用いた演算をスキップしてもよい。
　前述の通り、第２画像データ１０４により示される画像は基準色に近付けた色を有している。よって、互いに異なる撮像装置（すなわち、画像処理の内容が異なる撮像装置）で生成された複数第１画像データ２０に基づいた複数の第２画像データ１０４であっても、各々の第２画像データ１０４により示される各画像の色を基準色に近付けることで、撮像装置間の色バラツキは低減される。よって、異なる撮像装置の画像処理の内容が全く考慮されていない場合に比べ、これらの第２画像データ１０４は色の基準が統一されているため、ＡＩの教師データに適している。
　演算部８０は、第２情報９８を用いた演算を行うことで補正した処理済み画像データ８８に対して差分１０２を用いた演算を行うことで第２画像データ１０４を生成する。すなわち、処理済み画像データ８８に対して差分１０２を用いた演算が行われることによって、処理済み画像データ８８が第２画像データ１０４に変換される。処理済み画像データ８８に対して差分１０２を用いた演算とは、例えば、第１情報９６を基準色情報１００に一致させるのに要する係数、又は、第１情報９６を基準色情報１００に近付けるのに要する係数を処理済み画像データ８８に対して画素単位で乗じる演算を指す。
　一例として図８に示すように、演算部８０は、ディスプレイ３０に対して、第２画像データ１０４により示される画像を表示させる。この状態で、アノテータ３２は、受付装置２８を介してコンピュータ２６に対して、第２画像データ１０４に関する正解データ１０６を付与する。正解データ１０６には、例えば、第２画像データ１０４により示される画像のうちの指定された領域の位置を特定する位置特定情報（例えば、座標）、及び、位置特定情報から特定される領域に像として含まれる被写体を特定可能な被写体情報（例えば、被写体の名称を示す情報）が含まれている。教師データ生成部８２は、演算部８０から第２画像データ１０４を取得し、取得した第２画像データ１０４に対して、アノテータ３２から付与された正解データ１０６を紐付けることで教師データ１０８を生成する。
　一例として図９に示すように、情報処理装置１４において、学習実行部８４は、教師データ生成部８２によって生成された教師データ１０８を取得する。そして、学習実行部８４は、教師データ１０８を用いて機械学習を実行する。
　図９に示す例において、学習実行部８４は、ＣＮＮ（Convolutional neural network）１１０を有する。学習実行部８４は、教師データ１０８に含まれる第２画像データ１０４をＣＮＮ１１０に入力する。ＣＮＮ１１０は、第２画像データ１０４が入力されると、推論を行い、推論結果を示すＣＮＮ信号１１０Ａを出力する。学習実行部８４は、ＣＮＮ信号１１０Ａと、教師データ１０８に含まれる正解データ１０６との誤差１１２を算出する。
　学習実行部８４は、誤差１１２を最小にする複数の調整値１１４を算出する。そして、学習実行部８４は、複数の調整値１１４を用いてＣＮＮ１１０内の複数の最適化変数を調整することでＣＮＮ１１０を最適化する。ここで、複数の最適化変数とは、例えば、ＣＮＮ１１０に含まれる複数の結合荷重及び複数のオフセット値等を指す。
　学習実行部８４は、第２画像データ１０４のＣＮＮ１１０への入力、誤差１１２の算出、複数の調整値１１４の算出、及びＣＮＮ１１０内の複数の最適化変数の調整、という学習処理を複数の教師データ１０８を用いて繰り返し行う。すなわち、学習実行部８４は、複数の教師データ１０８に含まれる複数の第２画像データ１０４の各々について、誤差１１２が最小になるように算出した複数の調整値１１４を用いてＣＮＮ１１０内の複数の最適化変数を調整することで、ＣＮＮ１１０を最適化する。このようにＣＮＮ１１０が最適されることによって学習済みモデル１１６が生成される。学習済みモデル１１６は、学習実行部８４によって既定の記憶装置に記憶される。既定の記憶装置としては、例えば、情報処理装置１４のＮＶＭ７２（図３参照）又は撮像装置１２のＮＶＭ５０等が挙げられる。既定の記憶装置に記憶された学習済みモデル１１６は、例えば、撮像装置１２によって、ＡＩ方式の被写体検出処理に用いられる。
　次に、情報処理システム１０の作用について図１０及び図１１を参照しながら説明する。
　先ず、撮像装置１２のプロセッサ４８によって実行されるデータ生成処理の流れの一例について図１０を参照しながら説明する。図１０に示すデータ生成処理の流れは、本開示の技術に係る「データ生成方法」の一例である。
　図１０に示すデータ生成処理では、先ず、ステップＳＴ１０で、第１生成部６４は、第１ＲＡＷデータ５８を取得する（図４参照）。ステップＳＴ１０の処理が実行された後、データ生成処理は、ステップＳＴ１２へ移行する。
　ステップＳＴ１２で、第１生成部６４は、ステップＳＴ１０で取得した第１ＲＡＷデータ５８に対して第１画像処理８６を行うことで処理済み画像データ８８を生成する（図４及び図５参照）。ステップＳＴ１２の処理が実行された後、データ生成処理は、ステップＳＴ１４へ移行する。
　ステップＳＴ１４で、第２生成部６６は、ＮＶＭ５０から色票情報９４を取得する（図６参照）。ステップＳＴ１４の処理が実行された後、データ生成処理は、ステップＳＴ１６へ移行する。
　ステップＳＴ１６で、第２生成部６６は、ステップＳＴ１４で取得した色票情報９４に対して第３画像処理８６Ｂを行うことで第１情報９６を生成する（図６参照）。ステップＳＴ１６の処理が実行された後、データ生成処理は、ステップＳＴ１８へ移行する。
　ステップＳＴ１８で、第２生成部６６は、ステップＳＴ１６で行った第３画像処理８６Ｂに含まれるホワイトバランス補正処理で用いられるゲインに関する情報を第２情報９８として生成する（図６参照）。ステップＳＴ１８の処理が実行された後、データ生成処理は、ステップＳＴ２０へ移行する。
　ステップＳＴ２０で、第２生成部６６は、ステップＳＴ１６で生成した第１情報９６、及びステップＳＴ１８で生成した第２情報９８を含む付帯情報１８を生成する（図６参照）。ステップＳＴ２０の処理が実行された後、データ生成処理は、ステップＳＴ２２へ移行する。
　ステップＳＴ２２で、第１生成部６４は、ステップＳＴ１２で生成した処理済み画像データ８８、及びステップＳＴ２０で生成された付帯情報１８を用いて第１画像データ２０を生成する（図７参照）。ステップＳＴ２２の処理が実行された後、データ生成処理は、ステップＳＴ２４へ移行する。
　ステップＳＴ２４で、第１生成部６４は、ステップＳＴ２２で生成した第１画像データ２０を情報処理装置１４に送信する（図７参照）。ステップＳＴ２４の処理が実行された後、データ生成処理は、ステップＳＴ２６へ移行する。
　ステップＳＴ２６で、第１生成部６４は、データ生成処理を終了する条件（以下、「データ生成処理終了条件」と称する）を満足したか否かを判定する。データ生成処理終了条件としては、データ生成処理を終了させる指示がＵＩ系装置４２（図２参照）又は受付装置２８（図３参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ２６において、データ生成処理終了条件を満足していない場合は、判定が否定されて、データ生成処理は、ステップＳＴ１０へ移行する。ステップＳＴ２６において、データ生成処理終了条件を満足した場合は、判定が肯定されて、データ生成処理が終了する。
　次に、情報処理装置１４のプロセッサ７０によって実行される機械学習処理の流れの一例について図１１を参照しながら説明する。図１１に示す機械学習処理の流れは、本開示の技術に係る「学習方法」の一例である。
　図１１に示す機械学習処理では、先ず、ステップＳＴ５０で、演算部８０は、図１０に示すデータ生成処理に含まれるステップＳＴ２４の処理が実行されることで情報処理装置１４に送信された第１画像データ２０が外部Ｉ／Ｆ６８（図３参照）によって受信されたか否かを判定する。ステップＳＴ５０において、第１画像データ２０が外部Ｉ／Ｆ６８によって受信されていない場合は、判定が否定されて、機械学習処理は、ステップＳＴ６６へ移行する。ステップＳＴ５０において、第１画像データ２０が外部Ｉ／Ｆ６８によって受信された場合は、判定が肯定されて、機械学習処理は、ステップＳＴ５２へ移行する。
　ステップＳＴ５２で、演算部８０は、ステップＳＴ５０で外部Ｉ／Ｆ６８によって受信された第１画像データ２０に含まれる第１情報９６と基準色情報１００との差分１０２を算出する（図７参照）。ステップＳＴ５２の処理が実行された後、機械学習処理は、ステップＳＴ５４へ移行する。
　ステップＳＴ５４で、演算部８０はステップＳＴ５０で外部Ｉ／Ｆ６８によって受信された処理済み画像データ８８に対して、ステップＳＴ５２で算出した差分１０２を用いた演算を実行することで、第２画像データ１０４を生成する（図７参照）。ステップＳＴ５４の処理が実行された後、機械学習処理は、ステップＳＴ５６へ移行する。
　ステップＳＴ５６で、演算部８０は、差分１０２を用いた演算後の処理済み画像データ８８に対して、第１画像データ２０に含まれる第２情報９８を用いた演算を行うことで、処理済み画像データ８８を補正することで、第２画像データ１０４を生成する（図７参照）。ステップＳＴ５６の処理が実行された後、機械学習処理は、ステップＳＴ５８へ移行する。
　ステップＳＴ５８で、演算部８０は、ディスプレイ３０に対して、ステップＳＴ５６で生成した第２画像データ１０４により示される画像を表示させる（図８参照）。ステップＳＴ５８の処理が実行された後、機械学習処理は、ステップＳＴ６０へ移行する。
　ステップＳＴ６０で、教師データ生成部８２は、受付装置２８によって受け付けられた正解データ１０６を取得する（図８参照）。ステップＳＴ６０の処理が実行された後、機械学習処理は、ステップＳＴ６２へ移行する。
　ステップＳＴ６２で、教師データ生成部８２は、ステップＳＴ５６で生成された第２画像データ１０４に対して、ステップＳＴ６０で取得した正解データ１０６を付与することで、教師データ１０８を生成する（図９参照）。ステップＳＴ６２の処理が実行された後、機械学習処理は、ステップＳＴ６４へ移行する。
　ステップＳＴ６４で、学習実行部８４は、ステップＳＴ６２で生成された教師データ１０８を用いて機械学習を実行することでＣＮＮ１１０を最適化する。ＣＮＮ１１０が最適化されることによって学習済みモデル１１６が生成される（図９参照）。ステップＳＴ６４の処理が実行された後、機械学習処理は、ステップＳＴ６６へ移行する。
　ステップＳＴ６６で、学習実行部８４は、機械学習処理を終了する条件（以下、「機械学習処理終了条件」と称する）を満足したか否かを判定する。機械学習処理終了条件としては、機械学習処理を終了させる指示が受付装置２８（図３参照）によって受け付けられた、との条件が挙げられる。ステップＳＴ６６において、機械学習処理終了条件を満足していない場合は、判定が否定されて、機械学習処理は、ステップＳＴ５０へ移行する。ステップＳＴ６６において、機械学習処理終了条件を満足した場合は、判定が肯定されて、機械学習処理が終了する。
　以上説明したように、本実施形態に係る情報処理システム１０では、撮像装置１２の第１生成部６４によって第１ＲＡＷデータ５８に対して第１画像処理８６が行われることで第１画像データ２０が生成される（図４参照）。第１画像データ２０には、付帯情報１８が含まれている（図４参照）。また、撮像装置１２の第２生成部６６によって、付帯情報１８に含まれる情報として、第１画像処理８６に関する画像処理情報に基づく第１情報９６が生成される（図６参照）。このようにして生成された第１情報９６を含む付帯情報１８は、第１画像データ２０に含まれる処理済み画像データ８８に対する補正で用いられ、これによって第２画像データ１０４が生成される（図７参照）。すなわち、第１情報９６が既定の画質に関する情報（例えば、基準色情報１００）になるように処理済み画像データ８８が補正されることによって、第２画像データ１０４が生成される。このようにして生成された第２画像データ１０４により示される画像の画質（例えば、色）は、補正前の処理済み画像データ８８により示される画像に比べ、基準画質（例えば、基準色）に近付く。第２画像データ１０４により示される画像の画質を基準画質に近付けることができると、互いに異なる撮像装置（例えば、画像処理の内容が異なる撮像装置間）で生成された複数の第２画像データ１０４であったとしても、異なる撮像装置間での第１画像処理８６に起因する画質のばらつきも少なくなる。従って、本構成によれば、第１ＲＡＷデータ５８に対して第１画像処理８６が行われた第１画像データ２０が第１画像処理８６とは全く無関係な情報のみを付帯情報として有する場合に比べ、第２画像データ１０４により示される画像の画質について、第１画像処理８６に起因するばらつき（例えば、異なる撮像装置間での第１画像処理８６に起因するばらつき）を軽減することができる。
　また、本実施形態に係る情報処理システム１０では、撮像装置１２の第２生成部６６によって、付帯情報１８に含まれる第１情報９６として、色票９０を示す色票情報９４と第１画像処理８６に関する画像処理情報とに基づく情報が生成される。このようにして生成された第１情報９６を含む付帯情報１８は、第１画像データ２０に含まれる処理済み画像データ８８に対する補正で用いられ、これによって第２画像データ１０４が生成される（図７参照）。すなわち、第１情報９６が既定の色に関する情報になるように処理済み画像データ８８が補正されることによって、第２画像データ１０４が生成される。このようにして生成された第２画像データ１０４により示される画像の色は、補正前の処理済み画像データ８８により示される画像に比べ、基準色に近付く。第２画像データ１０４により示される画像の色を基準色に近付けることができると、互いに異なる撮像装置（例えば、画像処理の内容が異なる撮像装置間）で生成された複数の第２画像データ１０４であったとしても、異なる撮像装置間での第１画像処理８６に起因する色のばらつきも少なくなる。従って、本構成によれば、第１ＲＡＷデータ５８に対して第１画像処理８６が行われることで得られた第１画像データ２０が第１画像処理８６及び色票９０とは全く無関係な情報のみを付帯情報として有する場合に比べ、第２画像データ１０４により示される画像の色について、第１画像処理８６に起因するばらつき（例えば、異なる撮像装置間での第１画像処理８６に起因するばらつき）を軽減することができる。
　また、本実施形態に係る情報処理システム１０では、撮像装置１２の第２生成部６６によって、付帯情報１８に含まれる第１情報９６として、色票情報９４から派生した色情報（例えば、色票情報９４が表現されたＲ、Ｇ及びＢの信号値に対して画像処理情報が加味されることによって得られた情報）が生成される。このようにして生成された第１情報９６を含む付帯情報１８は、第１画像データ２０に含まれる処理済み画像データ８８に対する補正で用いられ、これによって第２画像データ１０４が生成される（図７参照）。すなわち、色票情報９４から派生した色情報が既定の色に関する情報にとなるように処理済み画像データ８８が補正することによって第２画像データ１０４が生成される。このようにして生成された第２画像データ１０４により示される画像の色は、補正前の処理済み画像データ８８により示される画像に比べ、基準色に近付く。第２画像データ１０４により示される画像の色を基準色に近付けることができると、互いに異なる撮像装置（例えば、画像処理の内容が異なる撮像装置間）で生成された複数の第２画像データ１０４であったとしても、異なる撮像装置間での第１画像処理８６に起因する画質のばらつきも少なくなる。従って、本構成によれば、色票情報９４から派生した色情報以外の情報のみを用いて処理済み画像データ８８を補正する場合に比べ、第２画像データ１０４により示される画像の色について、第１画像処理８６に起因するばらつき（例えば、異なる撮像装置間での第１画像処理８６に起因するばらつき）を軽減することができる。
　また、本実施形態に係る情報処理システム１０では、色票情報９４が撮像装置１２のＮＶＭ５０に予め記憶されている。従って、本構成によれば、第１情報９６及び第２情報９８の生成が行われるたびに色票９０に対する測色を行うことなく、第１情報９６及び第２情報９８を用いて処理済み画像データ８８を補正することができる。
　また、本実施形態に係る情報処理システム１０では、色票情報９４として、複数の色パッチ９０Ａ（図６参照）がＲ、Ｇ及びＢの信号値に基づいて規定された情報が用いられている。従って、本構成によれば、色票を示す色票情報がＲの信号値、Ｇの信号値、又はＢの信号値のみで規定された情報である場合に比べ、色票情報９４及び色票情報９４に基づいて生成される第１情報９６が詳細な情報になる。よって、色票情報９４に基づいて生成された第１情報９６及び第２情報９８に基づいて第２画像データ１０４を生成する工程で、第２画像データ２０により示される画像の色をより精密に基準色に近付けることができる。
　また、本実施形態に係る情報処理システム１０では、色票情報９４として、色票９０が基準撮像装置６０によって撮像されることで得られた第２ＲＡＭデータ９２に対して、第１画像処理８６の一部の処理に相当する第２画像処理８６Ａが行われることで得られた情報が用いられる（図６参照）。色票情報９４は、第３画像処理８６Ｂを用いて第１情報９６を生成する基準となる情報であるため、全ての画像処理に相当する第１画像処理８６の一部の画像処理を用いて作成されると好ましい。従って、本構成によれば、第２ＲＡＷデータ９２に対して第２画像処理８６Ａとは全く無関係な画像処理が行われることで得られた情報を色票情報として用いる場合に比べ、第２画像データ１０４により示される画像の色について、第２画像処理８６Ａに起因するばらつきを軽減することができる。
　また、本実施形態に係る情報処理システム１０では、第１画像データ２０に含まれる付帯情報１８に含まれる情報として、ホワイトバランス補正処理で用いられるゲインに関する第２情報９８が用いられる。これにより、付帯情報１８に含まれる情報がホワイトバランス補正処理で用いられるゲインに関する情報とは全く無関係な情報である場合に比べ、第２情報９８を用いて処理済み画像データ８８に対してホワイトバランスに関する演算処理を行うことができる。従って、本構成によれば、第２画像データ１０４により示される画像の色について、撮像環境の光源の色（すなわち、環境光の色）が第２画像データ１０４に与える影響を軽減することができる。
　また、本実施形態に係る情報処理システム１０では、第１画像データ２０に含まれる処理済み画像データ８８に対して、第１画像データ２０に含まれる付帯情報１８を用いた演算が行われることで、第２画像データ１０４が生成される（図７参照）。このようにして生成された第２画像データ１０４に対して、正解データ１０６に含まれる情報として付帯情報１８のラベリングが行われることによって教師データ１０８が生成され（図８参照）、教師データ１０８が機械学習に用いられる（図９参照）。このように、付帯情報１８を用いることで、第２画像データ１０４により示される画像の色について、第１画像処理８６に起因するばらつき（例えば、異なる撮像装置間での第１画像処理８６に起因するばらつき）を軽減することができる。従って、本構成によれば、ラベリングされた第２画像データ１０４が機械学習の教師データとして用いない場合に比べ、学習済みモデル１１６（図９参照）による高精度な推論を実現することができる。
　また、本実施形態に係る情報処理システム１０では、第１画像データ２０に含まれる処理済み画像データ８８に対して、付帯情報１８に含まれる第１情報９６と、基準色情報１００とを比較した結果（例えば、差分１０２）を用いた演算が行われることで、第２画像データ１０４が生成される（図７参照）。すなわち、第１情報９６が基準色情報１００になるように処理済み画像データ８８が補正されることによって、第２画像データ１０４が生成される。このようにして生成された第２画像データ１０４により示される画像の色は、補正前の処理済み画像データ８８により示される画像に比べ、基準色に近付く。第２画像データ１０４により示される画像の色を基準色に近付けることができると、互いに異なる撮像装置（例えば、画像処理の内容が異なる撮像装置間）で生成された複数の第２画像データ１０４であったとしても、異なる撮像装置間での第１画像処理８６に起因する色のばらつきも少なくなる。よって、異なる撮像装置の画像処理の内容が全く考慮されていない場合に比べ、これらの第２画像データ１０４は、色の基準が統一されているため、ＡＩの教師データに適している。従って、本構成によれば、ラベリングされた第２画像データ１０４が機械学習の教師データとして用いられない場合に比べ、学習済みモデル１１６（図９参照）による高精度な推論を実現することができる。
　本実施形態に係る情報処理システム１０では、上述したように、互いに異なる撮像装置（例えば、画像処理の内容が異なる撮像装置間）で生成された複数の第１画像データ２０に基づいた複数の第２画像データ１０４であったとしても、各々の第２画像データ１０４により示される各画像の色を基準色に近付けることで、撮像装置間の色バラツキが低減される。よって、異なる撮像装置の画像処理の内容が全く考慮されていない場合に比べ、これらの第２画像データ１０４は色の基準が統一されているためＡＩの教師データに適している。そこで、本実施形態に係る情報処理システム１０では、第２画像データ１０４を含む教師データ１０８を用いて機械学習が実行される。従って、本構成によれば、第２画像データ１０４を含む教師データを用いて機械学習が実行されない場合に比べ、高精度な推論を実現可能な学習済みモデル１１６を得ることができる。
　また、上記実施形態では、２４色の色パッチ９０Ａ（図６参照）を有する色票９０を例示したが、本開示の技術はこれに限定されるものではなく、色票９０に含まれる色パッチ９０Ａの個数は、２４色を超える個数（例えば、４０９６個）であってもよい。この場合も、上記実施形態と同様に、色票情報９４（図６参照）及び基準色情報１００（図７参照）が、色パッチ９０Ａの個数分のＲ、Ｇ及びＢの信号値（例えば、０～２５５の２５６階調の画素毎の出力値）で表現されるようにすればよい。従って、色票情報９４及び基準色情報１００が信号値で作成されていない場合に比べ、色票情報９４及び基準色情報１００が信号値で作成されている場合は、色票情報９４及び基準色情報１００を簡易に作成することができる。
　また、上記実施形態では、色票情報９４が、複数の色パッチ９０Ａ（一例として、２４色の色パッチ９０Ａ）の各々についてのＲ、Ｇ及びＢの信号値として表現されている。この場合、複数の色パッチ９０Ａ間で、Ｒの信号値、Ｂの信号値、及びＧの信号値のうちの１つ又は２つが異なり、残りが同じになるようにしてもよい。これにより、複数の色パッチ９０Ａ間のＲの信号値、Ｂの信号値、及びＧの信号値の全てを異なる値とした場合に比べ、色票情報９４及び色票情報９４に基づいて生成される第１情報９６が詳細な情報になるので、第１画像処理８６の特徴を詳細に把握できる。従って、複数の色パッチ９０Ａ間のＲの信号値、Ｂの信号値、及びＧの信号値の全てを異なる値とした場合に比べ、演算部８０によって、第２画像データ１０４により示される画像の色を精密に基準色に近付けることができる。このように色票情報９４の一例として図１３に示すように、色票情報９４及び基準色情報１００は、複数の色パッチ２００Ａの各々についてＲ、Ｇ及びＢの信号値として表現された情報である。
　また、一例として図１２に示すように、上述した色票９０に代えて色票２００を用いてもよい。色票２００には、複数の色パッチ２００Ａが配列されている。色票２００において、複数の色パッチ２００Ａ間で、彩度、明度、及び色相のうちの１つ又は２つが異なり、残りは同じである。
　色票２００の第１の例としては、色パッチ２００Ａ間で、彩度が互いに同じ（例えば、２５６種類の彩度のうちの１つ）であるが、明度が互いに異なっており、かつ、色相も互いに異なっているパターン数の色パッチ２００Ａ、色パッチ２００Ａ間で、明度が互いに同じ（例えば、２５６種類の明度のうちの１つ）であるが、彩度が互いに異なっており、かつ、色相も互いに異なっているパターン数の色パッチ２００Ａ、及び、色パッチ２００Ａ間で、色相（例えば、２５６種類の色相のうちの１つ）が同じであるが、彩度が互いに異なっており、かつ、明度も互いに異なっているパターン数の色パッチ２００Ａが配列された色票が挙げられる。また、色票２００の第２の例としては、色パッチ２００Ａ間で、彩度が互いに同じであり、かつ、明度も互いに同じであるが、色相が互いに異なっているパターン数の色パッチ２００Ａ、色パッチ２００Ａ間で、明度が互いに同じであり、かつ、彩度も互いに同じであるが、色相が互いに異なっているパターン数の色パッチ２００Ａ、及び、色パッチ２００Ａ間で、色相が同じであり、かつ、彩度も互いに同じであるが、明度が互いに異なっているパターン数の色パッチ２００Ａが配列された色票が挙げられる。
　このように、色票９０に代えて色票２００が用いられることで、複数の色パッチ２００Ａ間の彩度、明度及び色相が全て異なる場合に比べ、色票情報９４及び色票情報９４に基づいて生成される第１情報９６が詳細な情報になるので、第１画像処理８６の特徴を詳細に把握することができる。よって、複数の色パッチ２００Ａ間の彩度、明度及び色相が全て異なる場合に比べ、演算部８０によって、第１画像処理８６による色変化を打ち消し易くなり、第２画像データ１０４の色を精密に基準色に近付けることができる。第１情報９６のうち各色パッチ２００Ａに対応する情報は、上記実施形態のように図１２のようなＲ、Ｇ及びＢの信号値で表してもよいし、彩度、明度及び色相の値で表してもよい。
　また、上記実施形態では、色票情報９４と基準色情報１００とが互いに異なる情報とされているが、一例として図１４に示すように、撮像装置１２のＮＶＭ５０に記憶される色票情報９４は、基準色情報１００と同じ情報であってもよい。
　また、上記実施形態では、撮像装置１２の分光特性（すなわち、イメージセンサ２４の分光特性）を加味せずに得られた色票情報９４を挙げて説明したが、本開示の技術はこれに限定されない。例えば、色票９０と撮像装置１２の分光特性（すなわち、イメージセンサ２４の分光特性）に基づいて色票情報が生成されるようにしてもよい。
　この場合、例えば、撮像装置１２のイメージセンサ２４によって色票９０が撮像されることで得られるＲＡＷデータに対して第２画像処理８６Ａが行われることで、撮像装置１２の分光特性が加味された色票情報が生成される。
　このようにして撮像装置分光特性１１８を考慮して生成された色票情報は、上記実施形態で説明した色票情報９４と同様に用いられる。すなわち、色票情報１２２が既定の色に関する情報になるように処理済み画像データ８８が補正されることによって第２画像データ１０４が生成される。これにより、互いに異なる撮像装置（例えば、画像処理の内容が異なる撮像装置間）で生成された複数の第１画像データ２０に基づいた複数の第２画像データ１０４であったとしても、各々の第２画像データ１０４により示される各画像の色を基準色に近付けることで、撮像装置間の色バラツキが低減される。従って、撮像装置分光特性１１８とは無関係に色票情報が生成される場合に比べ、第２画像データ１０４により示される画像の色について、撮像装置分光特性１１８に起因するばらつき（例えば、異なる撮像装置間での撮像装置分光特性１１８に起因するばらつき）を軽減することができる。
　なお、撮像装置１２の分光特性が加味された色票情報を予めＮＶＭ５０に記憶させておき、プロセッサ４８が、ＮＶＭ５０から撮像装置１２の分光特性を取得し、上記実施形態で説明した色票情報９４に対して撮像装置１２の分光特性を加味することで新たな色票情報を生成するようにしてもよい。
　また、例として図６に示すように、撮像装置１２のイメージセンサ２４と同じ分光特性を持つイメージセンサを有する基準撮像装置６０によって色票９０が撮像されることによって色票情報９４が生成されるようにしてもよい。このようにして得られた色票情報９４は、撮像装置の分光特性に基づいて生成された情報となる。また、図１５に示すように、プロセッサ４８は、撮像装置１２の分光特性である撮像装置分光特性１１８、及び色票９０の分光特性である色票分光特性１２０を外部から取得し、取得した撮像装置分光特性１１８及び色票分光特性１２０に基づいて色票情報１２２を生成するようにしてもよい。
　ここで、例えば、撮像装置分光特性１１８及び色票分光特性１２０は、外部Ｉ／Ｆ４６を介して外部装置から取得されるようにしてもよいし、ＮＶＭ５０に撮像装置分光特性１１８及び色票分光特性１２０を予め記憶させておき、ＮＶＭ５０から撮像装置分光特性１１８及び色票分光特性１２０が取得されるようにしてもよい。
　色票情報１２２は、上記実施形態で説明した色票情報９４に対して撮像装置分光特性１１８及び色票分光特性１２０が加味されることで得られる情報である。プロセッサ４８は、ＮＶＭ５０に対して、生成した色票情報１２２を記憶させる。
　ＮＶＭ５０に記憶されており、撮像装置の分光特性情報に基づいた色票情報１２２は、上記実施形態と同様に用いられる。すなわち、色票情報１２２が既定の色に関する情報（例えば、基準色情報１００）になるように処理済み画像データ８８が補正されることによって第２画像データ１０４が生成される。このようにして生成された第２画像データ１０４により示される画像の色は、補正前の処理済み画像データ８８により示される画像に比べ、基準色に近付く。第２画像データ１０４により示される画像の色を基準色に近付けることができると、互いに異なる撮像装置（例えば、画像処理の内容が異なる撮像装置間）で生成された複数の第２画像データ１０４であったとしても、異なる撮像装置間での第１画像処理８６に起因する色のばらつきも少なくなる。従って、本構成によれば、撮像装置分光特性１１８及び色票分光特性１２０とは無関係に色票情報が生成される場合に比べ、第２画像データ１０４により示される画像の色について、撮像装置分光特性１１８に起因するばらつき（例えば、異なる撮像装置間での撮像装置分光特性１１８及び色票分光特性１２０に起因するばらつき）を軽減することができる。
　また、上記実施形態では、第１情報９６の生成に用いられる画像処理情報の一例として、ホワイトバランス補正処理で用いられるＷＢゲイン、ガンマ補正処理で用いられるガンマ値、色補正処理で用いられる色再現係数、色空間変換処理で用いられる変換係数、輝度フィルタ処理で用いられる輝度フィルタパラメータ、第１色差フィルタ処理で用いられる第１色差フィルタパラメータ、第２色差フィルタ処理で用いられる第２色差フィルタパラメータ、リサイズ処理で用いられるパラメータ、及び圧縮処理で用いられるパラメータを挙げたが、これはあくまでも一例に過ぎない。例えば、これらの情報のうち、画質に影響を及ぼす情報のみを、第１情報９６の生成に用いられる画像処理情報として用いてもよい。また、これらの情報以外の情報（例えば、処理済み画像データ８８に対してオフセット補正処理を行う場合に用いられるオプティカルブラックの信号値）も、第１情報９６の生成に用いられる画像処理情報として用いてもよい。
　また、上記実施形態では、第２画像データ１０４が機械学習に用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されず、機械学習以外の用途で第２画像データ１０４が用いられるようにしてもよい。例えば、第２画像データ１０４は、指定された記憶装置（例えば、撮像装置１２のＮＶＭ５０）に記憶されるようにしてもよい。また、第２画像データ１０４は、ＵＩ系装置４２（図２参照）に含まれるディスプレイに表示されるようにしてもよい。この場合、例えば、第２画像データ１０４により示される画像が単にディスプレイに表示されるようにしてもよいし、処理済み画像データ８８により示される画像と第２画像データ１０４により示される画像とが対比可能な状態（例えば、同一画面内に並べた状態）でディスプレイに表示されるようにしてもよいし、処理済み画像データ８８により示される画像及び第２画像データ１０４により示される画像のうちの一方に対して他方が重ねられた状態でディスプレイに表示されるようにしてもよい。また、第２画像データ１０４に対して画像解析処理（例えば、ＡＩ方式又はテンプレートマッチング方式の画像解析処理）が行われるようにしてもよい。
　また、上記実施形態では、機械学習処理が情報処理装置１４によって行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、機械学習処理の少なくとも一部（例えば、演算部８０による処理）が他の装置（例えば、撮像装置１２）によって行われるようにしてもよい。
　また、上記実施形態では、データ生成処理が撮像装置１２によって行われる形態例を挙げて説明したが、本開示の技術はこれに限定されず、データ生成処理の少なくとも一部（例えば、第２生成部６６による処理）が他の装置（例えば、情報処理装置１４）によって行われるようにしてもよい。
　また、上記実施形態では、第１ＲＡＷデータ５８に対してデモザイク処理部６４Ａ、ホワイトバランス補正部６４Ｂ、色補正部６４Ｃ、及びガンマ補正部６４Ｄの順に処理が行われる形態例を挙げて説明したが、これは、あくまでも一例に過ぎず、例えば、第１ＲＡＷデータ５８に対してデモザイク処理部６４Ａ、ホワイトバランス補正部６４Ｂ、色補正部６４Ｃ、及びガンマ補正部６４Ｄによる各処理が行われる順序は適宜変更可能である。
　また、上記実施形態では、ＮＶＭ５０にデータ生成処理プログラム６２が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、データ生成処理プログラム６２がＳＳＤ（Solid State Drive）又はＵＳＢメモリなどの可搬型のコンピュータ読取可能な非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されているデータ生成処理プログラム６２は、撮像装置１２のコンピュータ４０にインストールされる。プロセッサ４８は、データ生成処理プログラム６２に従ってデータ生成処理を実行する。
　また、ネットワークを介して撮像装置１２に接続される他のコンピュータ又はサーバ装置等の記憶装置にデータ生成処理プログラム６２を記憶させておき、撮像装置１２の要求に応じてデータ生成処理プログラム６２がダウンロードされ、コンピュータ４０にインストールされるようにしてもよい。
　なお、撮像装置１２に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ５０にデータ生成処理プログラム６２の全てを記憶させておく必要はなく、データ生成処理プログラム６２の一部を記憶させておいてもよい。
　また、図２に示す撮像装置１２にはコンピュータ４０が内蔵されているが、本開示の技術はこれに限定されず、例えば、コンピュータ４０が撮像装置１２の外部に設けられるようにしてもよい。
　上記実施形態では、コンピュータ４０が例示されているが、本開示の技術はこれに限定されず、コンピュータ４０に代えて、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、又はＰＬＤ（Programmable Logic Device）を含むデバイスを適用してもよい。また、コンピュータ４０に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
　上記実施形態で説明したデータ生成処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、データ生成処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することでデータ生成処理を実行する。
　データ生成処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、データ生成処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、データ生成処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（System-on-a-chip）などに代表されるように、データ生成処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、データ生成処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記のデータ生成処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「又は」で結び付けて表現する場合も、「Ａ又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (17)

  1. 　撮像装置によって被写体が撮像されることで得られ、機械学習に用いられる画像データであり、かつ、付帯情報を有する第１画像データを生成するデータ生成方法であって、
    　前記撮像装置が第１画像処理を行うことで前記第１画像データを生成する第１生成工程と、
    　前記付帯情報に含まれる情報として、前記第１画像処理に関する画像処理情報に基づく第１情報を生成する第２生成工程と、
    　を備えるデータ生成方法。
  2. 　前記第１情報は、色票を示す色票情報と前記画像処理情報とに基づく情報である
    　請求項１に記載のデータ生成方法。
  3. 　前記第１情報は、前記色票情報から派生した色情報である
    　請求項２に記載のデータ生成方法。
  4. 　前記色票情報は、前記撮像装置に予め記憶されている
    　請求項２又は請求項３に記載のデータ生成方法。
  5. 　前記色票は、複数の色パッチを含み、
    　前記複数の色パッチ間で、彩度、明度、及び色相のうちの１つ又は２つが異なり、残りが同じである
    　請求項２から請求項４の何れか一項に記載のデータ生成方法。
  6. 　前記色票情報は、複数の色パッチが第１原色を示す第１信号値、第２原色を示す第２信号値、及び第３原色を示す第３信号値に基づいて規定された情報である
    　請求項２から請求項５の何れか一項に記載のデータ生成方法。
  7. 　前記複数の色パッチ間で、前記第１信号値、前記第２信号値、及び前記第３信号値のうち１つ又は２つが異なり、残りが同じである
    　請求項６に記載のデータ生成方法。
  8. 　前記色票情報は、前記色票が基準撮像装置によって撮像されることで得られた色票撮像信号に対して、前記第１画像処理の一部の処理に相当する第２画像処理が行われることによって得られた情報である
    　請求項２から請求項７の何れか一項に記載のデータ生成方法。
  9. 　前記色票情報は、前記色票と前記撮像装置の分光特性に基づいて生成された情報である
    　請求項２から請求項８の何れか一項に記載のデータ生成方法。
  10. 　前記色票情報は、前記色票の分光特性と前記撮像装置の分光特性とに基づいて生成された情報である
    　請求項９に記載のデータ生成方法。
  11. 　前記第１画像データに対して、前記第１情報と、前記色票の基準色を示す基準色情報とを比較した結果を用いた演算を行うことで、第２画像データを生成する第３生成工程を含む
    　請求項２から請求項１０の何れか一項に記載のデータ生成方法。
  12. 　前記第１画像データに対して前記付帯情報を用いた演算を行うことで、第２画像データ
    を生成する第３生成工程を含む
    　請求項１から請求項１１の何れか一項に記載のデータ生成方法。
  13. 　前記第１画像処理は、ホワイトバランス補正処理を含み、
    　前記付帯情報は、前記ホワイトバランス補正処理で用いられるゲインに関する第２情報を含む
    　請求項１から請求項１２の何れか一項に記載のデータ生成方法。
  14. 　請求項１１又は請求項１２に記載のデータ生成方法によって生成された前記第２画像データを用いた学習方法であって、
    　前記第２画像データを含む教師データを用いて機械学習を実行することを含む
    　学習方法。
  15. 　イメージセンサと、
    　プロセッサと、を備え、
    　前記プロセッサは、
    　前記イメージセンサによって被写体が撮像されることで生成された撮像信号に対して第１画像処理を行うことで、機械学習に用いられる第１画像データを生成し、
    　前記第１画像データが有する付帯情報に含まれる情報として、前記第１画像処理に関する画像処理情報に基づく第１情報を生成する
    　撮像装置。
  16. 　前記プロセッサは、色票を示す色票情報と前記画像処理情報とに基づいて前記第１情報を生成する
    　請求項１５に記載の撮像装置。
  17. 　撮像装置によって被写体が撮像されることで得られ、機械学習に用いられる画像データであり、かつ、付帯情報を有する第１画像データを生成するデータ生成処理をコンピュータに実行させるためのプログラムであって、
    　前記データ生成処理は、
    　前記撮像装置が第１画像処理を行うことで前記第１画像データを生成すること、及び、
    　前記付帯情報に含まれる情報として、前記第１画像処理に関する画像処理情報に基づく第１情報を生成すること、を含む
    　プログラム。
PCT/JP2022/022229 2021-08-31 2022-05-31 データ生成方法、学習方法、撮像装置、及びプログラム WO2023032374A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280050879.3A CN117769838A (zh) 2021-08-31 2022-05-31 数据生成方法、学习方法、摄像装置及程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021141805 2021-08-31
JP2021-141805 2021-08-31

Publications (1)

Publication Number Publication Date
WO2023032374A1 true WO2023032374A1 (ja) 2023-03-09

Family

ID=85411177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/022229 WO2023032374A1 (ja) 2021-08-31 2022-05-31 データ生成方法、学習方法、撮像装置、及びプログラム

Country Status (2)

Country Link
CN (1) CN117769838A (ja)
WO (1) WO2023032374A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09284581A (ja) * 1996-04-15 1997-10-31 Toyo Ink Mfg Co Ltd 色シミュレーション装置
JP2009273146A (ja) * 2009-08-10 2009-11-19 Olympus Corp デジタルカメラ
JP2010022595A (ja) * 2008-07-18 2010-02-04 Olympus Corp 信号処理システム及び信号処理プログラム
JP2011022647A (ja) * 2009-07-13 2011-02-03 Fujifilm Corp 検査画像判定装置、スケール、検査画像判定方法およびプログラム
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09284581A (ja) * 1996-04-15 1997-10-31 Toyo Ink Mfg Co Ltd 色シミュレーション装置
JP2010022595A (ja) * 2008-07-18 2010-02-04 Olympus Corp 信号処理システム及び信号処理プログラム
JP2011022647A (ja) * 2009-07-13 2011-02-03 Fujifilm Corp 検査画像判定装置、スケール、検査画像判定方法およびプログラム
JP2009273146A (ja) * 2009-08-10 2009-11-19 Olympus Corp デジタルカメラ
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム

Also Published As

Publication number Publication date
CN117769838A (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
JP4375781B2 (ja) 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
US8103119B2 (en) Image processing device, image processing method, image processing program product, and image-capturing device
US9342872B2 (en) Color correction parameter computation method, color correction parameter computation device, and image output system
US20050280716A1 (en) Image recording apparatus, image recording method, image processing apparatus, image processing method and image processing system
JP2009038524A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP3972816B2 (ja) 画像処理装置および表色系変換方法
JP2004341762A (ja) 画像処理装置
JP3539665B2 (ja) 顔領域補正方法、顔領域補正装置および顔領域補正プログラムを記録した記録媒体
JP4774757B2 (ja) 画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
KR101006334B1 (ko) 영상 처리 장치 및 영상 처리 방법과, 영상 처리 방법이 기록된 기록 매체
WO2023032374A1 (ja) データ生成方法、学習方法、撮像装置、及びプログラム
Le et al. Gamutnet: Restoring wide-gamut colors for camera-captured images
JP5962169B2 (ja) デジタルカメラ、色変換プログラムおよび記録制御プログラム
JP4375580B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6413210B2 (ja) 画像処理装置、撮像装置およびプログラム
US20100238300A1 (en) Color control apparatus, method for creating color control system, and method for creating color reproduction apparatus
JP3912196B2 (ja) 色変換表作成装置、色変換表作成方法、色変換表作成プログラムを記録した記録媒体、および、上記装置または方法によって作成された色変換表に基づいてプロファイルを作成するプロファイル作成装置
JP5810593B2 (ja) 画像処理装置、撮像装置およびプログラム
JP4784097B2 (ja) 信号処理方法、信号処理装置、信号処理手順を格納した記憶媒体
JP6318497B2 (ja) 画像処理装置、撮像装置およびプログラム
JP2004356796A (ja) 画像処理装置
CN113556525B (zh) 色温调整方法、装置、计算机设备和存储介质
JP5056006B2 (ja) 撮像装置およびプログラム
JP4224933B2 (ja) 画像処理方法、画像処理装置、および画像処理プログラムを記録した記録媒体
JP2019022228A (ja) 画像処理装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2023545087

Country of ref document: JP