JP2024002152A - 画像処理装置、その制御方法、プログラム - Google Patents

Abstract

【課題】 画像に含まれるカラーチャートの傾きや回転角度によらず、カラーチャート内の各カラーパッチの画素値を取得する手段を提供する。【解決手段】 画像内のカラーチャートの各カラーパッチの画素値を取得する画像処理装置であって、カラーチャートを含む画像を入力する手段と、前記入力画像に対して、部分領域学習モデルによる推論を実行する手段と、前記部分領域学習モデルの推論実行結果から、前記入力画像内のカラーチャートの複数の部分領域の位置情報を取得する手段と、前記各部分領域の位置情報から、各カラーパッチの位置を計算する手段と、前記カラーパッチの位置を基に、各カラーパッチの画素値を取得する手段と、を備え、前記部分領域学習モデルは、カラーチャートの複数の部分領域をラベル付けすることを特徴としている。【選択図】 図３

Description

本発明は、画像から特定のオブジェクトを検出する技術に関するものである。

映像制作の現場では、複数の撮像装置を用いて撮影が行われるケースがある。同じ被写体を撮影しても、使用する撮像装置やレンズの個体差や環境照明の違いなどによって、撮像装置から得られる色や輝度の特性が異なる。撮像装置から出力される撮像画像の特性を合わせるため、カラーチャートを用いたカラーマッチングシステムが存在する。

カラーマッチングシステムにおいて、複数カメラで同一のカラーチャートを含んだシーンを撮影し、カラーチャートの各カラーパッチの画素値から、色の差を埋めるような３ＤＬＵＴ（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を生成して、一方のカメラに適用するという方法がある。このような手法を、色合わせあるいはカラーマッチングと呼ぶことがある。

ここで機械学習による物体検出において、画像内に含まれる検出対象物をラベル付けしたトレーニングデータを入力し、検出対象物を学習した学習モデルを生成するという手法がある。前記手法は、検出対象物が画像内に含まれた任意データに対し、前記学習モデルを用いた推論を実行することで、検出対象物の検出位置を矩形（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）で出力する。

上記のような物体検出の手法において、カラーチャート全体をラベル付けしたトレーニングデータを用いて物体検出をする場合、カラーチャート自体が矩形であることから、物体検出の出力（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）がそのままカラーチャートの正確な位置と解釈できる。したがって、カラーチャートの相対位置情報から各カラーパッチの位置を特定し、各カラーパッチの画素値を算出することが可能である。

しかし、画像に含まれるカラーチャートが正対でない（回転している、傾いている）場合、上記の物体検出方法では、出力結果がそのままカラーチャートの正確な位置と解釈できないため、カラーチャートの相対位置情報から各カラーパッチの位置を特定することができない。

特許文献１には、複数の部分領域を用いて検出対象物の情報を取得する技術が記載されている。特許文献１では、複数の部分領域は、互いに重複する領域と、互いに重複しない領域とを有するように選択する。これにより、画像中の注目部分同士が重複する領域において、複数の推論結果を得られる。さらに、その領域の周辺の領域の推論結果も得られる。

特許文献２には、複数の深層学習モデルを用いることで、検出対象物を精度良く検出する技術が記載されている。特許文献２では、第１の学習済みモデルによって、検出対象物１を検出する。さらに、前記検出対象物１が含まれた画像から、第２の学習済みモデルによって、検出対象物１に含まれる検出対象物２を検出することで検出対象物を精度よく検出することが可能となる。

特開２０２１－０９３１４号公報 特開２０２０－１９７７９５号公報

しかしながら、特許文献１の技術では、複数の部分領域を選択するとき、互いに重複する領域と重複しない領域を含む必要がある。一方で、カラーチャート内に含まれる全カラーパッチの位置は互いに重複していないため、複数の部分領域の出力結果から全カラーパッチの位置を特定できず、各カラーパッチの画素値を取得できない。

また、特許文献２の技術では、第２の学習済みモデルのラベル付け対象が検出対象物２の全体であるため、検出対象物１がカラーチャート、検出対象物２が単体のカラーパッチとなり、検出対象物２の位置情報だけでは、全カラーパッチの位置を特定できず、各カラーパッチの画素値を取得できない。

上記のカラーチャートの例で説明したように、撮影画像から特定のオブジェクトを検出する場合、オブジェクトが撮像装置に正対して撮像されていない場合は適切に検出できない場合がある。

そこで本発明は、撮像されたオブジェクトが撮像装置に対して正対していなかった場合であっても、適切に検出する手段を提供することを目的とする。

上記問題を解決するため、本発明に係る画像処理装置は、カラーチャートを含む画像を入力する入力手段と、前記入力画像に対する、前記カラーチャート全体の領域を検出するための第１の学習モデルによる推論の結果に基づき、前記入力画像内のカラーチャートの位置を特定する第１の特定手段と、前記第１の特定手段により特定された前記カラーチャートの位置に基づき、前記入力画像から前記カラーチャートを含む領域を切り出した切り出し画像を生成する生成手段と、前記切り出し画像に対する、前記カラーチャートの部分領域を検出するための第２の学習モデルによる推論の結果に基づき、前記入力画像内のカラーチャートの複数の部分領域の位置を特定する第２の特定手段と、前記複数の部分領域の位置情報から、前記複数のカラーパッチの位置を特定する第２の特定手段と、前記カラーパッチの位置に基づき、前記複数のカラーパッチの画素値を取得する取得手段と、を有する。

本発明によれば、撮像されたオブジェクトが撮像装置に対して正対していなかった場合であっても、特定のオブジェクトを適切に検出することができる。

第１の実施形態におけるシステム構成を示す概念図である。 第１の実施形態における通信装置２００の構成を示すブロック図である。 第１の実施形態における通信装置２００のソフトウェア構成図である。 第１の実施形態における学習モデルの作成方法のフローチャートである。 第１の実施形態におけるカラーチャート５００を示す図である。 第１の実施形態における第一の学習モデルのラベル付け方法を示す図である。 第１の実施形態における第二の学習モデルのラベル付け方法を示す図である 第１の実施形態におけるカラーマッチングアプリ３０１の画面ＵＩを示す図である。 第１の実施形態におけるカラーマッチングアプリ３０１の画像情報取得時の処理フローである。 第１の実施形態におけるカラーマッチングアプリ３０１の切り出し画像およびカラーパッチの位置情報取得の処理フローである。 第１の実施形態における切り出し画像生成部３０４の処理フローである。 第１の実施形態における検出位置情報取得部３０６の処理フローである。 第１の実施形態における切り出し画像生成方法の説明図である。 第１の実施形態におけるカラーパッチ位置計算部３０５の処理フローである。 第１の実施形態におけるカラーチャート５００の各カラーパッチ位置計算方法の説明図である。 第１の実施形態におけるカラーマッチングアプリ３０１にプレビュー画像を表示する処理フローである。 第１の実施形態における画素値取得部３０７の処理フローである。 第１の実施形態における３ＤＬＵＴ１８０１を示す図である。 第２の実施形態における通信装置２００のソフトウェア構成図である。 第２の実施形態におけるカラーパッチの位置情報取得の処理フローである。 第２の実施形態における検出位置情報取得部３０５の処理フローである。 第１の実施形態における画像情報リストを示す図である。 第１の実施形態における推論結果を示す図である。 第１の実施形態における３ＤＬＵＴを示す図である。

以下に、本発明を実施するための形態について、添付の図面または表を用いて詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されてもよい。また、各実施の形態を適宜組み合せることも可能である。

［第１の実施形態］
＜システム構成＞
図１は本発明のシステム構成を説明するための模式図である。図１において、１００は業務用ビデオカメラなどの撮像装置である。なお、撮像装置１００は、通信機能を備えているものとする。２００はモバイル端末としての通信機器であり、スマートフォンやコンピュータに代表されるような通信機能を備えた画像処理装置である。４００はネットワークであり、通信機能を備えた装置同士を接続するための通信回線である。

図１において、撮像装置１００と通信装置２００とは、ネットワーク４００でＷｉ－Ｆｉなどの接続手段を経て無線通信で接続されている。撮像装置１００は、画像ファイルを通信装置２００に転送することが可能である。

＜ハードウェア構成＞
図２は、本実施形態の通信装置２００のハードウェア構成例を示すブロック図である。なお、ここでは通信装置２００の一例として、携帯モバイル端末について述べるが、通信装置２００はこれに限られない。例えば通信装置２００は、タブレットデバイス、あるいはパーソナルコンピュータなどであってもよい。

制御部２０１は、入力された信号や、後述のプログラムに従って通信装置２００の各部を制御する。なお、制御部２０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

無線通信部２０２は、外部装置と通信するためのインターフェイスである。本実施形態の通信装置２００は、無線通信部２０２を介して、撮像装置１００とデータのやりとりを行うことができる。

本実施形態では、無線通信部２０２はアンテナであり、通信装置２００は、アンテナを介して、撮像装置１００と接続することができる。なお、撮像装置１００および通信装置２００との接続では、直接接続してもよいしアクセスポイントを介して接続してもよい。データを通信するためのプロトコルとしては、例えば無線ＬＡＮを通じたＰＴＰ／ＩＰ（Ｐｉｃｔｕｒｅ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ ｏｖｅｒ Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）を用いることができる。また、無線通信部２０２は外部装置とＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブルによるＵＳＢインターフェイスも含む。なお、外部装置との通信はこれに限られるものではない。例えば、無線通信部２０２は、赤外線通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信モジュール、ＷｉｒｅｌｅｓｓＵＳＢ等の無線通信モジュールを含むことができる。

表示部２０３は、画像データの表示、対話的な操作のための文字表示などを行う。なお、表示部２０３は必ずしも通信装置２００が備える必要はない。通信装置２００は表示部２０３と接続することができ、表示部２０３の表示を制御する表示制御機能を少なくとも有していればよい。

メインメモリ２０４は、表示部２０３の画像表示用メモリや、制御部２０１の作業領域等として使用される。

不揮発性メモリ２０５は、電気的に消去・記録可能な不揮発性のメモリである。不揮発性メモリ２０５には、制御部２０１が実行する基本的なソフトウェアであるＯＳ（オペレーティングシステム）や、このＯＳと協働して応用的な機能を実現するアプリケーションが記録されている。

また、本実施形態では、不揮発性メモリ２０５には、撮像装置１００から取り込んだ画像データの中から２つの画像を用いて、色を合わせるための３ＤＬＵＴデータを生成するカラーマッチングアプリケーション３０１（以下カラーマッチングアプリ３０１）が格納されている。

また、撮像装置１００から出力された画像ファイルを管理するファイル管理アプリケーション３１０（以下ファイル管理アプリ３１０）および機械学習ライブラリ３１２が格納されている。

操作部２０６は、通信装置２００に対する指示をユーザーから受け付けるために用いられる。操作部２０６は例えば、ユーザーが通信装置２００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、表示部２０３に形成されるタッチパネルなどの操作部材を含む。

記録部２０７は、撮像装置１００から取り込んだ画像データを記録することができる。記録部２０７は、通信装置２００に着脱可能なよう構成してもよいし、通信装置２００に内蔵されていてもよい。すなわち、通信装置２００は少なくとも記録部２０７にアクセスする手段を有していればよい。

公衆網接続部２１０は、公衆無線通信を行う際に用いられるインターフェイスである。通信装置２００は、公衆網接続部２１０を介して、他の機器と通話することができる。この際、制御部２０１は、スピーカー２０８およびマイク２０９を介して音声信号の入力と出力を行うことで、通話を実現する。

以上が通信装置２００の説明である。

＜ソフトウェア構成＞
続いて、本実施形態における通信装置２００のソフトウェア構成図について説明する。なお、以降の説明では便宜上、ソフトウェアが主体となって処理を実行するような記載が含まれるが、実際の処理は制御部２０１がプログラムや各部からの入力信号に従って通信装置２００の各部を制御することにより実現される。また、ユーザーが主体となって処理を実行するような記載が含まれるが、これはユーザーが操作部２０６で行った指示を制御部２０１が受け付け、各種処理を行うことを意味する。

図３は、通信装置２００のソフトウェア構成図である。通信装置２００の不揮発性メモリ２０５には、種々の固定データ及びファームウェアが記録されている。

記録部２０７には、制御部２０１が実行する基本ソフトウェアであるＯＳ３１６と、制御部２０１が実行する応用ソフトウェアであるファイル管理アプリ３１０および機械学習ライブラリ３１２が記録されている。また、応用ソフトウェアとして、撮像装置１００から取り込んだ画像データの中から２つの画像を用いて、色を合わせるための３ＤＬＵＴデータを生成するカラーマッチングアプリ３０１が記録されている。

ユーザーが通信装置２００の操作部２０６に含まれる電源スイッチをオンにすると、通信装置２００が起動し、制御部２０１は、記録部２０７からＯＳ３１６を読みだしてメインメモリ２０４に展開し、実行する。また、ＯＳ３１６と、ＯＳ上にインストールされるアプリケーションに従って、通信装置２００の各部を制御する。

ここで、以降の図の説明において、制御部２０１がアプリ（またはアプリの機能、あるいはＯＳやＯＳのサービス等）に従って所定の処理を実行することを、「アプリ（またはアプリの機能、あるいはＯＳやＯＳのサービス等）は所定の処理を行う」のように表現することがある。ＯＳ３１６は、通信装置２００の各部を制御する機能を有するだけでなく、アプリに対して種々のサービスを提供する。

ファイル管理アプリ３１０は、記録部２０７に記録されたファイル一覧を管理するファイル管理部３１１を有する。また、ファイル管理機能で管理するファイルの記録部２０７からの読み出し、およびアプリからの要求に応じた記録部２０７へのファイルの書き込みを制御する。

機械学習ライブラリ３１２は、ニューラルネットワークを用いて画像内の検出対象物の位置情報を検出するための推論実行部３１３、第一の学習モデル記憶部３１４および第二の学習モデル記憶部３１５を有する。なお、ニューラルネットワークとは、人間の脳内の神経回路網を模したネットワークモデルである。推論実行部３１３は、外部からの推論実行指示および推論対象の画像データのパスを受信すると、第一の学習モデル記憶部３１４または第二の学習モデル記憶部３１５のいずれかから学習モデルを取得し、受信した画像データに対して推論を実行する。

推論とは、予め生成されている特定の対象物を検出するための学習モデルを基に、機械学習プログラムを実行することを示している。本実施形態において、機械学習プログラムとは、前述した学習モデルにおける検出対象物の位置情報を出力するプログラムであって、画像データを入力することで、検出対象物の位置情報を検出することが可能である。

なお、本実施形態では、記憶できる学習モデルを２つとしているが、３つ以上記憶するとしてもよいものとする。

続いて、本実施形態の特徴である、カラーマッチングアプリ３０１について説明する。

カラーマッチングアプリ３０１は、表示制御部３０２において、表示部２０３に表示する画面を生成する。生成する画面の構成については、図８の説明にて後述する。

表示制御部３０２は、ユーザーからの操作を受けて、指定されたフォルダの画像ファイル一覧を表示するために、ファイル管理アプリ３１０のファイル管理部３１１に指定フォルダの画像ファイル一覧情報取得要求を送信し、ファイル一覧を取得する。

また、表示制御部３０２は、サムネイル一覧画像を表示するために、サムネイル画像生成部３０３に、指定された画像ファイルのサムネイル画像生成要求を送信し、サムネイル画像を取得する。

また、表示制御部３０２は、切り出し画像を表示するために、切り出し画像生成部３０４に、切り出し画像生成要求を送信し、切り出し画像を取得する。

また、表示制御部３０２は、カラーパッチの位置情報を表示するために、カラーパッチ位置計算部３０５に、カラーパッチ位置情報取得要求を送信し、カラーパッチの位置情報を取得する。

また、表示制御部３０２は、画素値取得部３０７に、各カラーパッチの画素値取得要求を送信し、画素値情報取得完了通知を取得する。

また、表示制御部３０２は、３ＤＬＵＴ生成部３０８に、３ＤＬＵＴ生成要求を送信し、３ＤＬＵＴ生成完了通知を受け取る。

また、表示制御部３０２は、３ＤＬＵＴ適用後のプレビューターゲット画像を表示するために、プレビューターゲット画像生成部３０９に、プレビューターゲット画像生成要求を送信し、プレビューターゲット画像を取得する。

サムネイル画像生成部３０３は、表示制御部３０２から指定された画像ファイルのサムネイル画像生成要求を受信すると、ファイル管理アプリ３１０内の指定された画像ファイルの画像情報を参照してサムネイル画像を生成し、表示制御部３０２に送信する。

切り出し画像生成部３０４は、表示制御部３０２からの切り出し画像生成要求および指定の画像パスを受信すると、検出位置情報取得部３０６にカラーチャート位置情報取得要求を送信し、検出位置情報取得部３０６からカラーチャート位置情報を受信する。

切り出し画像生成部３０４は、検出位置情報取得部３０６から受信したカラーチャート位置情報を基に、切り出し画像を生成し、表示制御部３０２に切り出し画像を送信する。

また、切り出し画像生成部３０４は、ファイル管理部３１１に対して生成した切り出し画像データを送信する。

切り出し画像の生成方法に関しては、図１３にて後述する。

カラーパッチ位置計算部３０５は、表示制御部３０２からカラーパッチ位置情報取得要求および指定の切り出し画像パスを受信すると、検出位置情報取得部３０６にカラーチャート５００内の複数の部分領域位置情報の取得要求を送信する。

カラーパッチ位置計算部３０５は、検出位置情報取得部３０６からカラーチャート５００内の複数の部分領域位置情報を受信すると、カラーチャート内の各カラーパッチの位置を計算し、カラーパッチ位置情報を表示制御部３０２に送信する。

カラーチャート５００内の各カラーパッチの位置の計算方法については、図１５にて後述する。

検出位置情報取得部３０６は、切り出し画像生成部３０４またはカラーパッチ位置計算部３０５から検出対象物の位置情報取得要求を受信すると、機械学習ライブラリ３１２の推論実行部３１３に指定した学習モデルの推論実行指示を送信する。

検出位置情報取得部３０６の処理フローに関しては、図１２にて後述する。

画素値取得部３０７は、表示制御部３０２からの各カラーパッチの画素値取得要求および指定の切り出し画像パスを受信すると、指定の切り出し画像パスから各カラーパッチの画素値を取得し、各カラーパッチの画素値情報を３ＤＬＵＴ生成部３０８に送信する。また、画素値取得部３０７は、表示制御部３０２に画素値情報取得完了通知を送信する。

各カラーパッチの画素値を取得する方法については、図１７にて後述する。

３ＤＬＵＴ生成部３０８は、表示制御部３０２からの３ＤＬＵＴ生成要求および指定画像の各カラーパッチの画素値情報を受信すると、指定画像の各カラーパッチの画素値情報を基に、３ＤＬＵＴを生成し、プレビューターゲット画像生成部３０９に３ＤＬＵＴデータを送信する。

また、３ＤＬＵＴ生成部３０８は、表示制御部３０２に３ＤＬＵＴ生成完了通知を送信するとともに、一時的にＬＵＴデータを保管するために、メインメモリ２０４に３ＤＬＵＴデータを送信する。

３ＤＬＵＴを生成する方法については、図１８にて後述する。

プレビューターゲット画像生成部３０９は、表示制御部３０２からプレビューターゲット画像生成要求及び色合わせする画像（ターゲット画像）パスを受信すると３ＤＬＵＴ生成部３０８に３ＤＬＵＴデータ取得要求を送信し３ＤＬＵＴ生成部３０８から３ＤＬＵＴデータを取得する。

ターゲット画像パスおよび３ＤＬＵＴデータから、プレビューターゲット画像を生成し、表示制御部３０２に送信する。

プレビューターゲット画像を表示する処理フローについては、図１６にて後述する。

＜学習モデル作成方法＞
次に、図４を用いて、第一の学習モデル３１４および、第二の学習モデル３１５を生成するための学習モデル作成方法のフローチャートについて説明する。

本実施形態における学習モデルとは、ニューラルネットワークを用いて検出対象物の位置を学習させた機械学習モデルであり、学習モデルを用いた推論を実行することで検出対象物の位置を検出する。

ユーザーは、学習モデル生成ツールにおいて、検出対象物の位置を矩形（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）で指定することができ、１つの学習モデルに複数の検出対象物の位置を学習させることも可能である。

図４に示すフローチャートは、検出対象物を含む画像に対して、検出対象物の位置を教師データとしてラベル付けすることで、物体検出の学習モデルを作成する手順である。

本実施形態において、図４に示す処理は、学習モデル生成ツールを用いるものとする。学習モデル生成ツールは通信装置２０１ではなく、別のコンピュータにインストールされたＰＣアプリケーションやクラウドサービスとして準備されているものとする。そして推論実行部３１３では、前記の学習モデル生成ツールで生成した学習モデルを読み込み、対応した推論を実行可能であるとする。もちろん、通信装置が学習モデル生成ツールを有する構成としてもよい。

図４のＳ４０１において、ユーザーは、コンピュータのプロセッサにより制御される学習モデル生成ツールを操作し、検出対象物が含まれた画像を入力し、学習モデル生成ツールは、画像の入力を受け付ける。なお、本実施形態における検出対象物はカラーチャート全体及び一部である。この点については後述する。

図４のＳ４０２において、学習モデル生成ツールは、入力された画像を表示し、検出対象物の位置のラベル付けを受け付ける。ユーザーはコンピュータを操作し、Ｓ４０１で入力した画像に対して、画像内に含まれる検出対象物の位置をラベル付けする。第一の学習モデル、第二の学習モデルを生成する際のラベル付けの具体的な方法については、図６、図７にて後述する。

以上のＳ４０１～Ｓ４０２の処理を、データセットとして作成する画像枚数分全てに対して繰り返す。データセットとは、画像内に含まれる検出対象物の位置をラベル付けした画像データ群のことであり、学習モデルを作成するときに用いる。

図４のＳ４０３において、ユーザーは、学習モデル生成ツールに検出対象物の位置をラベル付けしたデータセットを入力し、学習モデル生成を指示する。入力・指示を付けた学習モデル生成ツールは、画像内から検出対象物の位置を出力する学習モデルを作成する。

＜カラーチャート＞
次に、図５を用いて、本実施形態におけるカラーチャート５００について説明する。

図５で示すカラーチャート５００は、整列に配置されたカラーパッチ５０１から５２４を有する。

なお、本実施形態のカラーチャートの一例として、各行のカラーパッチ数が６、各列のカラーパッチ数が４の合計２４個で構成されているカラーチャートについて述べるが、カラーチャートはこれに限られない。例えばカラーチャートは、少なくとも各行、各列Ｍ×Ｎ（Ｍ、Ｎはいずれも２以上の整数）に配置されたカラーパッチを有していればよく、カラーチャートの各行および各列を合計したカラーパッチ数は２４個より増減してもよい。

＜第一の学習モデルのラベル付け方法＞
次に、図６を用いて、第一の学習モデルのラベル付け方法について説明する。

図６で示すラベル付け範囲６０１は、第一の学習モデルを生成するために用いるデータセットを、作成する際のラベル付け範囲を示している。

本実施形態における第一の学習モデルとは、画像内に含まれるカラーチャート５００全体を検出するための学習モデルである。

Ｓ４０３で第一の学習モデルを作成する場合、Ｓ４０１でカラーチャート５００を含む画像を入力する。

第一の学習モデルは矩形による物体検出モデルであって、Ｓ４０２においてラベル付け範囲６０１とカラーチャート５００の四隅とが一致するようにラベル付けをおこなう。

上述した方法で、ユーザーは、ラベル付けしたデータセットを学習モデル生成ツールに入力し、Ｓ４０３で学習モデル生成を指示することによって、入力画像内に含まれるカラーチャート５００全体を検出可能な学習モデルが生成される。

＜第二の学習モデルのラベル付け方法＞
次に、図７を用いて、第二の学習モデルのラベル付け方法について説明する。図７で示すラベル付け範囲７０１～７０４は、第二の学習モデルを生成するために用いるデータセットを作成する際の各ラベル付けの範囲を示している。

本実施形態における第二の学習モデルとは、切り出し画像生成部３０４によって得られるカラーチャート５００の切り出し画像内から、複数の部分領域を検出するための学習モデルである。

Ｓ４０３で第二の学習モデルを作成する場合、Ｓ４０１でカラーチャート５００の切り出し画像を入力する。

第二の学習モデルは矩形による物体検出モデルであって、Ｓ４０２においてカラーチャート５００の複数の部分領域をラベル付けする。

Ｓ４０２において、ラベル付け範囲７０１とカラーチャート５００のカラーパッチ５０１の四隅とが一致するようにラベル付けをおこなう。

また、Ｓ４０２において、ラベル付け範囲７０２とカラーチャート５００のカラーパッチ５０６の四隅とが一致するようにラベル付けをおこなう。

また、Ｓ４０２において、ラベル付け範囲７０３とカラーチャート５００のカラーパッチ５１９の四隅とが一致するようにラベル付けをおこなう。

また、Ｓ４０２において、ラベル付け範囲７０４とカラーチャート５００のカラーパッチ５２４の四隅とが一致するようにラベル付けをおこなう。

上述した方法で、ユーザーは、ラベル付けしたデータセットを学習モデル生成ツールに入力し、Ｓ４０３で学習モデル生成を指示することによって、カラーチャート５００の切り出し画像内の複数の部分領域を検出可能な学習モデルが生成される。

なお、本実施形態の各ラベル付け範囲７０１～７０４の一例として、カラーチャート５００の四隅のカラーパッチ単体をラベル付けすることを述べるが、各ラベル付けの範囲や位置はこれに限られない。例えば各ラベル付け範囲は、単体のカラーパッチではなく、２×２などの複数のカラーパッチなどでもよい。つまり、四隅の左上としてカラーパッチ５０１、５０２、５０７、５０８を、右上としてカラーパッチ５０５、５０６、５１１、５１２、左下としてカラーパッチ５１３、５１４、５１９、５２０を、右下としてカラーパッチ５１７、５１８、５２３、５２４をラベル付け範囲とする。

＜カラーマッチングアプリ画面＞
次に、図８を用いて、カラーマッチングアプリ３０１の態様について説明する。図８は、カラーマッチングアプリ３０１の操作画面の表示状態と機能を示す模式図である。

図８（ａ）において、８０１はカラーマッチングアプリ３０１の起動後に表示される画面であり、フォルダ選択ボタン８０２と、サムネイル画像表示部分８０３で構成されている。フォルダ選択ボタン８０２をタップ操作で選択すると、ファイル管理アプリ３１０のファイル管理部３１１に保存されたフォルダを選択することができる。フォルダ選択に関する処理フローについては、図９の説明にて後述する。

カラーマッチングアプリ３０１は、選択されたフォルダ内の画像の情報から、サムネイル画像生成部３０３でサムネイル画像を生成し、８０３にフォルダ内の画像のサムネイル画像を表示する。

図８（ｂ）において、８０４は色合わせの基準とする画像のサムネイル画像（以下、リファレンス画像）をタップしたときに表示されるＵＩであり、８０５は色合わせの対象とする画像のサムネイル画像（以下、ターゲット画像）をタップしたときに表示されるＵＩである。タップして選択したリファレンス画像８０７およびターゲット画像８０８は、選択サムネイル画像表示部分８０６に表示される。

また、８０９は、切り出し画像生成部３０４で切り出されたリファレンス画像８０７のカラーチャートの切り出し画像およびカラーパッチ位置計算部３０５で出力されたカラーパッチ位置情報を示した画像である。

８１０は、切り出し画像生成部３０４で切り出されたターゲット画像８０８のカラーチャートの切り出し画像およびカラーパッチ位置計算部３０５で出力されたカラーパッチ位置情報を示した画像である。

８１１はプレビュー表示ボタンであり、プレビュー表示ボタン８１１をタップすると、リファレンス画像８０７およびターゲット画像８０８の２枚の選択画像から３ＤＬＵＴを生成して、図８（ｃ）で示すプレビュー画像表示部分８１２を表示する。

図８（ｃ）において、８１２はプレビュー画像表示部分であり、プレビュー画像表示ボタン８１１をタップしたときにリファレンス画像８０７および３ＤＬＵＴを適用したターゲット画像が表示される。

８１３は３ＤＬＵＴ保存ボタンであり、８１４は３ＤＬＵＴ保存確認ダイアログである。３ＤＬＵＴ保存ボタン８１３をタップすると、３ＤＬＵＴ保存確認ダイアログ８１４が、画面８０１に重畳して表示される。

８１５は３ＤＬＵＴ保存のキャンセルボタンであり、３ＤＬＵＴ保存のキャンセルボタン８１５をタップするとダイアログを閉じる。

８１６は生成した３ＤＬＵＴをファイル管理アプリにダウンロードする３ＤＬＵＴ保存ボタンであり、３ＤＬＵＴ保存ボタン８１６をタップするとファイル管理アプリ３１０のファイル管理部３１１に３ＤＬＵＴを保存する。

＜指定フォルダの画像情報取得処理＞
次に、図９を用いて、ファイル管理アプリ３１０のファイル管理部３１１に記録されているフォルダ一覧からフォルダを選択し、指定フォルダ内の画像情報を取得するための処理フローについて説明する。

図９に示す処理フローは、カラーマッチングアプリ３０１において、図８（ａ）の画面８０１表示中に、操作部２０６にて、フォルダ選択ボタン８０２のタップを検出したことをトリガーに実行される処理である。

図９のＳ９０１において、カラーマッチングアプリ３０１は、ファイル管理部３１１に記録されているフォルダから、指定フォルダ内のファイル一覧情報を取得するために、表示制御部３０２から、ファイル管理部３１１よりファイル一覧情報取得を要求する。

図９のＳ９０２において、カラーマッチングアプリ３０１は、指定フォルダ内のファイル一覧情報をファイル管理部３１１から取得する。

ファイル一覧情報を取得すると、ファイル一覧情報に含まれる全てのファイルに対して、Ｓ９０３～Ｓ９０４に示す処理を実行する。

図９のＳ９０３において、カラーマッチングアプリ３０１は、図２２を参照してファイルが画像フォーマットかどうかを判断し、ファイルが画像フォーマットであった場合、ファイル管理部３１１より画像情報を取得する（Ｓ９０４）。画像フォーマットでない場合は、該ファイルに対する処理を終了する。画像フォーマットであるかどうかはファイルの拡張子が所定の拡張子であるかどうかで判断する。

以上のＳ９０３～Ｓ９０４の処理を、指定フォルダ内の全てのファイルに対して実行することで、カラーマッチングアプリ３０１は、指定フォルダ内の画像情報を、ファイル管理部３１１より取得する。

以上の処理によって、カラーマッチングアプリ３０１は、ファイル管理アプリ３１０のファイル管理部３１１に記録されている、指定フォルダ内の画像情報を取得する。

次に、図２２を用いて、カラーマッチングアプリ３０１が、ファイル管理アプリ３１０のファイル管理部３１１より取得する、画像情報リストの一例を示す。

図２２は、ファイル管理部３１１に保存されている各ファイルが、画像ＩＤ、画像パスおよびサムネイル画像データ情報を含むことを示している。

カラーマッチングアプリ３０１がファイル管理部３１１と画像データをやり取りする際、ファイル管理部３１１から受信した画像情報リストから画像パスに紐づいている画像ＩＤやサムネイル画像データを参照する。

＜切り出し画像およびカラーパッチの位置情報取得処理＞
続いて、カラーマッチングアプリ３０１において、図８（ｂ）に示す選択サムネイル画像表示部分８０６を表示する際の処理について、図１０～図１２を用いて説明する。

図１０は、選択サムネイル画像表示部分８０６に表示する、リファレンス画像８０７の切り出し画像およびカラーパッチの位置情報８０９と、ターゲット画像８０８の切り出し画像およびカラーパッチの位置情報８１０を取得するための処理フローである。

図１０に示す処理フローは、カラーマッチングアプリ３０１において、図８（ｂ）のサムネイル画像表示部分８０３の表示中、操作部２０６にて、リファレンス選択画像８０４およびターゲット選択画像８０５のタップを検出したことをトリガーに実行される処理である。

図１０のＳ１００１において、カラーマッチングアプリ３０１は、カラーチャート５００の切り出し画像を取得するために、切り出し画像生成部３０４に、切り出し画像取得を要求し、リファレンス選択画像８０４およびターゲット選択画像８０５のパスを入力する。

図１０のＳ１００２において、カラーマッチングアプリ３０１は、カラーチャート５００の切り出し画像を切り出し画像生成部３０４から取得する。切り出し画像生成部３０４の処理フローに関しては、図１１で後述する。

図１０のＳ１００３において、カラーマッチングアプリ３０１は、カラーパッチ位置情報を取得するために、カラーパッチ位置計算部３０５に、カラーパッチ位置情報取得を要求し、リファレンス選択画像８０４の切り出し画像およびターゲット選択画像８０５の切り出し画像のパスを入力する。

図１０のＳ１００４において、カラーマッチングアプリ３０１は、カラーパッチ位置計算部３０５で計算されたカラーチャート５００のカラーパッチ位置情報を取得する。カラーパッチの位置情報の計算方法は、図１５で後述する。

図１０のＳ１００５において、カラーマッチングアプリ３０１は、Ｓ１００２とＳ１００４で取得したカラーチャート５００の切り出し画像およびカラーパッチ位置情報を、選択サムネイル画像表示部分８０６に表示する。

以上の処理によって、カラーマッチングアプリ３０１は、切り出し画像およびカラーパッチの位置情報を取得する。

＜切り出し画像生成部３０４の処理＞
次に、図１１を用いて、切り出し画像生成部３０４におけるカラーマッチングアプリ３０１からの切り出し画像取得要求受信時の処理フローについて説明する。

図１１に示す処理フローは、カラーマッチングアプリ３０１において、切り出し画像生成部３０４が、表示制御部３０２からの切り出し画像取得の要求を受信したことをトリガーに実行される処理である。

図１１のＳ１１０１において、切り出し画像生成部３０４は、画像内に含まれるカラーチャート５００の切り出し画像を生成するために、検出位置情報取得部３０６に、カラーチャート５００の位置情報取得を要求する。このとき、検出位置対象をカラーチャート５００の全体に指定する。要求を受けた検出位置情報取得部３０６で行われる処理は図１２で後述する。

図１１のＳ１１０２において、切り出し画像生成部３０４は、検出位置情報取得部３０６から画像内に含まれるカラーチャート５００の位置情報を取得する。

図１１のＳ１１０３において、切り出し画像生成部３０４は、カラーマッチングアプリ３０１からの切り出し画像取得要求で受信した入力画像パスを基に、ファイル管理部３１１に入力画像のパス取得を要求し、ファイル管理部３１１から指定画像を取得する。

図１１のＳ１１０４において、切り出し画像生成部３０４は、前述の指定画像に対して、カラーチャート５００の位置情報を基に切り出し画像を生成する。切り出し画像生成部３０４における切り出し画像の生成方法は、図１３で後述する。

図１１のＳ１１０５において、切り出し画像生成部３０４は、生成した切り出し画像をファイル管理部３１１に保存する。

図１１のＳ１１０６において、切り出し画像生成部３０４は、生成した切り出し画像のパスを図２２における画像情報リストの画像ＩＤに紐づけて記憶する。

以上の処理によって、切り出し画像生成部は、画像に含まれるカラーチャート５００の切り出し画像を生成する。

＜検出位置情報取得部３０６の処理フロー＞
次に、図１２を用いて、検出位置情報取得部３０６における切り出し画像生成部３０４からのカラーチャート５００の位置情報取得要求受信時またはカラーパッチ位置計算部３０５からのカラーチャート５００の複数の部分領域位置情報の取得要求受信時の処理フローを説明する。

図１２に示す処理フローは、検出位置情報取得部３０６が、切り出し画像生成部３０４またはカラーパッチ位置計算部３０５から検出位置情報取得要求を受信したことをトリガーに実行される処理である。

図１２のＳ１２０１において、検出位置情報取得部３０６は、受信した取得要求の検出位置対象が、カラーチャート５００全体かどうかを判断し、検出位置対象がカラーチャート５００全体であった場合、適用するモデルを第一の学習モデルに指定する（Ｓ１２０２）。検出位置対象がカラーチャート５００の全体でない場合は、適用するモデルを第二の学習モデルに指定する（Ｓ１２０３）。

図１２のＳ１２０４において、検出位置情報取得部３０６は、指定した学習モデルの検出位置情報を取得するために、機械学習ライブラリ３１２の推論実行部３１３に、Ｓ１２０２またはＳ１２０３で指定した学習モデルを用いた推論実行を指示する。

図１２のＳ１２０５において、検出位置情報取得部３０６は、推論実行部３１３から指定した学習モデルの位置情報を取得する。

以上の処理によって、検出位置情報取得部３０６は、カラーチャート５００の全体の位置情報または、カラーチャート５００の複数の部分領域の位置情報を取得する。

＜第一の学習モデルを用いた推論実行結果＞
次に、図２３（ａ）を用いて、第一の学習モデルを用いた推論実行結果から取得できる出力パラメータについて説明する。カラーチャート５００全体を検出可能な第一の学習モデルを用いた推論結果は、ラベル名、始点座標ｘ、始点座標ｙ、幅ｗおよび高さｈの５つのパラメータを出力する。なお、矩形の左上を始点とし、右方向がｘ方向、下方向がｙ方向とする。

図２３（ａ）における推論結果のラベル名は、図７のラベル付け範囲６０１のラベル名を示しており、ラベル名はＣｏｌｏｒ Ｃｈａｒｔである。

図２３（ａ）における推論結果の始点座標ｘ、始点座標ｙは、ラベル付け範囲６０１の左上の座標を表している。

図２３（ａ）における推論結果の幅ｗ、高さｈはそれぞれ、左上の座標を起点としたときのラベル付け範囲６０１の水平方向の長さおよび垂直方向の長さを表している。図２３（ａ）の推論結果において、左上の座標ｘ、ｙ、幅ｗおよび高さｈからラベル付け範囲６０１の四隅の座標を求めることができる。

次に、図２３（ｂ）を用いて、第二の学習モデルを用いた推論実行結果から取得できる出力パラメータについて説明する。カラーチャート５００内の複数の部分領域を検出可能な第二の学習モデルを用いた推論結果は、ラベル名、始点座標ｘ、始点座標ｙ、幅ｗおよび高さｈの５つのパラメータを出力する。

図２３（ｂ）における推論結果のラベル名は、ラベル付け範囲７０１～７０４のラベル名を示している。

図２３（ｂ）におけるラベル付け範囲７０１のラベル名は、Ｌｅｆｔ Ｕｐである（四隅のうち左上）。

図２３（ｂ）におけるラベル付け範囲７０２のラベル名は、Ｌｅｆｔ Ｂｏｔｔｏｍである（四隅のうち左下）。

図２３（ｂ）におけるラベル付け範囲７０３のラベル名は、Ｒｉｇｈｔ Ｕｐである（四隅のうち右上）。

図２３（ｂ）におけるラベル付け範囲７０４のラベル名は、Ｒｉｇｈｔ Ｂｏｔｔｏｍである（四隅のうち右下）。

図２３（ｂ）における推論結果の始点座標ｘ、始点座標ｙは、ラベル付け範囲７０１～７０４の左上の座標を表している。

図２３（ｂ）における推論結果の幅ｗ、高さｈはそれぞれ、左上の座標を起点としたときのラベル付け範囲７０１～７０４の各水平方向の長さおよび垂直方向の長さを表している。図２３（ｂ）の推論結果において、左上の座標ｘ、ｙ、幅ｗおよび高さｈからラベル付け範囲７０１～７０４の四隅の座標を求めることができる。

＜切り出し画像生成方法の説明図＞
次に、図１３を用いて、切り出し画像生成部３０４で生成されるカラーチャート５００の切り出し画像の生成方法について説明する。

図１３（ａ）は、カラーチャート５００が含まれた画像の一例を示している。

１３０１は、切り出し画像生成部３０４が、検出位置情報取得部３０６から取得したカラーチャート５００の検出位置結果を示している。前述したように、切り出し画像生成部３０４は検出位置結果として矩形領域を出力する。

なお、本実施形態における検出位置結果１３０１は、カラーチャート５００の一部と重なっているが、検出位置結果１３０１はこれに限られない。例えば検出位置結果１３０１は、画像に含まれるカラーチャート５００が正対していた場合、カラーチャート５００と一致する。また、検出位置結果１３０１は、カラーチャート５００よりも外側を検出してもよい。

Ｓ１１０５において、切り出し画像生成部３０４は、検出位置結果１３０１を基に切り出した切り出し画像を、ファイル管理部３１１に保存する。

図１３（ｂ）は、切り出し画像生成部３０４で生成したカラーチャート５００の切り出し画像および、カラーチャート５００周辺の背景部分を示している。

１３０２は、検出位置結果１３０１および検出位置結果１３０１よりも外側の背景部分を含んだ範囲の矩形であり、検出結果１３０１に対していわゆる余白を設けている。切り出し画像生成部３０４は矩形１３０２を切り出すことによって、カラーチャート５００と、その外側の画素を含んだ切り出し画像を生成することができる。

＜カラーパッチ位置計算部３０５の処理＞
次に、図１４を用いて、カラーパッチ位置計算部３０５におけるカラーマッチングアプリ３０１からのカラーパッチ位置情報の取得要求受信時の処理フローについて説明する。

図１４に示す処理フローは、カラーマッチングアプリ３０１において、カラーパッチ位置計算部３０５が、表示制御部３０２からのカラーパッチ位置取得要求を受信したことをトリガーに実行される処理である。

図１４のＳ１４０１において、カラーパッチ位置計算部３０５は、カラーチャート５００内の複数の部分領域の位置情報を取得するために、検出位置情報取得部３０６に、カラーチャート５００内の複数の部分領域の位置情報取得を要求する。このとき、検出位置対象をカラーチャート５００内の複数の部分領域に指定する。要求を受けた検出位置情報取得部３０６の処理は図１２で説明されている。

図１４のＳ１４０２において、カラーパッチ位置計算部３０５は、検出位置情報取得部３０６よりカラーチャート５００内の複数の部分領域の位置情報を取得する。

図１４のＳ１４０３において、カラーパッチ位置計算部３０５は、Ｓ１４０２で取得した各部分領域の位置情報から各部分領域の中央位置の座標を計算する。各部分領域の位置情報から各部分領域の中央位置の座標を計算する方法については、図１５（ａ）で後述する。

図１４のＳ１４０４において、カラーパッチ位置計算部３０５は、Ｓ１４０３で計算した各部分領域の中央位置の座標から各カラーパッチの位置を計算する。各部分領域の中央位置の座標から各カラーパッチの位置を計算する方法については、図１５（ｂ）で後述する。

以上の処理によって、カラーパッチ位置計算部３０５は、カラーチャート５００の各カラーパッチの位置を計算する。

＜カラーチャート５００の各カラーパッチ位置計算方法＞
次に、図１５を用いて、カラーパッチ位置計算部３０５におけるカラーチャート５００の各カラーパッチ位置計算方法について説明する。

図１５（ａ）は、カラーパッチ位置計算部３０５が、検出位置情報取得部３０６から取得したカラーチャート５００内の複数の部分領域の位置情報を示す一例である。各部分領域の位置情報は、推論実行部３１３による第二の学習モデルを用いた推論を実行した出力結果から取得される。

１５０１～１５０４は、検出位置情報取得部３０６から取得した各部分領域の検出位置結果を示している。

検出位置結果１５０１は、検出位置結果の矩形内にカラーチャート５００のカラーパッチ５０１全体を含んでいる。

また、検出位置結果１５０２は、検出位置結果の矩形内にカラーチャート５００のカラーパッチ５０６全体を含んでいる。

また、検出位置結果１５０３は、検出位置結果の矩形内にカラーチャート５００のカラーパッチ５１９全体を含んでいる。

また、検出位置結果１５０４は、検出位置結果の矩形内にカラーチャート５００のカラーパッチ５２４全体を含んでいる。

図１５（ａ）における点Ａ～点Ｄは検出位置結果１５０１～１５０４を基に生成された矩形の各中心座標を示している。

図１５（ｂ）は、検出位置結果の矩形から矩形の中心座標を求める方法を説明するための一例として、単体のカラーパッチ１５０５とその検出位置結果１５０６を示す図である。

検出位置結果１５０６の左上の座標をＰ（ｉ、ｊ）、各辺の長さがｄの正方形とすると、Ｓ１４０３において、カラーパッチ位置計算部３０５は、検出位置結果１５０６における中心座標Ｏを以下の式（１）で計算することができる。

式（１）を用いることによって、図１５（ａ）における検出位置結果１５０１～１５０４の各中心座標を求めることが可能であり、カラーパッチ位置計算部３０５は、各検出位置結果の矩形における各中心座標を取得することができる。
Ｏ（ｘ、ｙ）＝Ｐ（ｉ＋ｄ／２、ｊ＋ｄ／２）・・・（式１）
図１５（ｃ）は、Ｓ１５０４で図１５（ｂ）における検出位置結果１５０１～１５０４の各中心座標の距離情報から、各カラーパッチの中心座標を求める方法を説明するために示した図である。

ここでは一例として、任意のカラーパッチの中心座標（ｘ_ｍｎ、ｙ_ｍｎ）を求めるための説明を述べる。下付き文字ｍおよびｎは、左上のカラーパッチ５０１の中心座標を始点としてカラーパッチの位置を１行１列目としたときの、ｍ行ｎ列目を示している。

任意のカラーパッチの中心座標（ｘ_ｍｎ、ｙ_ｍｎ）を求めるために、カラーチャート５００内の四隅のカラーパッチの各中心座標を結んだ四角形を作成する。この四角形は、カラーチャート５００内の外側の各カラーパッチの中心座標上を通り、水平方向および垂直方向の線分上にある、各カラーパッチの中心座標で各線分を等分する。

したがって、水平方向の線分上に中心座標は６点存在するため、この線分を中心座標６点で等分すると水平方向の線分における等分数は５となる。同様に、垂直方向の線分上に中心座標は４点存在するため、この線分を中心座標４点で等分すると垂直方向における等分数は３となる。すなわち、線分を中心座標Ｎ点で等分するとき、等分数はＮ－１となる。

まず、任意のカラーパッチの中心座標（ｘ_ｍｎ、ｙ_ｍｎ）を求めるために、カラーパッチ５０１の中心座標（ｘ_１１、ｙ_１１）およびカラーパッチ５１９の中心座標（ｘ_１４、ｙ_１４）から、以下の式（２）（３）を用いて、カラーパッチ５０７、５１３の中心ｘ座標と中心ｙ座標を求める。

さらに、カラーパッチ５０６の中心座標（ｘ_６１、ｙ_６１）およびカラーパッチ５２４の中心座標（ｘ_６４、ｙ_６４）から、以下の式（４）（５）を用いて、カラーパッチ５１２、５１８の中心ｘ座標と中心ｙ座標を求める。

上述の式（２）～（５）を用いることで、カラーチャート５００内の四隅のカラーパッチの各中心座標を結んだ四角形における垂直方向の線分上に存在するカラーパッチ５０７、５１２、５１３、５１８の中心座標を求めることができる。

続いて、ｎ列目のカラーパッチの中心座標（ｘ_１ｎ、ｙ_１ｎ）、（ｘ_６ｎ、ｙ_６ｎ）を結んだ水平方向の線分から任意のカラーパッチの中心座標（ｘ_ｍｎ、ｙ_ｍｎ）を求めるために、以下の式（６）（７）を用いる。

上述の（式２）～（式７）を用いることで、カラーチャート５００のすべてのカラーパッチの中心座標を求めることができる。

たとえば、図１５（ｃ）で示したカラーパッチ５０８の中心座標（ｘ_３２、ｙ_３２）を求めるには、まず、式（２）～（５）にｎ＝２を代入して、検出した四隅のカラーパッチの各中心座標を結んだ四角形の垂直方向の線分から、中心座標（ｘ_１２、ｙ_１２）、（ｘ_６２、ｙ_６２）を求める。

この２点を結ぶことで、カラーチャート５０８の中心座標が位置する水平方向の線分を特定することができ、この線分上には、中心座標（ｘ_ｍ２、ｙ_ｍ２）（１≦ｍ≦６）が存在する。

続いて、式（６）（７）にｍ＝３、ｎ＝２を代入することで、カラーパッチ５０８中心座標（ｘ_３２、ｙ_３２）の位置を計算することができる。

以上の計算によって、カラーパッチ位置計算部３０５は、カラーチャート５００内の各カラーパッチの中心座標を求めることができる。

なお、本実施形態の図１５の説明において、カラーチャート５００内の各カラーパッチ間の距離が一律であることを前提とした計算方法について記載した。ただし、カラーチャート５００が奥行方向に傾き、見かけ上台形やいびつな形状の場合に、検出した四隅のカラーパッチの各中心座標を結んだ四角形の各辺の長さの比に応じた係数を求め、各カラーパッチ間の距離に重み付けして、各カラーパッチの中心座標を求めるとしてもよい。また、カラーチャート５００を射影変換で正対に変換してから、上述の式（２）～式（９）を用いて各カラーパッチの中心座標を求めるとしてもよい。

＜プレビュー画像表示＞
続いて、カラーマッチングアプリ３０１において、図８（ｃ）に示すプレビュー画像表示部分８０９を表示する際の処理について、図１６、図１７を用いて説明する。

図１６に示す処理フローは、カラーマッチングアプリ３０１において、図８（ｂ）のプレビュー画像表示ボタン８０８表示中に、操作部２０６にて、プレビュー画像表示ボタン８０８のタップを検出したことをトリガーに実行される処理である。

図１６のＳ１６０１において、カラーマッチングアプリ３０１は、カラーチャート５００の各カラーパッチの画素値を取得するために、画素値取得部３０７に、カラーチャート５００の各カラーパッチの画素値取得を要求する。

図１６のＳ１６０２において、カラーマッチングアプリ３０１は、画素値取得部３０７から、カラーチャート５００の各カラーパッチの平均画素値情報を取得する。画素値取得部３０７におけるカラーチャート５００の各カラーパッチの平均画素値取得の処理フローに関しては、図１７で後述する。

図１６のＳ１６０３において、カラーマッチングアプリ３０１は、３ＤＬＵＴを取得するために、３ＤＬＵＴ生成部３０８に、３ＤＬＵＴ生成要求を指示する。

図１６のＳ１６０４において、カラーマッチングアプリ３０１は、３ＤＬＵＴ生成部３０８から、３ＤＬＵＴ生成完了通知を受信する。また、３ＤＬＵＴ生成部３０８は、生成した３ＤＬＵＴデータをメインメモリ２０４に保存する。

図１６のＳ１６０５において、カラーマッチングアプリ３０１は、リファレンス画像および３ＤＬＵＴを適用したターゲット画像（以下、プレビューターゲット画像）を表示するために、プレビュー画像表示部分８０９に、プレビューターゲット画像生成要求を指示する。

プレビューターゲット画像生成部３０９は、カラーマッチングアプリ３０１からのプレビューターゲット画像生成要求の指示を受信すると、メインメモリ２０４から３ＤＬＵＴデータを取得する。

図１６のＳ１６０６において、カラーマッチングアプリ３０１は、プレビューターゲット画像生成部３０９で生成したプレビューターゲット画像を取得する。リファレンス画像および取得したプレビューターゲット画像は、表示制御部３０２にて、プレビュー画像表示部分８０９に表示される。

以上の処理によって、カラーマッチングアプリ３０１は、プレビュー画像表示部分８０９にリファレンス画像およびプレビューターゲット画像を表示する。

＜画素値取得部３０７の処理＞
次に、図１７を用いて、画素値取得部３０７におけるカラーマッチングアプリ３０１からの画素値取得要求受信時の処理フローについて説明する。

図１７に示す処理フローは、カラーマッチングアプリ３０１において、図８（ｂ）のプレビュー画像表示ボタン８０８表示中に、操作部２０６にて、プレビュー画像表示ボタン８０８のタップを検出したことをトリガーに実行される処理である。

図１７のＳ１７０１において、画素値取得部３０７は、カラーマッチングアプリ３０１から受信した画素値取得要求およびカラーパッチ位置情報から、各カラーパッチの中央位置を取得する。

図１７のＳ１７０２において、画素値取得部３０７は、各カラーパッチの中心座標の周辺画素の平均画素値を計算する。なお、平均画素値はＲＧＢ値を用いる。

図１７のＳ１７０３において、画素値取得部３０７は、Ｓ１７０２で計算した各カラーパッチの平均画素値を記憶する。

以上のＳ１７０１～１７０３の処理をリファレンス画像およびターゲット画像のカラーチャート５００の切り出し画像に対して実行することで、各切り出し画像内の各カラーパッチの平均画素値を取得することができる。

図１７のＳ１７０４において、画素値取得部３０７は、３ＤＬＵＴ生成部３０８に対して各切り出し画像内の各カラーパッチの平均画素値情報を出力する。

以上の処理によって、画素値取得部３０７は、各切り出し画像内の各カラーパッチの平均画素値を取得し、表示制御部３０２に画素値取得完了通知を送信し、３ＤＬＵＴ生成部３０８に出力する。

＜３ＤＬＵＴデータ＞
次に、図２４を用いて、３ＤＬＵＴ生成部３０８が、カラーマッチングアプリ３０１からの３ＤＬＵＴ生成要求の指示受信時に生成する、３ＤＬＵＴデータの一例について説明する。

図２４に示す３ＤＬＵＴデータは、３ＤＬＵＴ生成部３０８が生成する３ＤＬＵＴデータで、画素値取得部３０７から取得したリファレンス画像およびターゲット画像のカラーチャート５００におけるカラーパッチ２４個のＲＧＢ値から生成する。３ＤＬＵＴデータとしての各ＲＧＢ値の算出方法については、図１８にて後述する。

３ＤＬＵＴは、ターゲット画像のＲＧＢ値を入力した際に、対応するリファレンス画像のＲＧＢ値に変換して出力することで、ターゲット画像の色味をリファレンス画像に近づけるように補正することができる。

＜３ＤＬＵＴデータの生成方法＞
次に、図１８を用いて、本実施形態における３ＤＬＵＴデータの生成方法について説明する。

本実施形態における３ＤＬＵＴデータ数は、ＲＧＢ値で各３３ステップを有する３３×３３×３３であるものとする。

図１８で示す格子点１８０１は、色の三原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）それぞれを軸とした３次元グラフ上に配置した３ＤＬＵＴデータの画素値を示している。

３ＤＬＵＴデータの各ＲＧＢ値は、画素値取得部３０７で取得したカラーパッチ２４個のＲＧＢ値を基に、図１８に示す３次元空間上でそれぞれ線形補間を用いて生成される。線形補間については、一般的な座標の補間方法のため詳しい説明は割愛するものとする。

なお、本実施形態では、３ＤＬＵＴデータ生成手段として線形補間を用いたが、補間する手段はこれに限らず、バイリニア補間やバイキュービック補間など、別の補間方法であってもよい。

以上の処理によって、カラーマッチングアプリ３０１は、画像に含まれるカラーチャート５００の傾きや回転角度によらず、カラーチャート５００内の各カラーパッチの画素値を取得することができる。

［第２の実施形態］
第１の実施形態では、第一の学習モデルの推論結果を基に切り出した画像に対して第二の学習モデルによる推論を実行することで、各カラーパッチの位置を算出する方法について説明を行った。

本実施形態では、第１の実施形態で説明した第二の学習モデルの推論結果のみを用いて、より簡易的な構成で各カラーパッチの位置を算出する方法について説明する。

＜ソフトウェア構成＞
図１９は、本実施形態における通信装置２００のソフトウェア構成図である。

表示制御部３０２は、図８（ｂ）のリファレンス選択画像８０４がタップされたとき、カラーパッチ位置計算部３０５にカラーパッチ位置情報取得を要求し、カラーパッチ位置計算部から各カラーパッチの位置情報を取得する。

表示制御部３０２は、取得した各カラーパッチの位置情報から、カラーチャート５００の切り出し画像を生成し、カラーチャート５００の切り出し画像を選択サムネイル画像表示部分８０６に表示する。上記以外は、第１の実施形態と同様であるため、説明を割愛する。

＜カラーパッチの位置情報取得処理＞
図２０は、本実施形態における選択サムネイル画像表示部分８０６に表示するリファレンス画像８０７の切り出し画像およびカラーパッチの位置情報８０９と、ターゲット画像８０８の切り出し画像およびカラーパッチの位置情報８１０を取得するための処理フローである。

図２０に示す処理フローは、カラーマッチングアプリ３０１において、図８（ｂ）のサムネイル画像表示部分８０３表示中、操作部２０６にて、リファレンス選択画像８０４およびターゲット選択画像８０５のタップを検出したことをトリガーに実行される処理である。

図２０のＳ２００１において、カラーマッチングアプリ３０１は、カラーパッチ位置情報を取得するために、カラーパッチ位置計算部３０５に、カラーパッチ位置情報取得を要求し、リファレンス選択画像８０４およびターゲット選択画像８０５のパスを入力する。

図２０のＳ２００２において、カラーマッチングアプリ３０１は、カラーパッチ位置計算部３０５で計算されたカラーチャート５００のカラーパッチ位置情報を取得する。

カラーパッチの位置情報の計算方法は、図１５で示しているため、説明は割愛する。

図２０のＳ２００３において、カラーマッチングアプリ３０１は、Ｓ２００３で取得したカラーチャート５００のカラーパッチ位置情報を基に、カラーチャート５００の切り出し画像を生成する。

図２０のＳ２００４において、カラーマッチングアプリ３０１は、Ｓ２００２で取得したカラーパッチの位置情報と、Ｓ２００３で生成したカラーチャート５００の切り出し画像を、選択サムネイル画像表示部分８０６に表示する。

以上の処理によって、カラーマッチングアプリ３０１は、カラーパッチの位置情報を取得する。

＜検出位置情報取得部３０５の処理＞
次に、図２１を用いて、本実施形態での検出位置情報取得部３０５におけるカラーパッチ位置計算部３０４からのカラーチャート５００の複数の部分領域位置情報の取得要求受信時の処理フローを説明する。

図２１に示す処理フローは、カラーマッチングアプリ３０１において、図８（ｂ）のサムネイル画像表示部分８０３表示中、操作部２０６にて、リファレンス選択画像８０４およびターゲット選択画像８０５のタップを検出したことをトリガーに実行される処理である。

図２１のＳ２１０１において、検出位置情報取得部３０５は、カラーチャート５００の複数の部分領域の検出位置情報を取得するために、推論実行部３１２に、第二の学習モデルを用いた推論実行を指示する。

図２１のＳ２１０２において、検出位置情報取得部３０５は、推論実行部３１２から第二の学習モデルの推論実行結果であるカラーチャート５００内の複数の部分領域の位置情報を取得する。

以上の処理によって、検出位置情報取得部３０５は、画像内に含まれるカラーチャート５００の複数の部分領域の位置情報を取得する。

［その他の実施形態］
本発明はカラーチャート及びそこに含まれるカラーパッチの検出を例に説明したが、必ずしもこれには限定されない。例えば工場などで特定のパターンを含む部品を検出したり、物流などで荷物に貼付された特定のパターンを含むコードを検出する場合などにも用いることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 画像内のカラーチャートに含まれる複数のカラーパッチの画素値を取得する画像処理装置であって、
   カラーチャートを含む画像を入力する入力手段と、
   前記入力画像に対する、前記カラーチャートの部分領域を検出するための学習モデルによる推論の結果に基づき、前記入力画像内のカラーチャートの複数の部分領域の位置を特定する第１の特定手段と、
   前記複数の部分領域の位置情報から、前記複数のカラーパッチの位置を特定する第２の特定手段と、
   前記カラーパッチの位置に基づき、前記複数のカラーパッチの画素値を取得する取得手段と、
   を備え、
   前記学習モデルは、前記カラーチャートの複数の部分領域がラベル付けされたものであることを特徴とする画像処理装置。
2. 画像内のカラーチャートに含まれる複数のカラーパッチの画素値を取得する画像処理装置であって、
   カラーチャートを含む画像を入力する入力手段と、
   前記入力画像に対する、前記カラーチャート全体の領域を検出するための第１の学習モデルによる推論の結果に基づき、前記入力画像内のカラーチャートの位置を特定する第１の特定手段と、
   前記第１の特定手段により特定された前記カラーチャートの位置に基づき、前記入力画像から前記カラーチャートを含む領域を切り出した切り出し画像を生成する生成手段と、
   前記切り出し画像に対する、前記カラーチャートの部分領域を検出するための第２の学習モデルによる推論の結果に基づき、前記入力画像内のカラーチャートの複数の部分領域の位置を特定する第２の特定手段と、
   前記複数の部分領域の位置情報から、前記複数のカラーパッチの位置を特定する第２の特定手段と、
   前記カラーパッチの位置に基づき、前記複数のカラーパッチの画素値を取得する取得手段と、
   を有する画像処理装置。
3. 前記生成手段は、前記第１の学習モデルによる推論の結果に対して、所定の大きさの余白を設けて切り出し画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記第２の学習モデルは、前記カラーチャートのすべてのカラーパッチの位置を特定するための複数の部分領域をラベル付けすることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記カラーチャートは、Ｍ×Ｎ（Ｍ、Ｎは２以上の整数）で前記カラーパッチが配され、
   前記第２の学習モデルは、少なくともカラーチャートの四隅に位置するカラーパッチを検出することを特徴とする請求項２または３に記載の画像処理装置。
6. 前記第２の特定手段は、前記第２の学習モデルの推論の結果に基づいて、各カラーパッチのそれぞれの中央位置を取得し、
   前記取得手段は、前記カラーパッチの中央位置の周辺の平均画素値を取得することを特徴とする請求項２または３に記載の画像処理装置。
7. 前記第２の特定手段により特定されたカラーパッチの位置を表示する表示手段を更に有することを特徴とする請求項２または３に記載の画像処理装置。
8. 前記入力手段は、前記カラーチャートを含む第１の画像と第２の画像とを入力し、
   前記取得手段は、前記第１の画像のカラーパッチの画素値および第２の画像のカラーパッチの画素値を取得し、
   前記第１の画像のカラーパッチの画素値および第２の画像のカラーパッチの画素値に基づき、ＬＵＴを生成するＬＵＴ生成手段をさらに有することを特徴とする請求項２または３に記載の画像処理装置。
9. 前記表示手段はさらに、前記ＬＵＴ生成手段で生成したＬＵＴを前記第２の画像に適用した画像を表示することを特徴とする請求項８に記載の画像処理装置。
10. 画像内のカラーチャートに含まれる複数のカラーパッチの画素値を取得する画像処理装置の制御方法であって、
    カラーチャートを含む画像を入力する入力工程と、
    前記入力画像に対する、前記カラーチャート全体の領域を検出するための第１の学習モデルによる推論の結果に基づき、前記入力画像内のカラーチャートの位置を特定する第１の特定工程と、
    前記第１の特定工程で特定された前記カラーチャートの位置に基づき、前記入力画像から前記カラーチャートを含む領域を切り出した切り出し画像を生成する生成工程と、
    前記切り出し画像に対する、前記カラーチャートの部分領域を検出するための第２の学習モデルによる推論の結果に基づき、前記入力画像内のカラーチャートの複数の部分領域の位置を特定する第２の特定工程と、
    前記複数の部分領域の位置情報から、前記複数のカラーパッチの位置を特定する第３の特定工程と、
    前記カラーパッチの位置に基づき、前記複数のカラーパッチの画素値を取得する取得工程と、
    を有する画像処理装置の制御方法。
11. コンピュータを、請求項１乃至９のいずれか１項の画像処理装置の各手段として機能させるコンピュータによる実行が可能なプログラム。

Images