JPWO2020166256A1 - 情報処理端末、プログラム、情報処理システム及び色補正方法 - Google Patents

Abstract

表示画像を表示する表示部と、前記表示部を見ている状態のユーザの顔を撮影可能な撮影部とを有する情報処理端末であって、前記表示部に１色以上の色を含む表示画像を表示させる表示制御手段と、前記表示画像が表示された状態で前記撮影部に撮影させる撮影制御手段と、撮影画像から前記表示画像の反射光を抽出する表示画像抽出手段と、抽出した前記表示画像の反射光に基づいて撮影した画像の色補正を行う色補正手段と、を有する情報処理端末。

Description

本発明は、情報処理端末、プログラム、情報処理システム及び色補正方法に関する。

カメラ等の撮影装置で撮影した際に、周りの照明環境や撮影装置の設定等により、撮影した画像の色が変化してしまう。そのために、撮影した画像から正しく色を再現させるためには、色の補正を行う必要がある。

従来、カラーチャートを用意して、カラーチャートを撮影することにより、色を補正する技術が知られている。（特許文献１）

特開２００５−０４５４３８号公報

しかしながら、従来技術では、色の補正を行うためにはカラーチャートを用意しなければならない。また、撮影シーンの中にカラーチャートに含める必要があることから、カラーチャートの部分は他のものが写らないようにしなければならず、撮影可能な範囲が制限される。また、撮影した画像には、カラーチャート自体も写りこんでしまう。

本発明の一実施形態は、カラーチャートを用いることなく撮影した画像の色補正を行うことができる情報処理端末を提供することを目的とする。

開示の情報処理端末は、表示画像を表示する表示部と、前記表示部を見ている状態のユーザの顔を撮影可能な撮影部とを有する情報処理端末であって、前記表示部に１色以上の色を含む表示画像を表示させる表示制御手段と、前記表示画像が表示された状態で前記撮影部に撮影させる撮影制御手段と、撮影画像から前記表示画像の反射光を抽出する表示画像抽出手段と、抽出した前記表示画像の反射光に基づいて撮像した画像の色補正を行う色補正手段と、を有する。

カラーチャートを用いることなく情報処理端末で撮影した画像の色補正を行うことができる。

本実施形態に係る情報処理端末の一例の正面図である。 本実施形態に係る情報処理端末の一例のハードウェア構成図である。 本実施形態に係る情報処理端末の一例の処理ブロック図である。 本実施形態に係る情報処理端末を用いる色補正方法の全体処理の一例のフローチャートである。 本実施形態に係る情報処理端末における色補正画像抽出処理のフローチャートである。 本実施形態に係る情報処理端末における補正係数算出処理のフローチャートである。 本実施形態に係る情報処理端末における色補正処理のフローチャートである。 本実施形態に係る情報処理端末の表示部で表示する表示画像の一例を示す図である。 本実施形態に係る情報処理端末の色補正画像の抽出を説明する図である。 本実施形態に係る情報処理端末よる色補正処理の処理例を説明する図である。 本実施形態に係る情報処理端末とサーバ装置の一例の構成図である。 本実施形態に係る情報処理端末の表示画像の変形例を示す図である。 本実施形態に係る情報処理端末の表示画像の変形例を示す図である。 本実施形態に係る情報処理端末の表示画像の変形例を示す図である。 本実施形態に係る情報処理端末の表示画像の変形例を示す図である。

以下に図面を参照して本実施形態について説明する。

＜ハードウェア構成＞
《情報処理端末１》
図１は、本実施形態に係る情報処理端末１の正面図である。情報処理端末１としては、携帯電話やスマートフォンなどの通信端末や携帯型パーソナルコンピュータやタブレット型コンピュータなどの情報端末であってもよい。ここでは本実施形態の情報処理端末１として、スマートフォンを例として説明する。情報処理端末１の正面側には、表示部１００と撮影部２００を備える。表示部１００は、いわゆる、タッチパネルである。撮影部２００は、情報処理端末１の表示部１００側に設けられたカメラ、いわゆる、インカメラである。

情報処理端末１は例えば図２に示すハードウェア構成の情報処理端末により実現される。図２は本実施形態に係る情報処理端末の一例のハードウェア構成図である。

図２の情報処理端末１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０、外部Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）４０、記録媒体４５、無線Ｉ／Ｆ５０、音声処理部６０、表示部１００、撮影部２００を備える。それぞれは、バスＢ１により接続されている。

ＣＰＵ１０は、ＲＯＭ３０や記録媒体４５などの記憶装置からプログラム（アプリ）をＲＡＭ２０上に読み出し、処理を実行する演算装置である。

ＲＡＭ２０はプログラム（アプリ）等を一時保持する揮発性の半導体メモリ（記憶装置）の一例である。

ＲＯＭ３０は、電源を切ってもプログラム（アプリ）等を保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ３０には、起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）などのプログラム、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）設定やネットワーク設定などの各種設定が格納されている。

外部Ｉ／Ｆ４０は、記録媒体４５などの外部装置とのインタフェースである。図２の情報処理端末１は外部Ｉ／Ｆ４０を利用して記録媒体４５の読み取り及び／又は書き込みを行うことができる。

記録媒体４５にはＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどがある。

無線Ｉ／Ｆ５０は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネットなどの外部のネットワークに無線で接続するインタフェースである。無線Ｉ／Ｆ５０はアンテナを備え、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの移動体通信方式、または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信方式を用いて外部のネットワークに接続する。情報処理端末１は無線Ｉ／Ｆ５０を利用し、外部のサーバ装置等と通信を行うことができる。

音声処理部６０は、音声等の入出力処理を行う装置である。音声処理部６０には、マイク６２とスピーカ６４が接続され、マイク６２から音声を入力し、スピーカ６４から音を出力する。

表示部１００は、タッチパネル付きディスプレイである。表示部１００は、後述する表示画像やＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）、情報等の表示を行う。また、画面のタッチを検出することにより、操作等の入力を行う。

撮影部２００は、情報処理端末１の表示部１００側に設けられたカメラ、いわゆる、インカメラである。撮影部２００は、図１のように、情報処理端末１の表示部１００側に設けられていることから、例えば、ユーザが表示部１００を見た状態のユーザの顔を撮影可能である。

本実施形態に係る情報処理端末１は上記したハードウェア構成においてプログラム（アプリ）を実行することにより後述するような各種処理を実現できる。

本実施形態の情報処理端末１は撮影部２００により撮影されたユーザの顔の画像を用いて当該撮影したユーザの顔の画像について色の補正を行う。具体的には、情報処理端末１は所定の表示画像を表示部１００に表示する。ユーザが表示部１００を見た状態で、情報処理端末１の撮影部２００はユーザの顔を撮影する。情報処理端末１は、当該撮影したユーザの顔の画像に写っている表示部１００の表示画像を用いて、色の補正係数を算出する。当該補正係数を用いて当該撮影したユーザの顔の画像の色補正を行う。

＜ソフトウェア構成＞
情報処理端末１を例として、本実施形態のソフトウェア構成について説明する。図３は本実施形態に係る情報処理端末１の一例の処理ブロック図である。情報処理端末１は、表示制御手段３１０と、撮影制御手段３２０と、表示画像抽出手段３３０と、補正係数算出手段３４０と、色補正手段３５０と、制御手段４００と、を備える。

表示制御手段３１０は、情報処理端末１の表示部１００に所定の画像（例えば、後述する表示画像）を表示するように制御する。表示部１００は、表示制御手段３１０の制御により、所定の画像を表示する。

撮影制御手段３２０は、情報処理端末１の表示部１００に所定の画像が表示された状態で、情報処理端末１の撮影部２００を撮影するように制御する。撮影部２００は、撮影制御手段３２０の制御により撮影を行う。

表示画像抽出手段３３０は、撮影部２００が撮影した画像（撮像画像）から、ユーザの目、特に、目のいわゆる黒目部分（虹彩と瞳孔の部分）に写る表示部１００が表示した画像（表示画像）を抽出する。

補正係数算出手段３４０は、表示画像抽出手段３３０が抽出した画像の色度値を求める。求めた色度値と、表示部１００が表示した画像（表示画像）の色度値に基づいて、色の補正係数を算出する。

色補正手段３５０は、補正係数算出手段３４０が算出した補正係数を用いて、撮影部２００が撮影した画像の色を補正する。

制御手段４００は、情報処理端末１の全体を制御する。

＜処理＞
《全体処理》
本実施形態に係る情報処理端末１は、例えば図４に示すような手順で処理を行う。図４は、本実施形態に係る情報処理端末１の全体処理の一例を示したフローチャートである。本実施形態においては、表示画像５００を表示して撮影部２００で撮像し、その撮像画像を用いて補正係数の算出し、当該撮像画像の色補正を行う。

（ステップＳ１０） 情報処理端末１の制御手段４００は、ユーザによりプログラム（アプリ）が実行されると、撮影部２００を起動させるように制御する。撮影部２００は、制御手段４００からの制御により起動する。

（ステップＳ２０） 情報処理端末１の表示制御手段３１０は、表示部１００に表示画像を表示させるように制御する。表示部１００は、表示制御手段３１０からの制御により、表示画像を表示する。

表示部１００が表示する表示画像の例について説明する。図８は、本実施形態に係る情報処理端末１の表示部１００で表示する表示画像の一例を示す図である。表示画像５００は、白色、赤色、緑色、青色、灰色で各場所を塗りつぶした５色の模様となっている。赤色、緑色、青色については純色を表示するようにする。なお、図８では、白色、赤色、緑色、青色、灰色をそれぞれ、Ｗ、Ｒ、Ｇ、Ｂ、ＧＹという文字を付して表している。（図１２Ａ、図１２Ｂ、図１２Ｃ、図１２Ｄも同様である。）

表示画像５００の１段目には白色と赤色、２段目には緑色と青色、３段目には灰色が配置されている。本実施形態の表示画像５００では、３段目が１段目、２段目に対して、高さが高くなっている。

（ステップＳ３０） 情報処理端末１は、ユーザに対して表示部１００に顔を向けるように指示する。具体的には、情報処理端末１の制御手段４００は、「画面に顔を向けてください。」と音声処理部６０によりスピーカ６４から音声で指示する。

なお、情報処理端末１は、必要であれば、ユーザに対して表示部１００に顔を向けるように指示する際にメガネやコンタクトレンズを外すように指示してもよい。

（ステップＳ４０） 情報処理端末１の撮影制御手段３２０は、撮影部２００に撮影させるように制御する。撮影部２００は、撮影制御手段３２０からの制御を受けて、撮影を行う。撮影部２００が撮影を行う際には、撮影制御手段３２０は、表示部１００に表示画像５００が表示された状態であるようにする。

撮影の際のタイミングについて、例えば、ユーザが表示部１００をタップしたら、撮影するようにしてもよい。また、ユーザがシャッターボタン等のボタンを操作したら、撮影するようにしてもよい。さらに、表示部１００の表示や音声処理部６０によるスピーカ６４からの音声によりカウントダウンすることによって、カウントダウンが終了したら、撮影するようにしてもよい。いずれの場合にしても、撮影部２００が撮影を行う際には、撮影制御手段３２０は、表示部１００に表示画像５００が表示された状態であるようにする。

なお、ステップＳ２０とステップＳ３０については順番を逆にしてもよい。すなわち、先に、情報処理端末１は、ユーザに対して表示部１００に顔を向けるように指示する。その後に、情報処理端末１の表示制御手段３１０は、表示部１００に表示画像を表示させるように制御する。

その際には、「画面に顔を向けてください。」と音声処理部６０によりスピーカ６４から音声で指示するのに換えて、表示部１００に「画面に顔を向けてください。」と文字を表示してもよい。また、表示部１００にイラストやアイコン等を表示してユーザに対して表示部１００に顔を向けるように指示してもよい。撮影部２００で撮影している画像を表示してもよい。

また、ステップＳ２０とステップＳ３０の順番を逆にした場合には、撮影制御手段３２０は、撮影する直前に表示制御手段３１０に対して表示部１００に表示画像５００を表示させ、撮像した直後に表示画像５００を表示させないようにするようにしてもよい。すなわち、表示部１００をカメラのフラッシュのように、撮影するタイミングの短期間（一瞬）だけ表示画像５００を表示するようにしてもよい。

（ステップＳ５０） 情報処理端末１の表示画像抽出手段３３０は、撮影部２００が撮影した画像（撮影画像）から、ユーザの目に写った表示部１００が表示した画像（表示画像）を抽出する色補正画像抽出処理を行う。ユーザの目に写った表示部１００が表示した画像（表示画像）は、表示画像の目によって反射した反射光が撮影された画像である。色補正画像抽出処理については、後の段落で詳細に説明する。

（ステップＳ６０） 情報処理端末１の補正係数算出手段３４０は、表示画像抽出手段３３０が抽出した画像の色度値を求める。求めた色度値と、表示部１００が表示した画像（表示画像）の色度値に基づいて、色の補正係数を算出する補正係数算出処理を行う。補正係数算出処理については、後の段落で詳細に説明する。

（ステップＳ７０） 情報処理端末１の色補正手段３５０は、補正係数算出手段３４０が算出した補正係数を用いて、撮影部２００が撮影した画像の色を補正する色補正処理を行う。本実施形態では、撮影画像について色の補正を行う。色補正処理については、後の段落で詳細に説明する。

（ステップＳ８０） 情報処理端末１の制御手段４００は、色補正処理を行った画像を保存する。

《Ｓ５０：色補正画像抽出処理》
ステップＳ５０の色補正画像抽出処理について説明する。図５は色補正画像抽出処理の一例のフローチャートである。色補正画像抽出処理は、撮影画像から、表示画像が目で反射して写っている部分を抽出する。色補正画像抽出処理の表示画像が目で反射して写っている部分を抽出する処理が、表示画像の反射光を抽出する処理の一例である。

（ステップＳ１１０） 情報処理端末１の表示画像抽出手段３３０は、撮影部２００が撮影した画像（撮影画像）対して顔認識処理を行い、撮影画像中に含まれる顔を認識する。顔認識処理については、公知の技術を適用することができる。

（ステップＳ１２０） 情報処理端末１の表示画像抽出手段３３０は、ステップＳ１１０で顔認識した結果から、顔の部分を抽出する。さらに、顔の特徴点を抽出する。本実施形態の表示画像抽出手段３３０では、特徴点として目のいわゆる黒目部分（虹彩と瞳孔の部分）を抽出する。

なお、情報処理端末１の表示画像抽出手段３３０が、顔の特徴点を抽出する際に、目のいわゆる黒目部分（虹彩と瞳孔の部分）を抽出できない場合が考えられる。例えば、瞬き等を行って、撮影する際に目を閉じている場合やメガネやコンタクトを着用している場合等が考えられる。そのように、目のいわゆる黒目部分（虹彩と瞳孔の部分）を抽出できない場合は、再度ステップＳ２０に戻って、再度撮影を行うようにしてもよい。

（ステップＳ１３０） 情報処理端末１の表示画像抽出手段３３０は、ステップＳ１２０で抽出した目のいわゆる黒目部分（虹彩と瞳孔の部分）から、表示部１００で表示した表示画像５００が目で反射して写っている表示画像５０５を抽出する。図９は、右目のいわゆる黒目部分（虹彩と瞳孔の部分）に反射した表示画像５０５を示している。ステップＳ１３０では、この右目のいわゆる黒目部分（虹彩と瞳孔の部分）に反射した表示画像５０５を抽出する。

なお、本実施形態の情報処理端末１では、目のいわゆる黒目部分（虹彩と瞳孔の部分）から表示画像５０５を抽出したが、表示画像５０５を抽出する場所は、黒目部分（虹彩と瞳孔の部分）に限らない。色が抽出できるのであれば、目のいわゆる白目部分に反射した表示画像５０５を抽出してもよい。

《Ｓ６０：補正係数算出処理》
ステップＳ６０の補正係数算出処理について説明する。図６は補正係数算出処理の一例のフローチャートである。補正係数算出処理は、色補正を行うために必要な補正係数を算出する。

（ステップＳ２１０） 情報処理端末１の補正係数算出手段３４０は、表示画像抽出手段３３０が抽出した目に反射した表示画像５０５について、表示画像５００の各色に対応する部分のＲＧＢ値を取得する。表示画像５００は、白色、赤色、緑色、青色、灰色の５色により構成している。ここでは、白色、赤色、緑色、青色、灰色をそれぞれ色１、色２、色３、色４、色５とする。表示画像５００の色ｉ（ｉ＝１、・・・、５）の部分に対応する表示画像５０５の部分のＲＧＢ値（Ｒ_ｉ、Ｇ_ｉ、Ｂ_ｉ）を取得する。

なお、表示画像５００の色ｉの部分に対応する表示画像５０５の部分のＲＧＢ値は、例えば、表示画像５００の色ｉの部分に対応する表示画像５０５の部分のＲＧＢ値の平均値としてもよい。また、例えば、表示画像５００の色ｉの部分に対応する表示画像５０５の部分の中心の画素のＲＧＢ値又は中心付近の画素のＲＧＢ値の平均値としてもよい。

（ステップＳ２２０） 情報処理端末１の補正係数算出手段３４０は、ステップＳ２１０で取得した表示画像５００の色ｉ（ｉ＝１、・・・、５）に対応する部分のＲＧＢ値（Ｒ_ｉ、Ｇ_ｉ、Ｂ_ｉ）から数１に基づいて色ｉのＸＹＺ値を算出する。ＲＧＢ値（Ｒ_ｉ、Ｇ_ｉ、Ｂ_ｉ）から算出したＸＹＺ値を（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）とする。

（ステップＳ２３０） 情報処理端末１の補正係数算出手段３４０は、ステップＳ２２０で算出した各色のＸＹＺ値（Ｘ_ｉ、Ｙ_ｉ、Ｚ_ｉ）を用いて、数２に基づいてｘｙ値（色度値）を求める。ＸＹＺ値のＸ_ｉ、Ｙ_ｉ、Ｚ_ｉに対応するｘｙ値をｘ_ｉ、ｙ_ｉする。

（ステップＳ２４０） 情報処理端末１の補正係数算出手段３４０は、ステップＳ２３０で算出した各色のｘｙ値を用いて、数３に基づいて補正係数Δｘ_ｉ、Δｙ_ｉを求める。なお、ｘ０_ｉ、ｙ０_ｉは、表示画像５００の色ｉのｘｙ値である。

本実施形態の情報処理端末１では、表示画像５００として、赤色、緑色、青色は純色を表示するようにしている。すなわち、表示画像５００の赤色は、赤色の成分のみ、すなわち、（Ｒ、Ｇ、Ｂ）＝（１、０、０）である。同様に、表示画像５００の緑色は、緑色の成分のみ、すなわち、（Ｒ、Ｇ、Ｂ）＝（０、１、０）、表示画像５００の青色は、青色の成分のみ、すなわち、（Ｒ、Ｇ、Ｂ）＝（０、０、１）である。したがって、表示画像５００の赤色、緑色、青色のｘｙ値（ｘ０_ｉ、ｙ０_ｉ）は、純色の色度値となる。

《Ｓ７０：色補正処理》
ステップＳ７０の色補正処理について説明する。図７は色補正処理の一例のフローチャートである。色補正処理は、補正係数算出処理で算出した補正係数を用いて、画像の色を補正する。

（ステップＳ３１０） 情報処理端末１の色補正手段３５０は、補正を行う画像を取得する。本実施形態の情報処理端末１においては、ステップＳ３０で撮影した画像である。すなわち、色補正係数を求めるときに用いた画像である。

（ステップＳ３２０） 情報処理端末１の色補正手段３５０は、補正を行う画像をそれぞれＲＧＢ成分で分けた赤色画像、緑色画像、青色画像に分ける。ここでは、赤色画像について詳細に説明する。赤色画像の各画素、すなわち、補正を行う画像の各画素のＲ値について、数１に基づいてＹ値（Ｙ_ｒ）を求める。純色の赤のｙ値をｙ_ｒ０とする。表示画像５００の赤色に対して求めた補正値を、Δｘ_ｒ、Δｙ_ｒとする。式４に基づいて、ＸＹＺ値空間での補正値ΔＸ_ｒ、ΔＺ_ｒを求める。次に、式５に基づいて、ＲＧＢ空間での各画素の補正値ΔＲ_ｒ、ΔＧ_ｒ、ΔＢ_ｒを求める。求めたＲＧＢ空間での各画素の補正値ΔＲ_ｒ、ΔＧ_ｒ、ΔＢ_ｒを赤画像の各画素値から減算する。以上の処理により、赤画像の各画素を補正する。緑色画像、青色画像についても同様の処理を行う。そして、補正した赤色画像、青色画像、緑色画像を、例えば加算等を行い組み合わせることによって、最終的な補正画像を作成する。

なお、本実施形態では、色の補正は各色について求めた補正係数を用いて補正しているが、例えば求めた補正係数について平均などを行い、すべての色に同じ補正係数を用いて補正してもよい。また、一部の色のみを補正してもよい。本実施形態では、補正係数Δｘ、ΔｙをＲＧＢ空間の補正値に変換して、補正を行っているが、補正する画像について、画素値をｘｙ空間に変換して、ｘｙ空間で補正係数Δｘ、Δｙを用いて補正を行ってもよい。

目で反射された表示画像は、表示部からの光が目の角膜や水晶体で反射された画像である。そのことから強度については、目の角膜や水晶体の反射率等により大きく変動する。本実施形態では、色度値を用いることによって、強度の変動に影響を小さくして色の補正を行うことができる。

本実施形態の情報処理端末１により、カラーチャートを用意しなくても、情報処理端末１を用いて色補正を行うことができる。また、カラーチャートを用いていないことから、カラーチャートを撮影するためのスペースを確保する必要なく、撮影した画像に、カラーチャート自体が写りこむこともない。

なお、色補正後の画像について、目に写った表示画像５０５は小さいので、表示画像５０５が写ったままでも通常は問題ない。しかし、もし表示画像５０５が気になる場合は、当該表示画像５０５を周辺の色と同色の色とする修正を行うこともできる。

《処理例》
実際に処理を行った結果について説明する。図１０は、本実施形態に係る情報処理端末１よる色補正処理の処理例を説明する図である。

図１０は、ＣＩＥ１９７６ａ＊ｂ＊座標上に、純色（赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ））と、補正前（未処理）の色、補正後の色をプロットした図である。赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の３色（純色）について、赤色は円形のマーカーＲ０、緑色は四角形のマーカーＧ０、青色は逆三角形のマーカーＢ０でプロットした。なお、各純色について強度を変えて複数プロットしている。なお、原点から離れるほど各純色の強度は強いことを表している。

また、補正前のＲＧＢ値から算出した値を菱形のマーカーＭＲ、ＭＧ、ＭＲ、補正後のＲＧＢ値から算出した値を三角形のマーカーＣＲ、ＣＧ、ＣＢでプロットした。

図１０において、撮影した画像のＲＧＢ値が正しい場合は、例えば赤色について、補正前のＲＧＢ値のマーカーＭＲは、赤色の純色のマーカーＲ０上又はマーカーＲ０の間にプロットされる。なお、赤色の場合は、ａ＊ｂ＊座標上で、赤色の純色のマーカーＲ０を結ぶ線より上側にある場合は緑色の成分、下側にある場合は青色の成分が含まれることを表している。

同様に、例えば緑色について、撮影した画像のＲＧＢ値が正しい場合は、補正前のＲＧＢ値のマーカーＭＧは、緑色の純色のマーカーＧ０上又はマーカーＧ０の間にプロットされる。なお、緑色の場合は、ａ＊ｂ＊座標上で、緑色の純色のマーカーＧ０を結ぶ線より上側にある場合は赤色の成分、下側にある場合は青色の成分が含まれることを表している。

同様に、例えば青色について、撮影した画像のＲＧＢ値が正しい場合は、補正前のＲＧＢ値のマーカーＭＢは、青色の純色のマーカーＢ０上又はマーカーＢ０の間にプロットされる。なお、青色の場合は、ａ＊ｂ＊座標上で、青色の純色のマーカーＢ０を結ぶ線より上側にある場合は赤色の成分、下側にある場合は緑色の成分が含まれることを表している。

図１０の補正前の菱形のマーカーＭＲ、ＭＧ、ＭＢについて検討する。青色については、マーカーＭＢはほぼ青色の純色のマーカーＢ０を結ぶ線上にある。したがって、青色については、色が再現されていると考えられる。赤色については、マーカーＭＲは、赤色の純色のマーカーＲ０と比較して右側にプロットされている。したがって、若干青みを帯びていると判断することができる。緑色については、純色のマーカーＧ０と比較して下側にプロットされている。したがって、若干青みを帯びていると判断することができる。

図１０の補正後の三角形のマーカーＣＲ、ＣＧ、ＣＢについて検討する。補正された結果、それぞれほぼ純色のマーカーＲ０、Ｇ０、Ｂ０上又はマーカーＲ０、Ｇ０、Ｂ０の間にプロットされていることがわかる。そのことから、各色とのに正しい色に補正されたことがわかる。

＜変形例＞
本実施形態では、情報処理端末１単体で処理を行ったが、図１１のように情報処理端末１と、情報処理端末１とネットワーク４を介してデータ通信可能に接続されるサーバ装置５（情報処理装置）と、を組み合わせること情報処理システムとして処理を行ってもよい。例えば、以下のようにしてもよい。最初に、図４のステップＳ１０〜Ｓ４０の処理を情報処理端末１で行う。次に、情報処理端末１の撮影部２００で撮影した画像をサーバ装置５に送信する。サーバ装置５でステップＳ５０〜Ｓ６０の処理を行う。サーバ装置５で算出した補正係数を情報処理端末１に送信する。最後に、ステップＳ７０〜Ｓ８０の処理を情報処理端末１で行う。

また、サーバ装置５でステップＳ５０〜Ｓ７０までの処理を行って、色補正した画像を情報処理端末１に送信するようにしてもよい。その場合には、撮像した情報処理端末１に送信することに限らず、別の情報処理端末やサーバ装置に送信するようにしてもよい。

表示部１００に表示する表示画像は、表示画像５００に限らない。例えば、表示画像５００の色の配置を入れ替えてもよい。例えば、表示画像５００の１段目には緑色と青色、２段目には白色と赤色、３段目には灰色が配置されるようにしてもよい。なお、前述のように、本実施形態の表示画像５００では、３段目が１段目、２段目に対して、高さが高くなっていることから、３段目には灰色を配置することが望ましいが、ほかの色を配置してもよい。

表示画像の色の数は、図８に示す表示画像５００のように５色に限らない。表示画像は１色以上の色を含むようにすればよい。

図１２Ａ、図１２Ｂ、図１２Ｃ、図１２Ｄのように、色の配列自体を変更してもよい。例えば、図１２Ａの表示画像５１０のように、１度に１色のみを表示して、例えば、白色（Ｗ）、灰色（ＧＹ）、・・・の表示画像５１０を順に表示して撮像すること繰り返すようにしてもよい。その場合には、表示画像５１０のそれぞれについて補正係数を求めて、撮像した画像の何れかに又はすべてについて色補正を行ってもよい。

また、それぞれの色の表示画像５１０を順に表示して撮影することを、カメラの連写機能を用いて行ってもよい。表示する色の順番についても適宜変更してもよい。

図１２Ｂの表示画像５２０のように、一つの段に１色表示するようにしてもよい。なお、色の配置については、図１２Ｂの例に限らず変更してもよい。

図１２Ｃの表示画像５３０のように、一つの色を複数の階調で表示するようにしてもよい。例えば、１段目に明るい灰色（ＧＹ１）、２段目に１段目より暗い灰色（ＧＹ２）、３段目には更に暗い灰色（ＧＹ３）のように無彩色の色の階調を変えて表示するようにしてもよい。なお、色については、図１２Ｃの例のように灰色（ＧＹ）のような無彩色に限らずほかの色に変更してもよい。

図１２Ｄの表示画像５４０のように、色の領域を表示部１００の横方向すべてに表示するのではなく、中間に楕円形状に表示してもよい。なお、形状については楕円に限らず多角形でもよい。また、背景の色は灰色（ＧＹ）でもよいし、白色（Ｗ）でもよい。また、色を表示しない、すなわち、黒色、でもよい。

なお、色については、白色、赤色、緑色、青色、灰色に限らず、シアン、マゼンダ、黄色等を用いてもよい。また、シアン、マゼンダ、黄色等を色の組み合わせに含めてもよい。

表示画像として無彩色の画像を用いることによって、ホワイトバランスを調整することができる。表示画像として赤色、緑色、青色等の純色の画像を用いることによって、各色それぞれの色を補正することができる。そのことから、無彩色と各色を組み合わせることが望ましい。組み合わせについては、同じ表示画像の中にすべての色を備えるようにしてもよいし、順に表示するようにしてもよい。例えば、最初に白色（無彩色）を表示して、ホワイトバランスを調整した後に、赤色等の純色を表示してそれぞれの色の補正係数を算出するようにしてもよい。

情報処理端末１としては、表示画面側にカメラ、いわゆる、インカメラ、を備えている装置であれば、適用することが可能である。例えば、インカメラ付きの携帯電話やインカメラ付きの携帯型パーソナルコンピュータ（いわゆるノートパソコンやラップトップコンピュータ）やタブレット型コンピュータを適用してもよい。なお、カメラについては、外付けのカメラでも、表示画面側を撮影可能であればよい。

市販のスマートフォンにおいて、表示部の発色が純色から異なる場合がある。その場合は、本実施形態で補正係数を算出する際に、スマートフォンの機種情報等から表示部の発色による影響を後処理で補正するようにしてもよい。

本実施形態の情報処理端末１では、静止画を用いて補正を行ったが、動画を用いて行ってもよい。例えば、ユーザがシャッターボタン等のボタンを操作したら、その前後の時間において、動画を撮影するようにしてもよい。

本実施形態の情報処理端末１では、撮像画像を用いて補正係数の算出と当該撮像画像の色補正を行う処理を行ったが、撮像画像とは別の画像に対して、算出した補正係数を用いて色補正を行ってもよい。

本実施形態の情報処理端末１では、目で反射した表示画像を用いたが、反射した表示画像が撮影されていれば、表示画像が反射される場所は目に限らない。例えば、鏡やメガネ等で反射した画像を用いてもよい。

本実施形態の情報処理端末１では、ユーザ（人）の目で反射した表示画像を用いたが、動物（例えば、犬や猫）の目に反射した表示画像を用いるようにしてもよい。

以上、実施形態について詳述したが、上記の実施形態はすべての点で例示であって、上記の実施形態に限定されるものではない。上記の実施形態は、特許請求の範囲に記載された本発明の実施形態の要旨の範囲内において、種々の変形、変更が可能である。

本願は、日本特許庁に２０１９年 ２月１４日に出願された基礎出願特願２０１９−０２４５７３号の優先権を主張するものであり、その全内容を参照によりここに援用する。

１ 情報処理端末
１００ 表示部
２００ 撮影部
３１０ 表示制御手段
３２０ 撮影制御手段
３３０ 表示画像抽出手段
３４０ 補正係数算出手段
３５０ 色補正手段

Claims (8)

1. 表示画像を表示する表示部と、前記表示部を見ている状態のユーザの顔を撮影可能な撮影部とを有する情報処理端末であって、
   前記表示部に１色以上の色を含む表示画像を表示させる表示制御手段と、
   前記表示画像が表示された状態で前記撮影部に撮影させる撮影制御手段と、
   撮影画像から前記表示画像の反射光を抽出する表示画像抽出手段と、
   抽出した前記表示画像の反射光に基づいて、撮影した画像の色補正を行う色補正手段と、
   を有する情報処理端末。
2. 前記表示画像抽出手段は、前記表示画像の反射光として前記撮影画像から前記ユーザの目に写った前記表示画像を抽出すること
   を特徴とする請求項１に記載の情報処理端末。
3. 前記表示制御手段は、赤色、緑色及び青色を含む前記表示画像を表示させ、
   前記色補正手段は、抽出した前記表示画像の反射光に含まれる赤色、緑色及び青色の色度値と純色の赤色、緑色及び青色の色度値とに基づいて、前記表示部が表示する前記表示画像の色補正を行うこと
   を特徴とする請求項１又は２のいずれかに記載の情報処理端末。
4. 前記表示制御手段は、無彩色を含む前記表示画像を表示させ、
   前記色補正手段は、抽出した前記表示画像の反射光に含まれる表示画像色の色度値に基づいて、前記表示部が表示する前記表示画像の色補正を行うこと
   を特徴とする請求項１乃至３のいずれか一項に記載の情報処理端末。
5. 前記表示制御手段は、白色、赤色、緑色、青色及び灰色の模様を含む前記表示画像を前記表示部に表示させること
   を特徴とする請求項１乃至４のいずれか一項に記載の情報処理端末。
6. 表示画像を表示する表示部と、前記表示部を見ている状態のユーザの顔を撮影可能な撮影部とを有する情報処理端末を、
   前記表示部に１色以上の色を含む表示画像を表示させる表示制御手段、
   前記表示画像が表示された状態で前記撮影部に撮影させる撮影制御手段、
   撮影画像から前記表示画像の反射光を抽出する表示画像抽出手段、
   抽出した前記表示画像の反射光に基づいて撮影した画像の色補正を行う色補正手段、
   として機能させるためのプログラム。
7. 表示画像を表示する表示部、及び、前記表示部を見た状態のユーザの顔を撮影可能な撮影部を有する情報処理端末と、前記情報処理端末とネットワークを介してデータ通信可能に接続された情報処理装置と、を有する情報処理システムであって、
   前記表示部に１色以上の色を含む表示画像を表示させる表示制御手段と、
   前記表示画像が表示された状態で前記撮影部に撮影させる撮影制御手段と、
   撮影画像から前記表示画像の反射光を抽出する表示画像抽出手段と、
   抽出した前記表示画像の反射光に基づいて撮影した画像の色補正を行う色補正手段と、
   を有する情報処理システム。
8. 表示画像を表示する表示部と、前記表示部を見た状態のユーザの顔を撮影可能な撮影部とを有する情報処理端末が実行する色補正方法であって、
   前記表示部に１色以上の色を含む表示画像を表示させる表示制御ステップと、
   前記表示画像が表示された状態で前記撮影部に撮影させる撮影制御ステップと、
   撮影画像から前記表示画像の反射光を抽出する表示画像抽出ステップと、
   抽出した前記表示画像の反射光に基づいて撮影した画像の色補正を行う色補正ステップと、
   を有する色補正方法。

Images