JP7207847B2 - 画像処理方法、画像処理装置、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理方法、画像処理装置、及び画像処理プログラムに関する。

特許文献１には、人間の視感的な印象に近い色彩値を求める為の色彩測定装置が記載されている。この色彩測定装置では、物体を計測して得られる測色値から色彩値を取得し、この色彩値に対して、物体の光沢度を測定して得られる測定値に基づいて補正を行っている。

特開２００３－３１５１５４号公報

例えば農産、水産、畜産、土木、建築、食品加工、及び環境計測といった分野において、人による作業が中心となる現場では、対象物を色彩の違いによって判別する作業が、現場作業者の目視判断によって行われている。例えば農産の分野にて果実を収穫する際に、現場作業者が、果実の色彩に関するカラーチャートを予め用意し、そのカラーチャートの色彩と果実の色彩とを目視で比較することにより、収穫対象となる果実を判別する作業を行っている。

しかしながら、このような目視判断によって対象物が判別されると、例えば現場作業者の熟練度の違いにより現場作業者の目視判断の基準にばらつきが生じやすいので、判別の精度を一定の水準に保つことが難しくなる。また、例えば現場作業者の年齢及び性別の違いによって、その現場作業者の色彩識別能力が大きく異なることがあるので、このような色彩識別能力の違いによって目視判断の基準にばらつきが生じることもある。また、同一の現場作業者が作業を行う場合でも、その現場作業者の健康状態及び疲労状態等の影響によって、目視判断の基準が大きく左右されてしまうことがある。これらの影響による判別の精度のばらつきは、その対象物の品質等のばらつきに影響するので望ましくない。また、対象物の色彩を測定する測定装置は存在しているが、従来の測定装置では、局所的な色彩しか測定できないので、多数の対象物の判別の作業に手間及び時間が掛かる。従って、従来の測定装置を用いて対象物を効率良く判別することは難しい。

本発明は、このような問題点に鑑みてなされたものであり、色彩に基づいて対象物を精度良く且つ効率良く判別することができる画像処理方法、画像処理装置、及び画像処理プログラムを提供することを目的とする。

本発明の一実施形態による画像処理方法は、対象物が撮像された画像を処理する方法であって、画像の少なくとも一部に含まれる複数の画素の第１のＲＧＢ値を、彩度、色相、及び明度に変換する第１の変換ステップと、複数の画素のうち、所定の色相帯域に含まれる色相を有する対象画素を特定する特定ステップと、複数の画素のうち対象画素を除く背景画素の彩度及び色相の少なくとも１つに対して調整を行うことにより、対象画素を背景画素よりも目立たせる調整ステップと、複数の画素の調整後における彩度、色相、及び明度を、第２のＲＧＢ値に変換する第２の変換ステップと、を含む。

本発明の一実施形態による画像処理装置は、対象物が撮像された画像を処理する装置であって、画像の少なくとも一部に含まれる複数の画素の第１のＲＧＢ値を、彩度、色相、及び明度に変換する第１の変換部と、複数の画素のうち、所定の色相帯域に含まれる色相を有する対象画素を特定する特定部と、複数の画素のうち対象画素を除く背景画素の彩度及び色相の少なくとも１つに対して調整を行うことにより、対象画素を背景画素よりも目立たせる調整部と、複数の画素の調整後における彩度、色相、及び明度を、第２のＲＧＢ値に変換する第２の変換部と、を備える。

本発明の一実施形態による画像処理プログラムは、対象物が撮像された画像を処理するプログラムであって、画像の少なくとも一部に含まれる複数の画素の第１のＲＧＢ値を、彩度、色相、及び明度に変換する第１の変換ステップと、複数の画素のうち、所定の色相帯域に含まれる色相を有する対象画素を特定する特定ステップと、複数の画素のうち対象画素を除く背景画素の彩度及び色相の少なくとも１つに対して調整を行うことにより、対象画素を背景画素よりも目立たせる調整ステップと、複数の画素の調整後における彩度、色相、及び明度を、第２のＲＧＢ値に変換する第２の変換ステップと、をコンピュータに実行させる。

上記の画像処理方法、画像処理装置、及び画像処理プログラムによれば、特定ステップ（特定部）において、画像の少なくとも一部に含まれる複数の画素のうち、所定の色相帯域に含まれる色相を有する対象画素を特定する。そして、調整部ステップ（調整部）では、複数の画素のうち対象画素を除く背景画素の彩度及び色相の少なくとも１つに対して調整（例えば無彩度化）が行われることにより、対象画素を背景画素よりも目立たせる。これにより、調整後の画像において、同じ色相を有する部分を背景像に対して目立たせることができる。その結果、調整後の画像を通して同じ色相を有する対象物を客観的に判別することができるので、現場作業者間のばらつき或いは現場作業者の体調等の影響を受けることなく、対象物を色彩に基づいて精度良く判別することができる。また、画像を通して対象物を一目で判別することができるので、現場作業者の判別作業にかかる負担を軽減することができると共に、判別に要する時間を抑えることができる。その結果、対象物を効率良く判別することができる。

また、調整ステップ（調整部）では、背景画素の彩度を低下させてもよい。また、調整ステップ（調整部）では、背景画素の彩度を０にしてもよい。例えば、このような調整が行われることにより、対象画素を背景画素よりも目立たせることができるので、上記の効果を好適に奏することができる。

また、調整ステップ（調整部）では、背景画素の色相を対象画素の色相の対立色にしてもよい。例えば、このような調整が行われることにより、対象画素を背景画素よりも目立たせることができるので、上記の効果を好適に奏することができる。

また、調整ステップ（調整部）では、背景画素の明度を低下させてもよい。例えば、このような調整が行われることにより、対象画素を背景画素よりも目立たせることができるので、上記の効果を好適に奏することができる。

本発明によれば、色彩に基づいて対象物を精度良く且つ効率良く判別することができる。

図１は、第１実施形態の画像処理装置を搭載するスマートデバイスの機能ブロック図である。 図２は、対象物の一例としてイチゴが撮像された画像である。 図３の（ａ）は、ＲＧＢ色空間を示す図である。図３の（ｂ）は、ＨＳＶ色空間を示す図である。 図４は、図２に示される画像に対して調整部による調整が行われた後の画像である。 図５は、第１実施形態の画像処理方法を示すフローチャートである。 図６の（ａ）は、対象物としてサクランボが撮像された画像である。図６の（ｂ）は、図６の（ａ）に示される画像に対して、画像処理装置による画像処理が行われた後の画像である。 図７の（ａ）は、対象物としてパプリカが撮像された画像の一例である。図７の（ｂ）は、図７の（ａ）に示される画像に対して、画像処理装置による画像処理が行われた後の画像である。 図８は、図３の（ｂ）に示されるＨＳＶ色空間を中心軸方向から見た図である。 図９の（ａ）は、対象物としてパプリカが撮像された画像の他の例である。図９の（ｂ）は、図９の（ａ）に示される画像に対して、画像処理装置による処理が行われた後の画像である。図９の（ｃ）は、図９の（ａ）に示される画像に対して、画像処理装置による別の画像処理が行われた後の画像である。 図１０の（ａ）は、対象物としてハザード表示部が撮像された画像である。図１０の（ｂ）は、図１０の（ａ）に示される画像に対して、画像処理装置による画像処理が行われた後の画像である。 図１１は、第１実施形態の画像処理装置を搭載するロボットの概略構成図である。 図１２は、第１実施形態の画像処理装置を搭載するロボットの機能ブロック図である。 図１３は、第２実施形態の画像処理方法を示すフローチャートである。

以下、添付図面を参照しながら、本発明の位置検出センサの実施の形態を詳細に説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
本実施形態の画像処理装置は、対象物が撮像された画像を処理する装置であって、例えば、スマートフォン、タブレット端末、又はスマートグラスといったスマートデバイス（情報処理装置）に搭載されるものである。図１は、本実施形態の画像処理装置２０を搭載するスマートデバイス１の機能ブロック図である。図１に示されるスマートデバイス１は、プログラムを実行するプロセッサと、ＲＯＭ及びＲＡＭ等の主記憶部と、ハードディスク及びフラッシュメモリ等の補助記憶部と、入力端子、出力端子、及び無線通信モジュール等の入出力インタフェースとを備えるコンピュータである。後述するスマートデバイス１の各機能的構成要素は、プロセッサ又は主記憶部の上に所定のソフトウェアを読み込ませ、プロセッサの制御の下で、入出力インタフェースを動作させ、主記憶部又は補助記憶部におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータ及びデータベースは、主記憶部又は補助記憶部内に格納される。

図１に示されるように、スマートデバイス１は、機能的構成要素として、撮像部１０と、画像処理装置２０と、表示部３０とを備えている。撮像部１０は、対象物（例えば果実）を含む周辺の画像を撮像し、該周辺の画像を出力する。図２は、対象物の一例としてイチゴが撮像された画像である。図２に示される画像は、便宜上、グレースケールで表されているが、実際には、フルカラーで表される。画像は、静止画であってもよく、複数のフレームから成る動画像であってもよい。再び図１を参照する。画像処理装置２０は、受付部２１と、変換部２２（第１の変換部）と、特定部２３と、調整部２４と、変換部２５（第２の変換部）とを備えている。

受付部２１は、撮像部１０と電気的に接続されている。受付部２１は、撮像部１０から出力された画像を受け付ける。受付部２１が受け付ける画像は、ＲＧＢ色空間で表現された画像である。変換部２２には、受付部２１が受け付けた画像が入力する。変換部２２は、画像のＲＧＢ色空間を、ＨＳＶ色空間に変換する。具体的には、変換部２２は、画像の少なくとも一部（一例では全て）に含まれる複数の画素のＲＧＢ値（第１のＲＧＢ値）を、色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、及び明度（Ｖａｌｕｅ）に変換する。

ここで、画像の色空間について説明する。図３の（ａ）は、ＲＧＢ色空間を示す図であり、図３の（ｂ）は、ＨＳＶ色空間を示す図である。図３の（ａ）に示されるＲＧＢ色空間は、３次元直交座標系の色空間である。ＲＧＢ色空間の３つの座標軸は、Ｒ（赤色）成分の色値、Ｇ（緑色）成分の色値、及びＢ（青色）成分の色値をそれぞれ表している。ＲＧＢ値は、これらの色値の組み合わせで表現される。その一方で、図３の（ｂ）に示されるＨＳＶ色空間は、円柱状の色空間である。ＨＳＶ色空間において、色相Ｈは角度で表され、彩度Ｓは円柱の中心軸から径方向に延びる軸で表され、明度Ｂは中心軸に沿った縦軸で表される。このように各画素のＲＧＢ値を色相Ｈ、彩度Ｓ、及び明度Ｂの３要素で表すことによって、これらの３要素をそれぞれ独立して調整することが可能になる。

再び図１を参照する。特定部２３は、各画素の色相Ｈに基づいて、複数の画素のうち、所定の色相帯域に含まれる色相Ｈを有する対象画素Ｐ１（図２参照）を特定する。これにより、対象画素Ｐ１と、複数の画素のうち対象画素Ｐ１を除く背景画素Ｐ２（図２参照）とを互いに区別することができる。色相帯域は、図３の（ｂ）に示されるＨＳＶ色空間において、角度範囲で規定される。この角度範囲の上限値及び下限値は、例えばマウス、キーボード、及びタッチパネルといった入力インタフェースによって設定される。角度範囲の上限値及び下限値は、例えば予め設定されている。或いは、角度範囲の上限値及び下限値は、スマートデバイス１を使用する度に入力インタフェースを介してユーザ（例えば現場作業者）により設定されてもよい。対象物の判別作業を行う日の天気及び時間帯の影響により各画素の色相Ｈの値が変化することがあるが、このようにスマートデバイス１の使用時に色相帯域を設定することによって、対象物を精度良く判別することが可能になる。或いは、角度範囲の上限値及び下限値は、画像の中の任意の位置にある画素が有する色相Ｈを基準として、設定されてもよい。例えば、ユーザがタッチパネル等の入力インタフェースを用いて画像の任意の位置（例えば収穫対象となる果実の位置）を指定し、その指定された位置にある画素が有する色相Ｈを基準として、角度範囲の上限値を＋０．５度とし、下限値を－０．５度としてもよい。なお、この場合も、角度範囲の上限値及び下限値は、予め設定されていてもよく、或いは、スマートデバイス１を使用する度にユーザにより設定されてもよい。特定部２３は、このようにして設定される色相帯域に含まれる色相Ｈを有する対象画素Ｐ１を特定する。

調整部２４は、複数の画素のうち対象画素Ｐ１を除く背景画素Ｐ２の色相Ｈ及び彩度Ｓの少なくとも１つに対して調整を行うことにより、対象画素Ｐ１を背景画素Ｐ２よりも目立たせる（強調する）。図４は、図２に示される画像に対して調整部２４による調整が行われた後の画像である。図４では、対象画素Ｐ１からなる領域がハッチングで表されており、背景画素Ｐ２からなる領域は、グレースケールで表されている。なお、図４において、便宜上、対象画素Ｐ１からなる領域がハッチングで表されているが、実際には本来の色彩で表される。

調整部２４は、複数の画素のうち対象画素Ｐ１を除く背景画素Ｐ２の色相Ｈ及び彩度Ｓの少なくとも１つに対して調整を行う。例えば、調整部２４は、背景画素Ｐ２の彩度Ｓを低下させる。或いは、調整部２４は、背景画素Ｐ２の彩度Ｓを、対象画素Ｐ１の彩度Ｓよりも低い値にしてもよい。或いは、調整部２４は、背景画素Ｐ２の彩度Ｓを０（無彩度化）にしてもよい。

また、調整部２４は、背景画素Ｐ２の色相Ｈを対象画素Ｐ１の色相Ｈの対立色にしてもよい。或いは、調整部２４は、背景画素Ｐ２の調整後における色相Ｈを、背景画素Ｐ２の調整前における色相Ｈの対立色にしてもよい。なお、対立色とは、図３の（ｂ）に示されるＨＳＶ色空間において、或る色相Ｈが位置する角度を基準（０度）として、１２０度～２４０度の角度範囲、好ましくは１４０度～２２０度の角度範囲、より好ましくは１６５度～１９５度の角度範囲に含まれる色相Ｈである。また、調整部２４は、背景画素Ｐ２の色相Ｈ及び彩度Ｓの両方に対して、上記と同様の調整を行ってもよい。すなわち、調整部２４は、背景画素Ｐ２の色相Ｈを対象画素Ｐ１の色相Ｈの対立色にする調整を行うと共に、背景画素Ｐ２の彩度Ｓを低下させる（例えば０にする）調整を行ってもよい。

更に、調整部２４は、背景画素Ｐ２の明度Ｂに対して調整を行う。具体的には、調整部２４は、背景画素Ｐ２の明度Ｂを低下させる。或いは、調整部２４は、背景画素Ｐ２の明度Ｂを、対象画素Ｐ１の明度Ｂよりも低い値にしてもよい。なお、調整部２４は、対象画素Ｐ１の色相Ｈ、彩度Ｓ、及び明度Ｂに対しては調整を行わずに保持する。或いは、調整部２４は、対象画素Ｐ１の色相Ｈ、彩度Ｓ、及び明度Ｂに対して人間が目視でより認識し易くなるように調整を行ってもよい。例えば、調整部２４は、対象画素Ｐ１の色相Ｈを、人間が目視で認識し易い赤色の色相Ｈとする調整を行ってもよい。

再び、図１を参照する。変換部２５は、画像のＨＳＶ色空間を、再びＲＧＢ色空間に変換する。すなわち、変換部２５は、各画素の色相Ｈ、彩度Ｓ、及び明度Ｂを、再びＲＧＢ値（第２のＲＧＢ値）に変換する。そして、変換部２５は、そのＲＧＢ値に基づいて画像を調整し、該画像を表示部３０に出力する。また、変換部２５は、画像を例えばＲＯＭに出力し、該画像をＲＯＭに記憶させてもよい。なお、このように画像のＨＳＶ色空間をＲＧＢ色空間に再度変換するのは、一般に、画像を表示する表示部３０が、ＲＧＢ色空間におけるデータ（ＲＧＢデータ）の表示用に造られているからである。表示部３０は、変換部２５と電気的に接続されている。表示部３０には、例えばディスプレイが用いられる。表示部３０は、変換部２５により出力される画像を表示する。

次に、スマートデバイス１の動作（情報処理方法）を説明する。併せて、本実施形態の画像処理方法について説明する。この画像処理方法は、例えばＲＯＭに記憶されたプログラムをプロセッサが読み出し実行することによって好適に実施される。

図５は、本実施形態の画像処理方法を示すフローチャートである。図５に示されるように、まず、撮像部１０が、対象物を含む周辺の画像（図２参照）を撮像し、該周辺の画像を出力すると、受付部２１が、その画像（図２参照）を受け付ける（Ｓ１１、受付ステップ）。次に、変換部２２が、受付部２１から出力された画像の少なくとも一部に含まれる複数の画素のＲＧＢ値を、色相Ｈ、彩度Ｓ、及び明度Ｂに変換する（Ｓ１２、第１の変換ステップ）。次に、特定部２３が、複数の画素の色相Ｈに基づいて、複数の画素のうち、所定の色相帯域に含まれる色相Ｈを有する対象画素Ｐ１を特定する（Ｓ１３、特定ステップ）。

次に、調整部２４が、複数の画素のうち対象画素Ｐ１を除く背景画素Ｐ２の色相Ｈ及び彩度Ｓの少なくとも１つに対して調整を行う（Ｓ１４、調整ステップ）。具体的には、調整部２４は、背景画素Ｐ２の彩度Ｓを低下させる。一例では、調整部２４は、背景画素Ｐ２の彩度Ｓを０（無彩度化）にする。更に、調整部２４は、背景画素Ｐ２の明度Ｂに対して調整を行う。例えば、調整部２４は、背景画素Ｐ２の明度Ｂを低下させる。なお、調整部２４は、対象画素Ｐ１の色相Ｈ、彩度Ｓ、及び明度Ｂに対しては調整を行わずに保持する。或いは、調整部２４は、対象画素Ｐ１の色相Ｈ、彩度Ｓ、及び明度Ｂに対して人間が目視でより認識し易くなるように調整を行ってもよい。次に、変換部２２が、各画素の色相Ｈ、彩度Ｓ、及び明度Ｂを、再びＲＧＢ値に変換する（Ｓ１５、第２の変換ステップ）。そして、変換部２５は、そのＲＧＢ値に基づいて、画像の複数の画素を調整し、該画像を表示部３０に出力する。次に、表示部３０は、変換部２５により出力される画像（図４参照）を表示する。（Ｓ１６、表示ステップ）。

以上に説明した、本実施形態の画像処理方法、画像処理装置２０、及び画像処理プログラムによって得られる効果を説明する。本実施形態の画像処理方法、画像処理装置２０、及び画像処理プログラムによれば、特定ステップＳ１３（特定部２３）において、画像の少なくとも一部に含まれる複数の画素のうち、所定の色相帯域に含まれる色相Ｈを有する対象画素Ｐ１を特定する。そして、調整ステップＳ１４（調整部２４）では、複数の画素のうち対象画素Ｐ１を除く背景画素Ｐ２の彩度Ｓ及び色相Ｈの少なくとも１つに対して調整（例えば無彩度化）を行うことにより、対象画素Ｐ１を背景画素Ｐ２よりも目立たせる。これにより、図４に示されるように、調整後の画像において、同じ色相Ｈを有する部分を背景像に対して目立たせることができる。その結果、調整後の画像を通して同じ色相Ｈを有する対象物を客観的に判別することができるので、現場作業者間のばらつき或いは現場作業者の体調等の影響を受けることなく、対象物を色彩に基づいて精度良く判別することができる。

一例として、果実の判別作業の現場にスマートデバイス１を導入することにより、撮像された画像において、収穫対象となる果実（対象物）が写された部分（対象画素Ｐ１からなる領域）を背景像（背景画素Ｐ２からなる領域）に対して目立たせることができる。これにより、その画像を通して収穫対象となる果実を客観的に判別することができる。例えば、現場作業者は、その熟練度の違いによらず、収穫対象の果実を一定の基準で判別することができる。これにより、現場作業者の熟練度を向上させる為のトレーニングを行う必要が無くなるので、労務経費を抑えることができると共に、労働力を増加させることができる。また、一般に、若い女性の色彩識別能力は優れており、中年男性の色彩識別能力は、若い女性の色彩識別能力よりも劣るといわれているが、そのような色彩識別能力の違いによらず、収穫対象の果実を一定の基準で判別することができる。また、同一の現場作業者が判別作業を行う場合でも、その現場作業者は、その健康状態及び疲労状態等の影響によらず、収穫対象の果実を一定の基準で判別することができる。このように、本実施形態の画像処理方法、画像処理装置２０、及び画像処理プログラムによれば、現場作業者間のばらつき或いは現場作業者の体調等の影響を受けることなく、対象物を色彩に基づいて精度良く判別することができる。

また、画像を通して対象物を一目で判別することができるので、現場作業者の判別作業にかかる負担を軽減することができると共に、判別に要する時間を抑えることができる。これにより、対象物を効率良く判別することができる。なお、ウエアラブルコンピュータ（例えばスマートグラス等のヘッドマウントディスプレイ）を用いれば、ハンズフリーで対象物を判別することができるので、対象物を更に効率良く判別することができる。

また、調整ステップＳ１４（調整部２４）では、背景画素Ｐ２の彩度Ｓを低下させてもよい。また、調整部２４では、背景画素Ｐ２の彩度Ｓを０にしてもよい。例えば、このような調整が行われることにより、対象画素Ｐ１を背景画素Ｐ２よりも目立たせることができるので、上記の効果を好適に奏することができる。

また、調整ステップＳ１４（調整部２４）では、背景画素Ｐ２の色相Ｈを対象画素Ｐ１の色相Ｈの対立色にしてもよい。例えば、このような調整が行われることにより、対象画素Ｐ１を背景画素Ｐ２よりも目立たせることができるので、上記の効果を好適に奏することができる。

また、調整ステップＳ１４（調整部２４）では、背景画素Ｐ２の明度Ｂを低下させてもよい。例えば、このような調整が行われることにより、対象画素Ｐ１を背景画素Ｐ２よりも目立たせることができるので、上記の効果を好適に奏することができる。

（実施例）
図６の（ａ）は、対象物としてサクランボが撮像された画像である。図６の（ａ）に示される画像は、便宜上、グレースケールで表されているが、実際には、フルカラーで表される。図６の（ａ）において、対象画素Ｐ３、及び複数の画素のうち対象画素Ｐ３を除く背景画素Ｐ４が示されている。図６の（ａ）に示される画像に対して、上記実施形態の画像処理装置２０により、以下の画像処理が行われる。すなわち、受付部２１が、図６の（ａ）に示される画像を受け付けると、変換部２２は、その画像の全体に含まれる複数の画素のＲＧＢ値を、色相Ｈ、彩度Ｓ、及び明度Ｂに変換する。次に、特定部２３が、所定の色相帯域に含まれる色相Ｈを有する対象画素Ｐ３を特定する。所定の色相帯域とは、図３の（ｂ）に示されるＨＳＶ色空間において、収穫対象となるサクランボの赤色の色相Ｈが含まれる角度範囲である。

次に、調整部２４が、背景画素Ｐ４の色相Ｈ及び彩度Ｓの両方に対して調整を行う。具体的には、調整部２４は、背景画素Ｐ４の彩度Ｓを０（無彩度化）にすると共に、背景画素Ｐ４の明度Ｂを低下させる。なお、調整部２４は、対象画素Ｐ３の色相Ｈ、彩度Ｓ、及び明度Ｂに対しては、調整を行わない。次に、変換部２５が、各画素の色相Ｈ、彩度Ｓ、及び明度Ｂを再びＲＧＢ値に変換する。図６の（ｂ）は、図６の（ａ）に示される画像に対して上記の画像処理が行われた後の画像である。図６の（ｂ）では、対象画素Ｐ３からなる領域がハッチングで表されており、背景画素Ｐ４からなる領域がグレースケールで表されている。なお、図６の（ｂ）において、便宜上、対象画素Ｐ３からなる領域がハッチングで表されているが、実際には本来の色彩（赤色）で表される。上記の画像処理が行われることにより、図６の（ｂ）に示されるように、収穫対象となるサクランボ（ハッチング部分）のみを、背景像に対して目立ち易くすることができる。例えばスマートフォンのカメラを用いて、画面上に図６の（ｂ）に示される画像を表示することで、収穫対象となるサクランボを一目で判別することができる。

図７の（ａ）は、対象物としてパプリカが撮像された画像の一例である。図７の（ａ）に示される画像は、便宜上、グレースケールで表されているが、実際には、フルカラーで表される。図７の（ａ）において、対象画素Ｐ５、及び複数の画素のうち対象画素Ｐ５を除く背景画素Ｐ６が示されている。図７の（ａ）に示される画像に対して、上記実施形態の画像処理装置２０により、以下の画像処理が行われる。すなわち、受付部２１が、図７の（ａ）に示される画像を受け付けると、変換部２２は、その画像の全体に含まれる複数の画素のＲＧＢ値を、色相Ｈ、彩度Ｓ、及び明度Ｂに変換する。次に、調整部２４が、各画素の色相Ｈの値に対して、人間の目視によって認識しやすい値にシフトする調整を行う。これは、各画素の色相Ｈの値（角度）によっては、人間の目視では、各画素の色相差を認識し難い場合があるからである。具体的には、図３の（ｂ）に示されるＨＳＶ色空間において、各画素の色相Ｈの角度を、時計回り方向又は反時計回りにシフトする。

図８は、図３の（ｂ）に示されるＨＳＶ色空間を中心軸方向から見た図である。図８は、グレースケールで表されているが、実際には、様々な色の色相Ｈが表される。図８では、色相帯域Ａ１は、人間が色相差を認識し難い色相帯域（赤色の色相Ｈを含む色相帯域）であり、色相帯域Ｂ１は、人間が色相差を認識し易い角度範囲（橙色の色相Ｈを含む色相帯域）である。図８において、各画素の色相Ｈの角度を、時計回り方向にシフトすることで、すなわち、色相帯域Ａ１を色相帯域Ｂ１にシフトすることで、各画素の色相差を人間が目視で認識し易くすることができる。なお、各画素の色相Ｈの角度をシフトする前の画像、及び各画素の色相Ｈの角度をシフトした後の画像を、表示部３０に表示することで確認できるようにしておくとよい。また、各画素の色相Ｈの角度のシフト量は、例えばマウス、キーボード、及びタッチパネルといった入力インタフェースによって設定される。このシフト量は、予め設定されていてもよく、或いは、スマートデバイス１を使用する度にユーザにより設定されてもよい。

次に、特定部２３が、シフトされた色相Ｈ（すなわち橙色の色相範囲に含まれる色相Ｈ）に基づいて、所定の色相帯域に含まれる色相Ｈを有する対象画素Ｐ５を特定する。所定の色相帯域とは、図８において、収穫対象となるパプリカの橙色の色相Ｈが含まれる角度範囲である。次に、調整部２４が、背景画素Ｐ６の色相Ｈ及び彩度Ｓの両方に対して調整を行う。具体的には、調整部２４は、背景画素Ｐ６の彩度Ｓを０（無彩度化）にすると共に、背景画素Ｐ６の明度Ｂを低下させる。なお、調整部２４は、対象画素Ｐ５の色相Ｈ、彩度Ｓ、及び明度Ｂに対しては、調整を行わない。次に、変換部２５が、各画素の色相Ｈ、彩度Ｓ、及び明度Ｂを再びＲＧＢ値に変換する。図７の（ｂ）は、図７の（ａ）に示される画像に対して上記の画像処理が行われた後の画像である。図７の（ｂ）では、対象画素Ｐ５からなる領域がハッチングで表されており、背景画素Ｐ６からなる領域がグレースケールで表されている。なお、図７の（ｂ）において、便宜上、対象画素Ｐ５からなる領域がハッチングで表されているが、実際には橙色で表される。上記の画像処理が行われることにより、図７の（ｂ）に示されるように、収穫対象となるパプリカ（ハッチング部分）のみを、背景像に対して目立ち易くすることができる。例えばスマートフォンのカメラを用いて、画面上に図７の（ｂ）の画像を表示することで、収穫対象となるパプリカを一目で判別することができる。

図９の（ａ）は、対象物としてパプリカが撮像された画像の他の例である。図９の（ａ）に示される画像は、便宜上、グレースケールで表されているが、実際には、フルカラーで表される。図９の（ａ）において、対象画素Ｐ７、及び複数の画素のうち対象画素Ｐ７を除く背景画素Ｐ８が示されている。図９の（ａ）に示される画像に対して、上記実施形態の画像処理装置２０により、以下の画像処理が行われる。すなわち、受付部２１が、図９の（ａ）に示される画像を受け付けると、変換部２２は、その画像の全体に含まれる複数の画素のＲＧＢ値を、色相Ｈ、彩度Ｓ、及び明度Ｂに変換する。次に、特定部２３が、所定の色相帯域に含まれる色相Ｈを有する対象画素Ｐ７を特定する。所定の色相帯域とは、図３の（ｂ）に示されるＨＳＶ色空間において、収穫対象となるパプリカの赤色の色相Ｈが含まれる角度範囲である。ここで、角度範囲の上限値及び下限値は、画像の中の任意の位置にある画素が有する色相Ｈを基準として、設定される。具体的には、ユーザがタッチパネル等の入力インタフェースを用いて画像の位置ＰＡ（収穫対象となるパプリカの位置）を指定し、その指定された位置ＰＡにある画素が有する色相Ｈを基準として設定される。なお、角度範囲の上限値及び下限値は、予め設定されていてもよく、或いは、スマートデバイス１を使用する度にユーザにより設定されてもよい。特定部２３は、このようにして設定される色相帯域に含まれる色相Ｈを有する対象画素Ｐ７を特定する。

次に、調整部２４が、背景画素Ｐ８の色相Ｈ及び彩度Ｓの両方に対して調整を行う。具体的には、調整部２４は、背景画素Ｐ８の彩度Ｓを０（無彩度化）にすると共に、背景画素Ｐ８の明度Ｂを低下させる。なお、調整部２４は、対象画素Ｐ７の色相Ｈ、彩度Ｓ、及び明度Ｂに対しては、調整を行わない。次に、変換部２５が、各画素の色相Ｈ、彩度Ｓ、及び明度Ｂを再びＲＧＢ値に変換する。図９の（ｂ）は、図９の（ａ）に示される画像に対して、上記の画像処理が行われた後の画像である。図９の（ｂ）では、対象画素Ｐ７からなる領域がハッチングで表されており、背景画素Ｐ８からなる領域がグレースケールで表されている。なお、図９の（ｂ）において、便宜上、対象画素Ｐ７からなる領域がハッチングで表されているが、実際には本来の色彩（赤色）で表される。上記の画像処理が行われることにより、図９の（ｂ）に示されるように、収穫対象となるパプリカ（ハッチング部分）のみを、背景像に対して目立ち易くすることができる。例えばスマートフォンのカメラを用いて、画面上に図９の（ｂ）の画像を表示することで、収穫対象となるパプリカを一目で判別することができる。

図９の（ｃ）に示される画像は、図９の（ａ）に示される画像に対して、画像処理装置２０による別の画像処理が行われた後の画像である。図９の（ａ）及び図９の（ｃ）において、対象画素Ｐ９、及び複数の画素のうち対象画素Ｐ９を除く背景画素Ｐ１０が示されている。図９の（ｃ）では、対象画素Ｐ９からなる領域がハッチングで表されており、背景画素Ｐ１０からなる領域はグレースケールで表されている。なお、図９の（ｃ）において、便宜上、対象画素Ｐ９からなる領域がハッチングで表されているが、実際には本来の色彩（橙色）で表される。

図９の（ｃ）に示される画像に対して行われた画像処理と、図９の（ｂ）に示される画像に対して行われた画像処理との相違点は、図９の（ｃ）に示される画像に対して行われた画像処理において、色相帯域の上限値及び下限値が、ユーザがタッチパネル等の入力インタフェースを用いて位置ＰＢを指定し、その指定された位置ＰＢにある画素が有する色相Ｈを基準として設定された点である。従って、図９の（ｃ）に示される画像では、画像の中の位置ＰＢにある画素が有する色相Ｈを基準として、対象画素Ｐ９からなる領域のみが、背景画素Ｐ１０からなる領域に対して目立って見える。このように、ユーザは、取得された画像において、任意の位置にある画素が有する色相Ｈを指定し、その色相Ｈを基準とした色相帯域に含まれる色相を有する対象画素Ｐ９からなる領域のみを、背景画素Ｐ１０からなる領域に対して目立たせることができる。

図１０の（ａ）は、対象物としてハザード表示部ｈを示す画像である。図１０の（ａ）に示される画像は、便宜上、グレースケールで表されているが、実際には、フルカラーで表される。また、図１０の（ａ）において、対象画素Ｐ１１、及び複数の画素のうち対象画素Ｐ１１を除く背景画素Ｐ１２が示されている。図１０の（ａ）に示されるハザード表示部ｈは、周囲の歩行者等に対して視覚的に注意喚起をする為に設けられている。ハザード表示部ｈは、例えば黒色部分と黄色部分とが交互に繰り返されることにより視覚的に目立つように構成されている。しかし、ハザード表示部ｈが設けられる場所の景色等によっては、ハザード表示部ｈが目立ち難い場合がある。また、例えば、加齢等に伴って色覚特性が低下した高齢者、視野狭窄の症状を有する視覚障害者、及び視覚弱者といった視覚能力の劣る歩行者にとって、ハザード表示部ｈが目立ち難い場合がある。

そこで、ハザード表示部ｈを目立たせる為に、図１０の（ａ）に示される画像に対して、上記実施形態の画像処理装置２０により、以下の画像処理が行われる。すなわち、すなわち、受付部２１が、図１０の（ａ）に示される画像を受け付けると、変換部２２は、その画像の全体に含まれる複数の画素のＲＧＢ値を、色相Ｈ、彩度Ｓ、及び明度Ｂに変換する。次に、特定部２３が、複数の画素のうち、所定の色相帯域に含まれる色相Ｈを有する対象画素Ｐ１１を特定する。所定の色相帯域とは、図３の（ｂ）に示されるＨＳＶ色空間において、ハザード表示部ｈの黄色の色相Ｈが含まれる角度範囲である。

次に、調整部２４は、対象画素Ｐ１１及び背景画素Ｐ１２に対して、それぞれ調整を行う。まず、調整部２４は、対象画素Ｐ１１の色相Ｈ及び彩度Ｓの両方に対して以下の調整を行う。すなわち、調整部２４は、対象画素Ｐ１１の黄色の色相Ｈが赤色の色相Ｈに近づくように、色相Ｈの角度の調整を行う。例えば、調整部２４は、対象画素Ｐ１１の色相Ｈを橙色の色相Ｈにする。これにより、視覚弱者等にとって、ハザード表示部ｈが目立って見え易くなる。また、調整部２４は、対象画素Ｐ１１の彩度Ｓを増大する。これにより、ハザード表示部ｈを更に目立ち易くすることができる。続いて、調整部２４は、背景画素Ｐ１２の色相Ｈ及び彩度Ｓの両方に対して以下の調整を行う。すなわち、調整部２４は、背景画素Ｐ１２の彩度Ｓを０（無彩度化）にすると共に、背景画素Ｐ１２の明度Ｂを低下させる。次に、変換部２５が、各画素の色相Ｈ、彩度Ｓ、及び明度ＢをＲＧＢ値に変換する。

図１０の（ｂ）は、図１０の（ａ）に示される画像に対して、上記の画像処理が行われた後の画像である。図１０の（ｂ）では、対象画素Ｐ１１からなる領域がハッチングで表されており、背景画素Ｐ１２は、グレースケールで表されている。なお、図１０の（ｂ）において、便宜上、対象画素Ｐ１１からなる領域がハッチングで表されているが、実際には橙色で表される。上記の処理が行われることにより、図１０の（ｂ）に示されるように、ハザード表示部ｈ（ハッチング部分）のみを、背景像に対して目立ち易くすることができる。これにより、例えばスマートフォンのカメラを用いて、画面上に図１０の（ｂ）の画像を表示することで、ハザード表示部ｈを一目で判別することができる。なお、表示部３０は、画像の対象画素Ｐ１１からなる領域を点滅して表示させてもよい。これにより、画像の対象画素Ｐ１１からなる領域を、背景画素Ｐ１２からなる領域に対してより目立たせることができる。

（第２実施形態）
本実施形態では、第１実施形態の画像処理装置２０が、対象物を収穫するロボット（情報処理装置）に搭載される。図１１は、第１実施形態の画像処理装置２０を搭載するロボット２の概略構成図である。ロボット２は、プログラムを実行するプロセッサと、ＲＯＭ及びＲＡＭ等の主記憶部と、ハードディスク及びフラッシュメモリ等の補助記憶部と、入力端子、出力端子、及び無線通信モジュール等の入出力インタフェースとを備えるコンピュータである。図１１に示されるように、ロボット２は、腕部３と、把持部４と本体部５とを備えている。腕部３は、例えば多関節構造を有しており、本体部５に取り付けられている。把持部４は、腕部３の先端に取り付けられており、対象物６を把持するように動作する。

図１２は、第１実施形態の画像処理装置２０を搭載するロボット２の機能ブロック図である。図１２に示されるように、ロボット２は、機能的構成要素として、撮像部１０と、画像処理装置２０と、判別部４０とを備えている。撮像部１０は、腕部３（図１１参照）の先端部に取り付けられる。撮像部１０は、対象物６を含む周辺の画像（図２参照）を撮像し、該周辺の画像を出力する。なお、画像は、静止画であってもよく、複数のフレームから成る動画像であってもよい。画像処理装置２０は、例えば本体部５（図１１参照）内に設けられる。画像処理装置２０の構成は、第１実施形態にて説明した通りである。判別部４０は、画像処理装置２０と電気的に接続されている。判別部４０は、画像処理装置２０の変換部２５により出力される画像（図４参照）に基づいて、対象物６を判別する。すなわち、調整後の画像において、背景画素Ｐ２からなる領域と、対象画素Ｐ１からなる領域とを互いに区別し、対象画素Ｐ１からなる領域の位置情報を取得する。ロボット２のプロセッサは、その位置情報に基づいて対象物６を収穫するように指示する制御信号を、腕部３及び把持部４に出力する。腕部３及び把持部４は、その制御信号に従って、対象物６を把持するように動作して対象物６を所定位置にセットする。

次に、ロボット２の動作（情報処理方法）を説明する。併せて、本実施形態の画像処理方法について説明する。この画像処理方法は、例えばＲＯＭに記憶されたプログラムをプロセッサが読み出し実行することによって好適に実施される。図１３は、本実施形態の画像処理方法を示すフローチャートである。図１３に示されるように、受付ステップＳ１１、第１の変換ステップＳ１２、特定ステップＳ１３、調整ステップＳ１４、及び第２の変換ステップＳ１５は、第１実施形態の画像処理方法（図５参照）と同じである。本実施形態の画像処理方法では、第２の変換ステップＳ１５の後、判別部４０が、変換部２５により出力された調整後の画像に基づいて、対象物６を判別する（Ｓ１７、判別ステップ）。

以上に説明した、本実施形態の画像処理方法、画像処理装置２０、及び画像処理プログラムによれば、第１実施形態の画像処理方法、画像処理装置２０、及び画像処理プログラムによって得られる効果と同様の効果を奏することができる。また、本実施形態の画像処理方法、画像処理装置２０、及び画像処理プログラムによれば、ロボット２を対象物６の判別作業の現場に導入することで、対象物６の判別作業を並行して進めることができるので、対象物６を効率良く判別することができる。

本発明の画像処理方法、画像処理装置、及び画像処理プログラムは、上述した実施形態及び実施例に限られるものではなく、他に様々な変形が可能である。例えば、上述した実施形態及び実施例では、収穫対象の果実としてイチゴ及びサクランボを挙げて説明したが、収穫対象の果実は、梨、カキ、りんご、柑橘、及び洋ナシといった果実でもよい。また、上述した各実施例では、本発明の画像処理方法、画像処理装置、及び画像処理プログラムを主に農業分野に適用したが、農業分野に限られない。例えば、環境分野、ヘルスケア分野、又はケミカル分野といった分野に、本発明の画像処理方法、画像処理装置２０、及び画像処理プログラムを適用してもよい。

１…スマートデバイス、２…ロボット、３…腕部、４…把持部、５…本体部、６…対象物、１０…撮像部、２０…画像処理装置、２１…受付部、２２…変換部、２３…特定部、２４…調整部、２５…変換部、３０…表示部、４０…判別部、Ｐ１，Ｐ３，Ｐ５，Ｐ７，Ｐ９，Ｐ１１…対象画素、Ｐ２，Ｐ４，Ｐ６，Ｐ８，Ｐ１０，Ｐ１２…背景画素。

Claims (7)

1. 対象物が撮像された画像を処理する方法であって、
   前記画像の少なくとも一部に含まれる複数の画素の第１のＲＧＢ値を、彩度、色相、及び明度に変換する第１の変換ステップと、
   ＨＳＶ色空間における彩度、色相、及び明度のうち、角度範囲で規定される所定の色相帯域のみを設定する設定ステップと、
   前記複数の画素のうち、前記所定の色相帯域に含まれる色相を有する対象画素を特定する特定ステップと、
   前記複数の画素のうち、前記対象画素の色相、彩度、及び明度に対しては調整を行わず、前記対象画素を除く背景画素の彩度及び色相の少なくとも１つに対して調整を行うことにより、前記対象画素を前記背景画素よりも目立たせる調整ステップと、
   前記複数の画素の前記調整後における彩度、色相、及び明度を、第２のＲＧＢ値に変換する第２の変換ステップと、
   を含む、画像処理方法。
2. 前記調整ステップでは、前記背景画素の彩度を低下させる、請求項１に記載の画像処理方法。
3. 前記調整ステップでは、前記背景画素の彩度を０にする、請求項２に記載の画像処理方法。
4. 前記調整ステップでは、前記背景画素の色相を前記対象画素の色相の対立色にする、請求項１～３のいずれか１項に記載の画像処理方法。
5. 前記調整ステップでは、前記背景画素の明度を低下させる、請求項１～４のいずれか１項に記載の画像処理方法。
6. 対象物が撮像された画像を処理する装置であって、
   前記画像の少なくとも一部に含まれる複数の画素の第１のＲＧＢ値を、彩度、色相、及び明度に変換する第１の変換部と、
   ＨＳＶ色空間における彩度、色相、及び明度のうち、角度範囲で規定される所定の色相帯域のみを設定する入力インターフェースと、
   前記複数の画素のうち、前記所定の色相帯域に含まれる色相を有する対象画素を特定する特定部と、
   前記複数の画素のうち、前記対象画素の色相、彩度、及び明度に対しては調整を行わず、前記対象画素を除く背景画素の彩度及び色相の少なくとも１つに対して調整を行うことにより、前記対象画素を前記背景画素よりも目立たせる調整部と、
   前記複数の画素の前記調整後における彩度、色相、及び明度を、第２のＲＧＢ値に変換する第２の変換部と、
   を備える、画像処理装置。
7. 対象物が撮像された画像を処理するプログラムであって、
   前記画像の少なくとも一部に含まれる複数の画素の第１のＲＧＢ値を、彩度、色相、及び明度に変換する第１の変換ステップと、
   ＨＳＶ色空間における彩度、色相、及び明度のうち、角度範囲で規定される所定の色相帯域のみを設定する設定ステップと、
   前記複数の画素のうち、前記所定の色相帯域に含まれる色相を有する対象画素を特定する特定ステップと、
   前記複数の画素のうち、前記対象画素の色相、彩度、及び明度に対しては調整を行わず、前記対象画素を除く背景画素の彩度及び色相の少なくとも１つに対して調整を行うことにより、前記対象画素を前記背景画素よりも目立たせる調整ステップと、
   前記複数の画素の前記調整後における彩度、色相、及び明度を、第２のＲＧＢ値に変換する第２の変換ステップと、
   をコンピュータに実行させる、画像処理プログラム。

Images