JP7532927B2 - 画像処理装置、画像閲覧システム、画像処理プログラム、画像処理方法 - Google Patents

Description

本開示は、画像データの画素に使用されている色を抽出する画像処理装置に関し、特に、ＳＮＳ（Social Networking Service）に画像データを投稿する場合の改良に関する。

ＳＮＳは、個人の趣味から企業のマーケティング、政府の広報活動まで、様々な目的で利用されている。ＳＮＳを利用するサービス利用者は、自身が見たい画像データを検索する際、テキスト検索、画像検索を実行する。こうした検索により、画像データがサービス利用者であるサービス利用者ブラウザーに表示される回数を「インプレッション」という。また、画像データを注視して拡大したり、投稿者のページにアクセスしたり、「いいね！」のアイコンをクリックするなど、サービス利用者が積極的な行動をとった回数を「エンゲージメント」という。これらインプレッション、エンゲージメントを高めることが、情報拡散のひとつの鍵となる。情報拡散を希望する投稿者は、投稿しようとする画像の特徴を言い表すテキスト文字列を作成して、このテキスト文字列と共に、画像データをＳＮＳサービスのサーバーにアップロードすることでインプレッション、エンゲージメントの向上を図る。

特開２００１－１６６９０８号公報 特開２０１９－１５９５２６号公報

ところで近年、色検索を行い得る検索エンジンの検討が進められている。こうした色検索では、ブラウザーにおいて色見本のパレットを表示し、自身が見たい色の選択を、サービス利用者から受け付ける。パレットから色選択されると、当該選択された色を検索条件として画像データを検索する。色は形状、模様に並ぶデザイン要素の１つであり、これを手掛かりにして購入すべき商品を選ぶサービス利用者が少なからず存在するからである。

当該色検索では、パレットから選ばれた色が検索条件として指定されるので、色検索において多くのサービス利用者に画像データを見てもらうには、色見本に記載された正しい色名を示すテキスト文字列を、画像データと共にＳＮＳサービスのサービスにアップロードせねばならない。しかし、和洋の伝統色の分類は多岐にわたり、服飾、デザイン、美術関連の知識をもたない一般人たるサービス利用者が、この分類における色名を記載する保証はない。間違った知識のまま、色名を示すテキスト文字列を作成して画像データをＳＮＳのサーバーにアップロードしたとしても、インプレッション、エンゲージメントが向上しないという問題がある。また、検索を行う側のサービス利用者も、和洋の伝統色の分類に従い色を正しく選択している保障はなく、画像データの投稿を行う者の間違いと、検索を行う側のサービス利用者の間違いとの相乗効果により、投稿した画像データのインプレッション、エンゲージメントが向上しない状況に陥ってしまう。

画像処理装置を用いて、機械的に色を抽出し、テキスト文字列を生成することも考えられる。しかし、特徴的な色が、画像データの多くの面積を占めているという保証はなく、画像処理装置が機械的に画素の色を抽出して、抽出した色の名前を示すテキスト文字列を生成した場合、画像データに現れる対象物の特徴が、テキスト文字列に表現されない。そうした投稿テキスト文字列を作成して画像データをＳＮＳのサーバーにアップロードしたとしても、インプレッション、エンゲージメントが向上しない。

本開示の目的は、画像閲覧システムにおいてパレットからの色選択による検索条件でサービス利用者が画像データの検索を実行した際、多くのサービス利用者に画像データを閲覧させることができる、画像処理装置を提供することである。

上記課題は、画像閲覧サービスにおける画像データの検索を支援する画像処理装置であって、対象物を表すとされる部位を、画像データから認識する認識手段と、認識された部位をなす画素で使用されている色を抽出する抽出手段と、前記部位からは抽出されなかったものの、サービス利用者が検索に用いる可能性がある色を、当該サービス利用者が検索を行う際の検索傾向に基づき決定する決定手段と、前記抽出手段により抽出された色を示す第１タグ、及び、前記決定手段により決定された色を示す第２タグを生成して、検索用タグとして画像データに付加する付加手段とを備えることを特徴とする画像処理装置により解決される。

前記抽出手段により抽出される色は、前記対象物をなす部位の画素において出現度数が最も高い色、又は、当該出現度数に示される順序に複数の色を並べた際の順位が、所定の順位以上となる色としてもよい。

前記サービス利用者の検索傾向とは、対象物の色として認知されているものを検索条件に選ぶ傾向であり、前記決定手段は、参照テーブルを有し、前記参照テーブルは、現実物の複数の類型のそれぞれを表す色として一般的に認知されている色を示し、判別された対象物の類型に対応する色として、前記参照テーブルに記載されたものを、前記サービス利用者が検索に用いる可能性がある色としてもよい。

前記サービス利用者の検索傾向とは、対象物の階調をなす色に近い色を検索条件に選ぶ傾向であり、前記決定手段は、前記抽出手段により抽出された色の色空間座標を中心座標とし、前記部位の階調を径とした範囲を占める球の表面及び内部に位置する色からなる色の集合を生成し、前記検索に用いられる可能性がある色は、生成された色の集合に含まれる色としてもよい。

前記サービス利用者の検索傾向とは、対象物を表す部位において度数分布をなす色に近い色を検索条件に選ぶ傾向であり、前記決定手段は、前記度数分布における度数が所定値に収束する際の収束点となる第１収束色、第２収束色を求める処理（１）、前記抽出手段により抽出された色の色空間座標、第１収束点の色空間座標、第２収束点の色空間座標を通過する３次元直線を中心軸とし、所定のオフセットを径とした円柱体の表面に位置する色の集合を生成する処理（２）を実行し、前記検索に用いられる可能性がある色は、生成された色の集合に含まれる色としてもよい。

前記サービス利用者の検索傾向とは、対象物を表す部位に使用されている色よりも、彩度及び／又は明度が高い色を検索条件に選ぶ傾向であり、前記決定手段は、ＨＳＶ色空間において、認識された部位をなす画素で使用されている色が分布している部分空間を規定する処理（１）、前記ＨＳＶ色空間において、前記部分空間の外側で、彩度又は明度が大きくなる場所に位置する色の集合を生成する処理（２）を含み、前記検索に用いられる可能性がある色は、前記色の集合に含まれる色としてもよい。

前記付加手段が、第１タグ、及び、第２タグを生成するのは、前記抽出手段により抽出された色の色空間座標と、決定手段が決定した色の色空間座標との距離が所定の閾値を上回る場合としてもよい。

前記抽出手段により抽出された色の色空間座標と、決定手段が決定した色の色空間座標との距離が所定の閾値を下回る場合、前記付加手段は、前記画像データに付加すべき単一のタグを生成し、前記単一のタグは、抽出手段により抽出された色と、決定手段により決定された色との中間色、抽出手段により抽出された色並びに決定手段により決定された色を包含する色群、抽出手段により抽出された色そのもの、決定手段により決定された色そのものの何れかを示すとしてもよい。

前記認識手段は、画像データが現実物を撮影又は描写したものかどうかの判定を行い、前記決定手段が、検索に用いられる可能性がある色を決定するのは、画像データが、現実物を撮影又は描写したものと判定された場合としてもよい。

前記色の度数を示すヒストグラムが、所定幅以上の広がりを有しているかどうかの判定を行い、所定幅以上の広がりを有している場合、前記認識手段は、前記画像データにおける一の部位が、現実物を撮影又は描写したものとの判定結果を下すとしてもよい。

前記認識手段は、現実物の複数の類型のそれぞれに対応する学習データを含み、学習データは、対応する類型の現実物を表す特徴量の点群と、対応する類型の現実物を表さない特徴量の点群とを区切る分離面を規定するデータであり、画像データにおいて対象物を表すとされる部位から特徴量を算出して、特徴量を各類型に対応する学習データに適用することで、前記認識手段は、前記画像データにおける一の部位が、現実物を撮影又は描写したものかどうかの判定結果を下すとしてもよい。

前記認識手段は、画像データをなす画素のうち、エッジとなる画素を抽出する処理を行い、前記対象物を表す部位は、エッジとなる画素により囲まれる一群の画素からなるとしてもよい。

同系色をなす画素が占有している領域を、画像データから分離する処理を行い、前記対象物を表す部位は、同系色をなすとして分離された領域の画素から構成されるとしてもよい。

前記対象物をなす画素の色は、Ｒの値、Ｇの値、Ｂの値で表され、前記Ｒの値、Ｇの値、Ｂの値は、ＲＧＢ色空間を均等に分割することで得られる部分空間のうち、どれに属するかを示すとしてもよい。

また上記課題は、画像処理装置を含み、端末が定めた検索条件に基づきサーバーが検索を実行する画像閲覧システムであって、対象物を表すとされる部位を、画像データから認識し、認識された部位をなす画素で使用されている色を抽出し、前記部位からは抽出されなかったものの、サービス利用者が検索に用いる可能性がある色を、当該サービス利用者が検索を行う際の検索傾向に基づき決定して、抽出された色を示す第１タグ、及び、決定された色を示す第２タグを生成して、検索用タグとして画像データに付加する画像閲覧システムによっても解決される。

ここで前記端末は、パレットを表示して、パレットから検索条件となる色の選択をサービス利用者から受け付け、前記サーバーは、検索条件に合致する第１タグが付加された画像データ、及び／又は、検索条件に合致する第２タグが付加された画像データを含む検索結果画面を端末に表示させるとしてもよい。

前記第１タグは第１ハッシュタグ、前記第２タグは第２ハッシュタグであり、第１ハッシュタグ及び／又は第２ハッシュタグを含む一覧画面が端末に表示されている状態で、サービス利用者が当該ハッシュタグを選択すると、同じ第１ハッシュタグ及び／又は第２ハッシュタグが付加された他の画像データを端末に表示させるとしてもよい。

また上記課題は、画像閲覧サービスにおける画像データの検索を支援する処理をコンピュータに実行させる画像処理プログラムであって、対象物を表すとされる部位を、画像データから認識する認識ステップと、認識された部位をなす画素で使用されている色を抽出する抽出ステップと、前記部位からは抽出されなかったものの、サービス利用者が検索に用いる可能性がある色を、当該サービス利用者が検索を行う際の検索傾向に基づき決定する決定ステップと、前記抽出ステップにより抽出された色を示す第１タグ、及び、前記決定ステップにより決定された色を示す第２タグを生成して、検索用タグとして画像データに付加する付加ステップとをコンピュータに実行させることを特徴とする画像処理プログラムによっても解決される。

更に、上記課題は、画像閲覧サービスにおける画像データの検索を支援する画像処理方法であって、対象物を表すとされる部位を、画像データから認識する認識ステップと、認識された部位をなす画素で使用されている色を抽出する抽出ステップと、前記部位からは抽出されなかったものの、サービス利用者が検索に用いる可能性がある色を、当該サービス利用者が検索を行う際の検索傾向に基づき決定する決定ステップと、前記抽出ステップにより抽出された色を示す第１タグ、及び、前記決定ステップにより決定された色を示す第２タグを生成して、検索用タグとして画像データに付加する付加ステップとを含む画像処理方法によっても解決される。

サービス利用者が注目する対象物を表すとされる部位を、画像データから認識して、認識された部位をなす画素で使用されている色を抽出して、抽出された色を示す第１タグを画像データに付加するので、画像データの中に、サービス利用者が注目する対象物以外のものが映り込んでいたとしても、対象物の色を自動的に抽出して、その対象物に使用されている色を第１タグに示させることができる。

認識された部位をなす画素で使用されていないものの、サービス利用者が検索に用いる可能性がある色をサービス利用者の検索傾向から決定して、決定された色を示す第２タグを画像データに付加するので、画像閲覧サービスを利用するサービス利用者が数万人いて、そのうち何割かの者が誤った色名で検索を実行したとしても、それら何割かのサービス利用者に、第１タグ、第２タグが付加された画像データを閲覧させることができる。第１タグ、第２タグが付加された画像データは、対象物に使用されている色で検索を行ったサービス利用者、誤った色名で検索を実行したサービス利用者の双方に閲覧されるので、画像データのインプレッション、エンゲージメントを高めることができ、色に特徴がある対象物について、効率的に情報発信を行うことができる。

本開示にかかる画像処理装置２０００を含む画像閲覧システム１を示す図である。 図２（ａ）（ｂ）は、プルダウンメニューをクリックしてパレット１０１１Ｐを引き出すことで色選択が可能になる検索画面の一例を示す。 端末１０１１に表示される検索結果画面の一例を示す。 画像処理装置２０００の制御系統を示す。 色名及び色コードに、画像のＲＧＢ値を対応付けた色見本データの一例を示す。 被写体の複数の類型のそれぞれに対応する学習データの一例を示す。 ＨＯＧ（Histogram Oriented of Gradient）特徴量を示す図である。 複数の特徴量がプロットされた散布図を示す。 被写体の類型の学習の過程で、ディスプレイデバイス２００１に表示される設定画面の一例を示す。 拡張色テーブルの一例を示す。 タグ生成手順のメインルーチンを示すフローチャートである。 図１２（ａ）は、オブジェクトを分離する分離手順を示すフローチャートであり、図１２（ｂ）は、拡張色を決定する決定手順を示すフローチャートである。 図１３（ａ）は、エッジ抽出の過程を示す図であり、図１３（ｂ）は、色相分離の過程を示す図である。 オブジェクトから抽出色、拡張色が決まる過程を示す。 拡張色を決定する決定手順のフローチャートである。 球体から拡張色を決定する過程を示す図である。 拡張色を決定する決定手順のフローチャートである。 円柱体から拡張色を決定する過程を示す。 拡張色を決定する決定手順のフローチャートである。 明度、彩度が強調された拡張色を決定する過程を示す図である。 色座標間距離に応じたタグ生成手順を示すフローチャートである。 図２２（ａ）～（ｂ）は、色座標間距離に応じて、単一タグの生成、複数タグの生成を切り替える過程を示す。 （ａ）~（ｃ）は、通し番号を用いた色空間座標表現を示す図である。

［１］第１実施形態
以下、図面を参照しながら、本開示にかかる画像処理装置の実施形態について説明する。図１は、本開示にかかる画像処理装置２０００を含む画像閲覧システム１を示す図である。画像閲覧システム１は、図１に示すように、ＭＦＰ１０００と、端末１０１１、１０１２、１０１３、１０１４と、画像処理装置２０００と、ＳＮＳサーバー３０００（ストレージ３００１及び検索エンジン３００２を含む）とを備える。

ＭＦＰ（Multifunction Peripheral）１０００は、原稿押えカバー１００５と一体になった自動原稿フィーダー１００６の載置台に載置された原稿束から一枚ずつ原稿を繰り出し、タッチパネルディスプレイ１００１に対する操作に従いスキャナー１００４で読み取ることで、各原稿に対応する画像データを得る。画像データは、ＲＧＢ混色系を用いて画像を表すデータである。画像データはＪＰＥＧ、ＴＩＦＦ、ＰＤＦ、コンパクトＰＤＦ等のファイル形式で転送・格納に供される。ｗｅｂページで表示される画像データにおいて、各画素には、２４ビットの情報量をもつＲＧＢ値が割り当てられ、ＲＧＢ値は、２５６階調（０～２５５）のＲ値、２５６階調（０～２５５）のＧ値、２５６階調（０～２５５）のＢ値の加法混合により、様々な色を表す。こうしたＲ値、Ｂ値、Ｇ値は、ＲＧＢ混色系の色空間（一般にＲＧＢ色空間という）において３次元座標をなす。

画像処理装置２０００は、ＭＦＰ１０００により読み取られた画像データ、ファイルサーバー１１００に蓄積された画像データを取り込み、適切なタグを付加してＳＮＳサーバー３０００のストレージにアップロードする。タグとは、画像データファイルに対応付けられる形で、画像データファイルと共に転送・格納に供されるテキスト文字列のことであり、画像データファイルの属性情報、ファイル管理情報に含まれるもの、画像データファイルのリンク情報に格納されるもの、画像データファイルと同一のディレクトリに格納されるもの等、様々な種類がある。一回のテキスト文字列の投稿には字数制限（例えば、２００字以内）が存在していて、かかる字数制限の範囲内で、画像投稿を行う者（以下、投稿者という）は２個以上のタグを画像データに付加することができる。

ＳＮＳサーバー３０００は、公衆ネットワーク３０１０を通じて画像データの投稿を受け付け、投稿された画像データの閲覧サービスを端末１０１１、１０１２、１０１３、１０１４に提供する。画像閲覧サービスの提供にあたって、ログイン画面、スタート画面、検索条件設定画面、検索結果表示画面などの様々な画面の画面データを作成し、ＳＮＳサービスの利用者が操作する端末１０１１～１０１４に送信して、表示させる。

端末１０１１、１０１２、１０１３、１０１４は、オペレーティングシステムがインストールされており、オペレーティングシステムにおいてブラウザーを起動することで、ＳＮＳサーバー３０００から提供される様々な画面を、自身のディスプレイに表示させる。ブラウザーに表示される検索条件設定画面の一例を図２（ａ）に示す。図２（ａ）の検索画面では、プルダウンメニューをクリックしてパレット１０１１Ｐを引き出すことで色選択が可能になる。パレット１０１１Ｐにおいて、何れかの色が選択されると、図２（ｂ）に示すように、パレットから選択された１以上の色の色名を示すテキスト文字列（図中では桃色）が、検索欄１０１１Ｂに入力される。これにより、「桃色」をキーワードとした検索コマンドがＳＮＳサーバー３０００に出力される。

ストレージ３００１には、画像閲覧システム１の管理者による管轄下にある複数のネットワークドライブにより構成される。当該ストレージ３００１は、アカウント毎のディレクトリを有している。対応するアカウントを有する投稿者が一回投稿を行う度に、アカウント毎のディレクトリにサブディレクトリが形成される。サブディレクトリは、投稿者の一回目の投稿に対応する投稿領域であり、投稿者がアップロードした画像データ、テキスト文字列は、この投稿領域にまとめて格納される。

検索エンジン３００２は、ＳＮＳサーバー３０００により起動されるサービス提供プログラムの１つであり、検索条件を含む検索コマンドが端末１０１１～１０１４のブラウザーから送信されると、検索条件に合致するタグが付された画像データがストレージ３００１に格納されているかどうかを検索する。

検索エンジン３００２による検索では、２以上の色を対象としたＡＮＤ条件、ＯＲ検索の指定が可能であり、ＡＮＤ条件では、２以上の色を示すタグが付加されて投稿された画像データがヒットする。ＯＲ条件では、２以上の色を示すタグのうち、どちらかが付加されて投稿された画像データがヒットする。

合致するタグが付された画像データがストレージ３００１に存在する場合、検索結果画面を作成して要求元の端末に表示させる。検索結果画面１０１１Ｆの一例を図３に示す。本図に示すように、検索結果画面は、検索条件に一致する画像データの縮小画像１０２１、１０２２、１０２３、１０２４、１０２５・・・・を複数配置して一覧表示に供するものであり、何れかの縮小画像がクリックされると、クリックされた縮小画像を拡大して表示する。

また検索エンジン３００２は、ハッシュタグのクリックによる一覧表示機能的を実行する。ハッシュタグは、ハッシュマーク「＃」を文頭に配した文字列であり、端末１０１１のブラウザーに検索結果画面が表示された際、閲覧者であるＳＮＳユーザーがハッシュタグをクリックすると、ＳＮＳサーバー３０００は、同じハッシュタグが付加された複数の画像データをストレージ３００１から読み出し、端末１０１１～１０１４のブラウザーに表示させる。

［２］画像処理装置２０００
画像処理装置２０００の制御系統を図４に示す。図４に示すように、画像処理装置２０００は、オペレーティングシステム（ＯＳ）２０１Ｓやタグ付加アプリケーション２０１ＡがインストールされたＨＤＤ、ＳＳＤであるストレージ２０１、ストレージ２０１にインストールされたＯＳ２０１Ｓ、タグ付加アプリケーション２０１ＡがロードされるＲＡＭ２０２、ＯＳ２０１Ｓ、タグ付加アプリケーション２０１Ａを構成する実行コードを取り出し、解読して実行するＣＰＵ２０３、タグ付加アプリケーション２０１Ａが動作を行うための諸設定を格納した不揮発メモリ２０４、ＭＦＰ１０００、ＳＮＳサーバー３０００とデータ入出力を行うＮＩＣ２０５、周辺ポート２０６を含み、ＮＩＣを通じて画像データの入出力をおこなう。かかる入出力において、ＭＦＰ１０００の自動原稿フィーダー１００６の読み取りで得られた画像データを取り込んでストレージ２０１に書き込む。またＣＰＵ２０３は、ストレージ２０１に書き込まれた画像データをＳＮＳサーバー３０００にアップロードする。

不揮発メモリ２０４には、色見本のデータが格納されている。色見本のデータは、図５に示すように、色名及び色コードに、画像のＲＧＢ値を対応付けたデータである。色名は、原色、和色、洋色、ｗｅｂ２１６、パステルカラー、ビビッドカラー、モノトーン、メトロカラーといった種別の色見本において、色名として定義されているテキスト文字列である。色コードは、１６進数の３バイトの値を示すテキスト文字列である。画像データに付加されているタグは、この色見本に記載されたテキスト文字列、色コードを用いて作成される。

［３］タグ付加アプリケーション２０１Ａによる制御内容
ストレージ２０１にインストールされたタグ付加アプリケーション２０１Ａは、ＲＡＭ２０２に読み出された画像データに対して画像処理を行い、色見本データに記載されている色名又は色コードを用いて、画像データに付加すべきカラータグを生成する。カラータグとは、パレットからの色選択による、画像データの検索を可能とするハッシュタグのことであり、色名、色コードを示すテキスト文字列にハッシュマークを付加した構造をなす。

（３－１）タグ生成の事前処理
タグ生成に先立ち、実行すべき事前処理として、画像データに示される被写体の教師あり学習がある。教師あり学習は、ディスプレイデバイス２００１、キャラクターデバイス２００２、ポインティングデバイス２００３を用いた対話操作により実現される。

教師あり学習では、画像データのサンプルから特徴量を抽出するのと共に、当該画像データに示される被写体の類型を設定して、画像データに示される被写体の類型を認識するための認識辞書を構築する。認識辞書は、図６に示すように被写体の複数の類型のそれぞれに対応する学習データからなる。図６の一例では、薔薇、ザクロ、ツツジ、乙女椿といった現実物の類型に、ハードマージンＳＶＭ（Support Vector Machine）の超平面を規定する識別関数Ｆ₁、Ｆ₂、Ｆ₃、Ｆ₄、Ｆ₅・・・・のデータを対応つけた形式になっている。

特徴量としては、機械学習の分野で相応の使用実績があるもの、例えば、図７に示すようなＨＯＧ（Histogram Oriented of Gradient）特徴量を用いることが望ましい。

本図のＨＯＧ特徴量は、8×8の画素内に見受けられる線分の出現数を、９個の勾配方向（0°,20°,40°,60°,80°,100°,120°,140°,160°）に分けて集計したものである。画像データの多数のサンプルから特徴量の抽出を行うと、図８の散布図が得られる。図８の散布図では、画像データの複数のサンプルから得られた特徴量２０１１、２０１２、２０１３、２０１４、２０１５、特徴量２０２１、２０２２、２０２３、２０２４、２０２５が、２次元平面にプロットされる。

図６に示す学習データにおける識別関数は、こうして散布図にプロットされた特徴量を、２つの点群２０１０、２０２０に分離する超平面２０３０を規定する。識別関数により決定される図８の超平面２０３０は、自動原稿フィーダー１００６及びスキャナー１００４により読み取られた画像データから抽出された特徴量を、画像データの複数のサンプルから得られた特徴量２０１１、２０１２、２０１３、２０１４、２０１５からなる点群２０１０と、対応する類型を表さない特徴量２０２１、２０２２、２０２３、２０２４、２０２５の点群２０２０とに分離する。こうした分離により、スキャナー１００４により読み取られた画像データが、どの類型であるかを認識することができる。

図９は被写体の類型の学習の過程で、ディスプレイデバイス２００１に表示される設定画面の一例を示す。設定画面は、特徴量抽出の対象となる画像データのサンプルがウィンドウ４００に配され、その隣に、テキスト文字列の文字入力を受け付ける入力欄４０１に配され、この入力欄に入力されたテキスト文字列を、左記のサンプルに現れている対象物の類型であるとして不揮発メモリ２０４に格納する。図９の設定画面で特徴的なのは、入力欄４０１の下にパレット４０２が配されていて、パレット４０２に一覧表示された複数の色の何れかの指定が可能になる点である。ポインティングデバイス２００３を用いた操作で、パレット４０２に表示された何れかの色が選択されると、当該色を拡張色として、被写体の類型に対応付けたテーブル（図１０の拡張色テーブル）を不揮発メモリ２０４に書き込む。拡張色テーブルは、図１０に示すように薔薇、ザクロ、ツツジ、乙女椿といった現実物の類型に、拡張色を対応つけた形式になっている。デザイン、美術等の見識を有さない一般人は、被写体に対する印象に紐付けて、被写体の色を記憶していることが殆どである。そうした紐付けによる記憶は、夕陽は赤い、リンゴは赤いという先入観によるもの（疑似記憶）である。そうした疑似記憶を頼りに検索を実行した場合、抽出色を示すタグが付加された画像が一向にヒットしない。リンゴや夕陽は「赤い」と認知されているものの、実際にリンゴや夕陽を撮影した写真においてこれらは、赤い色の画素で描かれる訳ではない。リンゴ、夕陽の画像からは、赤い色の画素が抽出されず、また抽出されたとしてもその数は少数に過ぎないからである。そこで拡張色テーブルを設けて疑似記憶に紐づけられる色をタグ付加の対象として選ぶことにしている。

（３―２）タグ生成のメインルーチン
タグ付加アプリケーション２０１Ａは、ＭＦＰ１０００の自動原稿フィーダー１００６、スキャナー１００４により読み取られた画像データのそれぞれについて、タグを生成する。この生成手順を示したのが、図１１のフローチャートである。本図において変数ｍａｘ１は、自動原稿フィーダー１００６により読み取られた画像データの枚数を示し、変数ｉは、自動原稿フィーダー１００６によって読み取られた複数画像データのそれぞれを示し、１からｍａｘ１までの値を変化する。変数ｍａｘ２は、ｉ番目の画像データから分離されたオブジェクトの総数を示し、変数ｊは、ｉ番目の画像データから抽出された複数のオブジェクトのそれぞれを示し、１からｍａｘ２までの値を変化する。

ステップＳ１０１において変数ｉを１に設定して、ステップＳ１０２では、画像データｉから１以上のオブジェクトを分離する。ここで、オブジェクトとは、現実物を表す一群の画素のことであり、複数の画素がまとまって明暗の階調をなすとか、同系色で統一されている等、何等かのまとまりを有する画素群からなる。以下、変数ｊを１に設定して（ステップＳ１０３）、ｊ番目のオブジェクト（オブジェクトｊ）の彩度ヒストグラムを生成する（ステップＳ１０４）。具体的にいうと、オブジェクトをなす各画素のＲＧＢ値をＨＳＶ値（色相（Hue）であるＨ値、彩度（Saturation）であるＳ値、明度（Value）であるＶ値からなる）に変換して、同じ彩度をもつ画素の出現数をカウントする。こうすることで、各彩度の出現度数を示す彩度ヒストグラムが得られる。

そして、彩度ヒストグラムにおいて最大度数を示す画素色をＨＳＶ値からＲＧＢ値に変換して、変換後のＲＧＢ値により特定される色を抽出色として抽出し（ステップＳ１０５）、ステップＳ１０６において、彩度ヒストグラムの広がりが、被写体基準を上回っているかどうかを判定する。ここでの被写体基準は、オブジェクトが、現実物の撮影により得られた被写体かどうかの区別を行うために経験的に設定された値であり、４～８色程度に設定される。現実物の撮影により得られた被写体は環境光の照射、反射により複雑な色調、階調をなす。しかしながら、文書作成アプリケーションで作成された図表やイラスト等は複雑な色調、階調をなさない。そこで、彩度ヒストグラムの広がりと、被写体基準とを比較して、オブジェクトが、現実物の撮影により得られた被写体かどうかを区別する。また、撮影により得られた被写体ではないが、被写体に準ずるもの（自然画の手法等で描写された絵画中の物体等）も、被写体と同様に判断される。こうした描写で表される物体も、被写体と同一に扱うべきだからである。

彩度ヒストグラムに分布の広がりが被写体基準を上回っていて、階調が存在する場合（ステップＳ１０６でＹｅｓ）、拡張色を決定して（ステップＳ１０７）、抽出色を示す第１カラータグ、拡張色を示す第２カラータグを画像データｉに付加する（ステップＳ１０８）。

彩度ヒストグラムに分布の広がりがなく、階調が存在しない場合（ステップＳ１０６でＮｏ）、抽出色を示すカラータグを画像データｉに付加する（ステップＳ１０９）。

ステップＳ１１０はループの継続要件が成立するかどうかの判定であり、オブジェクトを指示する変数ｊがオブジェクト総数ｍａｘ２を下回る場合（ステップＳ１１０でＹｅｓ）、変数ｊをインクリメントして（ステップＳ１１１）、ステップＳ１０４に戻る。変数ｊがオブジェクト総数ｍａｘ２を下回る限り、ステップＳ１０４～Ｓ１１１の繰り返しは継続する。これにより、ページｊにおける個々のオブジェクトは処理に供される。

変数ｊがオブジェクト総数ｍａｘ２に達し、全てのオブジェクトの処理が完了すると、継続要件を規定するステップＳ１１０がＮｏになる。ステップＳ１１２は、ステップＳ１０２～Ｓ１１１のループの継続要件が成立するかどうかの判定であり、画像データを指示する変数ｉが画像データの総数ｍａｘ１を下回る場合（ステップＳ１１２でＹｅｓ）、変数ｉをインクリメントして（ステップＳ１１３）、ステップＳ１０２に戻る。変数ｉが画像データ総数ｍａｘ１を下回る限り、ステップＳ１０２～Ｓ１１３の繰り返しは継続する。これにより、個々の画像データは処理に供される。変数ｉが画像データの総数ｍａｘ１に達し、全画像データの処理が完了すると、終了要件を規定するステップＳ１１２がＮｏになって本フローチャートの処理を終了する。

（３―３）オブジェクトの分離手順
ステップＳ１０２はサブルーチン化されている。図１２（ａ）は、オブジェクトを分離する分離手順を示すフローチャートである。

本フローチャートでは、ステップＳ１２１において微分フィルタを施してエッジを抽出する。微分フィルタを施すことで得られた画像（微分画像）は、黒地の背景に、断片的な明線を配した絵柄となる。断片的な明線は、階調や色相が連続しておらず、ＲＧＢ値が急激に変化している部分を示す。微分画像において明線として現れる画素列は「エッジ」と呼ばれ、対象物の輪郭を断片的に表す。

次に、このエッジを手掛かりにして対象物の分離を試みる。具体的にいうと、ステップＳ１２２において、エッジを構成する画素のうち、上下左右を含む８方向において隣接し合うものを結び、閉ループを抽出する。この過程を詳しく説明する。

エッジの任意の点を開始点として記憶して、８方向の何れかで、他のエッジと隣接していないかどうかを判定する。エッジ間に無画素の領域が存在しても、かかる無画素の部分がエッジに対して１０％以下の大きさであれば度外視する。対象物の再現を優先したい趣旨である。画素の隙間を度外視しつつ、複数のエッジを辿ってゆくことで、エッジの軌跡が開始点に至るかどうかを判断する。

エッジの軌跡が開始点に戻ってきたということは断片的なエッジが、閉ループをなし、１つの領域を囲んでいたことを意味する。この場合、エッジは対象物の輪郭をなすと考えられるので、ステップＳ１２３では、かかるエッジにより囲まれている領域をオブジェクトとして分離する。

更にオブジェクトから特徴量を抽出し（ステップＳ１２４）、抽出した特徴量を、機械学習で得られた学習データに適用して、オブジェクトに現れる被写体の類型を認識する（ステップＳ１２５）。その後、オブジェクトに連番を付与して、座標系における座標に対応付けて登録し（ステップＳ１２６）、登録された１以上のオブジェクトをリターンする。

（３－４）拡張色の決定
ステップＳ１０８において拡張色を決定する決定手順の詳細を表したのが、図１２（ｂ）のフローチャートである。

本フローチャートでは、ＳＮＳユーザーの検索傾向を考慮した拡張色の決定を実行する。具体的にいうと、ＳＮＳユーザーであるサービス利用者は、被写体の色として認知されているものを検索条件に選ぶ傾向があるので、認識された類型に対応する拡張色が拡張色テーブルに存在するかどうかを判定する（ステップＳ１３１）。存在する場合（ステップＳ１３１でＹｅｓ）、拡張色テーブルに記載された拡張色をメインルーチンにリターンする（ステップＳ１３２）。対応する拡張色が拡張色テーブルにないと（ステップＳ１３１でＮｏ）、拡張色を決定しない旨をメインルーチンにリターンする（ステップＳ１３３）。

画像データｉが図１３（ａ）のスキャン画像３０１であると、エッジ５１１、５１２、５１３、５１４が抽出され、これらのエッジが連続しているもので囲まれる領域１、２、３、４、５のうち領域１をオブジェクトｊとする。かかるオブジェクトｊを対象としてヒストグラムを生成すると、図１４のヒストグラム５２１のようになる。このヒストグラム５２１において、もっとも高い度数５２２を有する色（図中の乙女色）が抽出色となる。

参照される拡張色テーブル３１４は、薔薇、ザクロ、ツツジ、乙女椿、夕陽といった現実物に、一般人が認識しているその現実物の色を、拡張色として対応つけて示している。認証辞書を用いて花オブジェクトを認識した結果、拡張色テーブルに記載された類型の１つ（乙女椿）が得られたとすると、かかる乙女椿に対応する拡張色として桃色が得られる。これら抽出色、拡張色の色名の文頭に、ハッシュマーク「＃」を追加してカラータグを生成する。かかるカラータグと共に、画像データをＳＮＳサーバー３０００のストレージ３００１にアップロードして、端末１０１１～１０１４のＳＮＳユーザーによる閲覧に供する。

［４］まとめ
以上のように本実施形態によれば、ＳＮＳユーザーが注目する被写体を表すとされる画素群であるオブジェクトを、機械学習の過程で得られた学習データを用いて認識して、認識されたオブジェクトをなす画素で使用されている色を示す第１カラータグをアップロードしようとする画像データに付加するので、画像データの中に、ＳＮＳユーザーが注目する対象物以外のものが映り込んでいたとしても、対象物の色を自動的に抽出して、その対象物に使用されている色を第１カラータグに示させることができる。画像データに現れている現実物の色を忠実にタグに表すので、被写体がなす色を正しく選んで色検索を実行したＳＮＳユーザーに、当該画像データを閲覧させることができる。

また分離されたオブジェクトの類型から、拡張色を決定して、この拡張色から画像データに付加すべき第２カラータグを生成する。

ある時点に画像閲覧システムを利用するＳＮＳユーザーが世界中に数万人程いて、そのうち何割かが画像データに現れている被写体の色を正確に覚えておらず、被写体の色として認知されているもので検索を実行したとしても、それら思込みによる色で色検索を実行したＳＮＳユーザーの検索結果表示画面に、投稿した画像データが出現することになる。これにより、投稿した画像データのインプレッション、エンゲージメントを高めることができる。抽出色を示すカラータグ、拡張色を示すカラータグを生成して画像データと共にＳＮＳサーバーに投稿するので、同じカラータグがクリックされた際、投稿された画像データはブラウザーに表示されることになる。現実物の色を正しく記憶してカラータグをクリックしたＳＮＳユーザー、現実物の曖昧な記憶を頼りにカラータグをクリックしたＳＮＳユーザーの双方に画像データを提示するので、インプレッション、エンゲージメントを増やすことができる。

［５］第２実施形態
第１実施形態では、オブジェクトを分離し、学習データを用いてそのオブジェクトの類型を明らかにした際、当該類型に対応する拡張色を拡張色テーブルから読み出すことで、オブジェクトの拡張色を決定した。これに対して第２実施形態では、被写体の階調をなす色に近い色を検索条件に選ぶというＳＮＳユーザーの検索傾向に基づき、拡張色を決定する。

（５－１）拡張色の決定手順
オブジェクトの階調の広がりから拡張色を決定するため、第２実施形態では、図１５に示す手順により拡張色を決定する。図１５は、拡張色を決定する決定手順のフローチャートであり、図１２（ｂ）に代えて実行される。

ステップＳ１４１において、彩度ヒストグラムに示される画素の階調の広がりをＤ、Dの半値をｒ、ＲＧＢ色空間における抽出色の座標を、Ｃ_E＝（Ｒ_E、Ｇ_E、Ｂ_E）として、以下の数１の式を満たす色Ｃ_X＝（Ｒ_X、Ｇ_X、Ｂ_X）の集合を求める（ステップＳ１４１）。

図１２のステップＳ１４１で決定される拡張色は図１６の通りとなる。つまり、ＲＧＢ色空間において、抽出色Ｃ_Eの座標（Ｒ_E、Ｇ_E、Ｂ_E）を中心として半径ｒをなす球体６０１の表面上の座標、又は、球体６０１の内部における座標となる。

球体表面及び球体内部に位置する色集合には、オブジェクトをなす画素の色が含まれている可能性がある。かかる可能性を排除するため、ステップＳ１４２の処理を実行する。具体的にいうと、数１の式を満たし球体表面及び球体内部に位置する色集合から、オブジェクトの画素をなす色集合の集合要素を除外した差集合を求めて、かかる差集合から拡張色を決める。差集合は、例えばプログラミング言語Pythonにおいて、set型およびfrozenset型のdifferenceメソッドを利用することで作成することができる。こうして求めた拡張色をメインルーチンにリターンする（ステップＳ１４３）。

（５－２）まとめ
画素オブジェクトが現実物である被写体を撮影したものである場合、彩度ヒストグラムの広がりＤは、被写体である現実物がなす階調数を示す。かかる階調数を球の径ととらえ、球の表面及び球内部に位置する色の集合から拡張色を決めるので、階調数のみを曖昧に記憶しているＳＮＳユーザーが曖昧の記憶を頼りに色検索を実行した場合にも、投稿した画像データがヒットするようになる。

［６］第３実施形態
上記第２実施形態では、彩度ヒストグラムに示される階調の広がりと、抽出色とから拡張色を定めた。これに対し第３実施形態では、被写体を表す部位において大きな度数をなす複数の色に近い色を検索条件に選ぶというＳＮＳユーザーの検索傾向に基づき、拡張色を決定する。

（６－１）拡張色の決定手順
オブジェクトの階調数から拡張色を決定するため、第３実施形態では、図１７に示す手順により拡張色を決定する。図１７は、拡張色を決定する決定手順のフローチャートであり、図１２（ｂ）に代えて実行される。

色の度数が支配的基準になる色として、第１収束色、第２収束色を求める（ステップＳ１５１）。支配的基準値とは、彩度ヒストグラムに示される最大度数に対し、所定の割合（例えば、１０％）をなす値である。このように上位１０％の度数を有する画素色は、オブジェクトにおいて支配的な配色をなす色であり、被写体の配色を明らかにするのに用いられる。彩度ヒストグラムに示される度数をかかる支配的基準値に収束させることで、僅かな度数の色は拡張色を決定するにあたって、度外視される。

次に第１収束色の色空間座標から、第２収束色の色空間座標に至るベクトル（ｐ，ｑ，ｒ）を求め、当該ベクトル（ｐ，ｑ，ｒ）と、抽出色の座標（ａ，ｂ，ｃ）とを組み合わせることで、抽出色、第１、第２収束色の座標を通る３次元直線である収束直線（Ｒ、Ｇ、Ｂ）＝（ａ，ｂ，ｃ）＋ｔ（ｐ，ｑ，ｒ）を求める（ステップＳ１５２）。

ＲＧＢ色空間における拡張色の点Ｃｘから収束直線に垂線を下ろした際の足Ｈの位置ベクトルをＨ＝（ａ＋ｐｔ，ｂ＋ｑｔ，ｃ＋ｒｔ）とした場合、
以下の数２のｉ）、ｉｉ）の要件を満たす色Ｃ_Xの座標（Ｒ_X、Ｇ_X、Ｂ_X）の集合を求める（ステップＳ１５３）。

上記のステップＳ１５３で決定される拡張色は図１８に示す通りとなり、収束直線７０１を中心軸とし、半径Δｄをなす円柱７０２の周面に存在する
円柱の周面に位置する色集合には、オブジェクトをなす画素の色が含まれている可能性がある。かかる可能性を排除するため、ステップＳ１５４の処理を実行する。具体的にいうと、ｉ），ｉｉ）を満たし、円柱の周面に位置する色集合から、オブジェクトの画素をなす色集合の集合要素を除外した差集合を求め、かかる差集合から拡張色を決めて、メインルーチンにリターンする（ステップＳ１５５）。

半径ΔｄはＲＧＢ色空間において２～５色の間隔を隔てる程度の値であり、かかる径を占める円柱体の周面を占める色集合を拡張色とするので、彩度ヒストグラムにおいて高い度数をなす色にぎりぎり近い色を表すタグを画像データに付加することができる。収束直線を中心軸とした円柱の表面を拡張色の座標とすることで、ＳＮＳユーザーが、オブジェクトの階調が正しく記憶しておらず、検索条件で間違った色を選択したとしても、投稿した画像データがヒットするようになる。

（６－２）まとめ
以上のように本実施形態によれば、ある度数に収束する色の色空間座標から３次元直線を規定して、この３次元直線を軸とする円柱の周面が占める範囲から拡張色を決めるので、オブジェクトの配色のうち、支配的とされる色に近い色を拡張色として選ぶことができる。

画像閲覧システムを利用するＳＮＳユーザーが世界に数万人程おり、そのうち何割かが、被写体の階調変化を曖昧に記憶していて、その記憶に従い、抽出色に近い色をパレットから選択して検索を実行した場合でも、投稿した画像データがヒットするようになる。これにより、投稿した画像データのインプレッション、エンゲージメントを高めることができる。

［７］第４実施形態
第３実施形態では、色空間においてヒストグラムに示される色の座標を通過する直線との距離から拡張色を定めた。これに対し第４実施形態では、被写体を表す部位に使用されている色よりも、彩度及び／又は明度が高い色を検索条件に選ぶというＳＮＳユーザーの検索傾向に基づき、拡張色を決定する。

（７－１）拡張色の決定
第４実施形態では、図１９に示す手順により拡張色を決定する。図１９は、拡張色を決定する決定手順のフローチャートであり、図１２（ｂ）に代えて実行される。

分離したオブジェクトの色（ＲＧＢ値）をＨＳＶ値に変換して、ＨＳＶ色空間にプロットする（ステップＳ１６１）。ＨＳＶ色空間にプロットされたＨＳＶ値のうち、もっとも大きなＨ値を有するものの座標、もっとも大きなＳ値を有するものの座標、もっとも大きなＶ値を有するものの座標を通過する直方体をＨＳＶ色空間の内部に規定する（ステップＳ１６２）。規定される直方体は図２０に示す通りとなる。オブジェクトの画素を構成するＲＧＢ値は、ＨＳＶ色空間において図２０に示す座標８０１、８０２、８０３、８０４～８０７にプロットされたとする。これらの座標のうち、座標８０７のＨ値、座標８０６のＳ値、座標８０５のＶ値がもっとも大きいので、これらを通過する直方体８１０が規定される。こうして規定された直方体は、分離したオブジェクトの色が、ＨＳＶ色空間においてどの部分に分布しているか、つまりＨＳＶ色空間におけるオブジェクトをなす画素の色の分布域を示す。また、当該直方体の面は、明度の境界面、彩度の境界面を示す。次に、直方体の外側に位置する色の集合から、拡張色を決定する（ステップＳ１６３）。ＨＳＶ色空間において、直方体の面（彩度境界面、彩度境界面）から２～５色の間隔を隔てた位置にある色の集合から拡張色を決める。これにより被写体である現実物の色の彩度、明度を強調した色を表す第２カラータグが画像データに付加されることになる。これにより明度の境界線の外側に位置する拡張色８１１、及び、明度及び彩度の境界線の外側に位置する拡張色８１２、８１３が決定される。以上の過程を経て拡張色を決定した後、メインルーチンにリターンする（ステップＳ１６４）。

（７－２）まとめ
画像閲覧システムを利用するＳＮＳユーザーが世界に数万人程おり、そのうち何割かが、被写体の明度、彩度が高い部分に強い部分を印象的に記憶していて、その記憶に従い、抽出色に近い色をパレットから選択して検索を実行した場合でも、投稿した画像データがヒットするようになる。これにより、投稿した画像データのインプレッション、エンゲージメントを高めることができる。

［８］第５実施形態
第１～第４実施形態では、拡張色、抽出色のそれぞれを、別々のカラータグを用いて表した。これに対し本実施形態では、ＲＧＢ色空間における拡張色の座標と、抽出色の座標との距離に応じて、抽出色、拡張色を別々のカラータグで表すか、単一のカラータグで表すかを決定する。

（８－１）処理手順
メインルーチンの変更部分を図２１に示す。本実施形態では、本図に示すステップＳ１７１、Ｓ１７２が追加されている。ステップＳ１７１は、ＲＧＢ色空間における抽出色の座標と、拡張色の座標との距離が所定の色覚閾値Ｄ_ｔを下回るかどうかの判定である。色覚閾値Ｄ_ｔは、同系色となる色と認識される２以上の色空間座標の間隔である。色空間座標が異なっても、人間の目は、複数の色を同じ色と認知したり、同系色と認知することがある。人間の目の色覚特性において、同一色、同系色と認知される境界的な値を色覚閾値として予め設定しておき、抽出色の座標と、拡張色の座標との距離を、かかる色覚閾値と比較する。

色間距離が色覚閾値Ｄ_T以上である場合、ステップＳ１７１がＮｏになり、図１１のステップＳ１０８を実行する。

ＲＧＢ色空間における抽出色の座標と、拡張色の座標との距離が色覚閾値Ｄ_ｔを下回る場合、ステップＳ１７１がＹｅｓになり、ステップＳ１７２を実行する。ステップＳ１７２では、抽出色、拡張色の双方を単一のカラータグで表現する。こうした単一のカラータグとしては、抽出色と、拡張色との間の中間色を示すもの、抽出色並びに拡張色を包含する色系統を示すものがある。その他、抽出色のみを示すもの、拡張色のみを示すものでもよい。

図２２における拡張色及び拡張色のペア９１１が対象であるとする。このペア９１１では、抽出色の座標Ｃ_Eと、拡張色の座標Ｃ_xとの距離Ｄ（Ｃ_E、Ｃ_X）が色覚閾値Ｄ_Tを上回っているので、ステップＳ１７１がＮｏになる。この場合、第１実施形態に示したように、上記のペア９１１における抽出色を示す第１カラータグ、拡張色を示す第２カラータグを生成する（ステップＳ１０８）。

図２２における拡張色及び拡張色のペア９１２が対象であるとする。拡張色及び拡張色のペア９１２は、抽出色の座標Ｃ_Eと、拡張色の座標Ｃ_Xとの距離Ｄ（Ｃ_E、Ｃ_X）が色覚閾値Ｄ_T以下になるので、ステップＳ１７１がＹｅｓになる。この場合、例えば、上記のペア９１２における抽出色Ｃ_Eの座標（Ｒ_E、Ｇ_E、Ｂ_E）と、拡張色Ｃ_Xの座標（Ｒ_X、Ｇ_X、Ｂ_X）とを足し合わせて２で割り、抽出色、拡張色の中間色のＲＧＢ値を算出する（ステップＳ１７２）。このように算出されたＲＧＢ値に該当する色の色名を、画像データに付加すべきカラータグとする。

（８－２）まとめ
ＲＧＢ色空間において、近接した座標に、抽出色、拡張色が位置する場合、これらを単一のタグで表現するので、投稿が可能なテキスト文字列の字数に余裕が生ずる。これにより物品の名称や形状の特徴等、付加的な特徴をタグで表現することができる。尚、抽出色、拡張色を含む連続した範囲を複数のタグで表現しようとすると、意図しない色がタグによって表現されてしまう。そうした意図しない色が表現されると、ノイズになってＳＮＳユーザーによる検索を妨げる可能性がある。これに対し本実施形態では、距離の大小に応じて単一のタグの付加、２つのタグの付加を切り替えて行うので、そうしたノイズがタグで表現されることはない。

［９］変形例
以上、本発明を実施の形態に基づいて説明してきたが本発明は上述の実施の形態に限定されないのは勿論であり以下の変形例が考えられる。

（１）２５５階調のＲ値、２５５階調のＧ値、２５５階調のＢ値を用いてオブジェクトをなす各画素の色を表現したがこれに限られない。ＲＧＢ色空間内部の部分空間の通し番号を用いて、オブジェクトをなす各画素の色を表現してもよい。図２３（ａ）は、ＲＧＢ色空間を均等分割することで得られた６４個（＝４×４×４）の部分空間を示す。部分空間は立方体であり、原点から近いものから順に、通し番号「１」、「２」、「３」、「４」が付加されている。

この通し番号を用いると、（１３５、１３、３）のＲＧＢ値からなる赤黒は、図２３（ｂ）に示すように、「３」の番号で指示される。また、（２５５、０、０）のＲＧＢ値からなる赤は、図２３（ｃ）に示すように、「４」の番号で指示される。抽出色、拡張色がどの部分空間に属するかを判定して、その部分空間の遠し番号を記憶することで、拡張色、抽出色を保持する際のデータサイズを小さくすることができる。

（２）上記実施形態では、画像データからエッジを抽出して、被写体を含むオブジェクトを分離したがこれに限られない。同系色をなす画素が連続していて、同系色をなす画素により占有されている領域を分離することで、オブジェクトを得てもよい。具体的にいうと、図１３（ｂ）に示すように、オブジェクトの画素がなすＲＧＢ値をＨＳＶ値に変換して、同一色相からなる画素が連続する画素群を特定する。こうした色相分離を行うと、画像は赤っぽい色、緑っぽい色など、大まかな分類に従い分離される。分離された画素群は、ほぼ同一の色相をもつ画素を連ねたもので同系色をなす。そうした同系色をなす画素群を分離することで、上記エッジ抽出で得られるオブジェクトと同様のものが得られる。

彩度ヒストグラムにおいて最大度数をなす色を抽出色としたが、これは一例に過ぎない。出現度数に示される順序で、オブジェクトの画素に使用されている色の順位が、全体の１０％以上等、所定の順位以上となる色を抽出色としてもよい。「リンゴは赤」と認識されているものの、実際のリンゴで多くの面積を占めている画素は赤黒で赤とは限らず、上位何割かの色を抽出した方が、対象物を表す特徴的な色が抽出される可能性があるからである。

（３）画像閲覧システムは、画像投稿サービス、動画投稿サービス、個人紹介サービス、オンラインショッピングサービス、短文投稿サービス、掲示板サービス、店舗情報提供サービス、中古物品の売買・交換サービスを実現するものでもよい。画像データと共に投稿できるテキスト文字列に字数制限があるとしたがこれに限られない。字数制限に代えて、字数制限に加えてカラータグに個数制限があるとしてもよい。

（４）上記実施形態では、ＭＦＰ１０００のスキャンにより得られた画像データをＳＮＳサーバーにアップロードするとしたがこれに限られない。スマートフォン、タブレット、カメラにより撮影された画像データをＳＮＳサーバーにアップロードしてもよい。

（５）タグ付加アプリケーション２０１Ａは、画像処理装置２０００に予めインストールされた、プリインストールタイプのアプリケーションとしたがこれに限らない。タグ付加アプリケーション２０１Ａを可搬型記録媒体に記録して、ソフトウェアパッケージとして販売してもよいし、アプリケーション配信サーバーにアップロードして、アプリケーション配信サーバーによる配信に供してもよい。

（６）画像処理装置２０００は、事業所の構内に設置されたコンピュータ機器により構成されるとしたが、クラウドサーバーとして構成してもよい。クラウドサーバーは、ＯＳと、タグ付加アプリケーション２０１Ａとをインストールしており、端末１０１１から要求があると、ゲストＯＳを起動し、かかるゲストＯＳ上でタグ付加アプリケーション２０１Ａを起動することで、上記実施形態に示した処理を行う。画像処理装置２０００は、ＭＦＰ１０００と独立した機器としたがこれに限られない。ＭＦＰ１０００と、画像処理装置２０００とを一体の機器としてもよい。また画像処理装置２０００は、タグ付与及び画像データのアップロードを行うとしたがこれに限られない。タグ付与のみを行い、画像データのアップロードを他の機器に実行させてもよい。

タグ付加アプリケーション２０１Ａを、ＳＮＳユーザーが操作する端末１０１１～１０１４にインストールして利用してもよい。ＳＮＳユーザーが画像投稿を行うことは往々に存在するからである。また、タグ付加アプリケーション２０１ＡをＳＮＳサーバーに設けてもよい。

（７）第２実施形態、第３実施形態では、差集合を求めて差集合の中から拡張色を決定したがこれに限られない。オブジェクトをなす画素の色として使用されているものの、抽出色として抽出されたなかったものが第２実施形態の球体の表面又は内部に存在する場合、かかる色を拡張色として決定してもよい。同様に、オブジェクトをなす画素の色として使用されているものの、抽出色として抽出されたなかったものが第３実施形態の円筒の周面に存在する場合、かかる色を拡張色として決定してもよい。

また、画素オブジェクトの類型から定まる拡張色を示すタグ、画素オブジェクトの階調数から定まる拡張色を示すタグ、第１収束色、第２収束色から定まる拡張色を示すタグ、彩度・明度の飽和させた値から定まる拡張色を示すタグを画像データに付加するとしてもよい。画像データに現れている画素オブジェクトの多面的な色表現が可能になるので、スキャナー１００４により読み取った画像データをＳＮＳサーバー３０００にアップロードする場合のインプレッションを高めることができる。

（８）色見本データにおける各色の欄にＨＳＶ値を記述してもよい。ＲＧＢ値からＨＳＶ値への変換が簡単になるという利点がある。また、変換式を不揮発メモリ２０４に格納しておき、かかる変換式に基づき、ＲＧＢ値からＨＳＶ値への変換を実行してもよい。

（９）各実施形態では、色名、色コードをカラータグとしたがこれに限られない。色の名前を含む名詞句、形容詞句、副詞句を示すテキスト文字列にハッシュマーク「＃」を付したタグを生成してもよい。例えば、「＃赤みを帯びた」、「＃赤い」、「＃赤く」、「＃赤っぽい」等のテキスト文字列を色見本データ、拡張色テーブルに記載しておき、これらのテキスト文字列と、ハッシュマークとからなるハッシュタグを画像データに付加してもよい。またカラータグにおける色名は日本語としたがこれに限られない。色見本データ、拡張色テーブルにおいて、英語、中国語、ロシア語、フランス語、スペイン語、アラビア語等の複数言語の色名を記載することで、抽出色、拡張色を複数言語のカラータグで表現するとしてもよい。また、投稿者から言語選択を受け付け、その選択された言語のカラータグを画像データに付加するとしてもよい。

本開示は、ＳＮＳサーバーを利用して情報発信を行う様々な業種の産業分野に利用でき、ＯＡ機器、情報機器の産業分野を始め、小売業、古物商、賃貸業、不動産業、広告業、運輸業、出版業等、様々な業種の産業分野で利用される可能性がある

１ 画像閲覧システム
２０１ ストレージ
２０１Ａ タグ付加アプリケーション
２０１Ｓ ＯＳ
２０２ ＲＡＭ
２０３ ＣＰＵ
２０４ 不揮発メモリ
２０５ ＮＩＣ
２０６ 周辺ポート
１０００ ＭＦＰ
１０１１～１０１４ 端末
２０００ 画像処理装置
２００１ ディスプレイデバイス
２００２ キャラクターデバイス
２００３ ポインティングデバイス
３０００ ＳＮＳサーバー
３００１ ストレージ
３００２ 検索エンジン

Claims (19)

1. 画像閲覧サービスにおける画像データの検索を支援する画像処理装置であって、
   対象物を表すとされる部位を、画像データから認識する認識手段と、
   認識された部位をなす画素で使用されている色を抽出する抽出手段と、
   前記部位からは抽出されなかったものの、サービス利用者が検索に用いる可能性がある色を、当該サービス利用者が検索を行う際の検索傾向に基づき決定する決定手段と、
   前記抽出手段により抽出された色を示す第１タグ、及び、前記決定手段により決定された色を示す第２タグを生成して、検索用タグとして画像データに付加する付加手段と
   を備えることを特徴とする画像処理装置。
2. 前記抽出手段により抽出される色は、前記対象物をなす部位の画素において出現度数が最も高い色、又は、当該出現度数に示される順序に複数の色を並べた際の順位が、所定の順位以上となる色である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記サービス利用者の検索傾向とは、対象物の色として認知されているものを検索条件に選ぶ傾向であり、
   前記決定手段は、参照テーブルを有し、前記参照テーブルは、現実物の複数の類型のそれぞれを表す色として一般的に認知されている色を示し、
   判別された対象物の類型に対応する色として、前記参照テーブルに記載されたものを、前記サービス利用者が検索に用いる可能性がある色とする
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記サービス利用者の検索傾向とは、対象物の階調をなす色に近い色を検索条件に選ぶ傾向であり、
   前記決定手段は、
   前記抽出手段により抽出された色の色空間座標を中心座標とし、前記部位の階調を径とした範囲を占める球の表面及び内部に位置する色からなる色の集合を生成し、
   前記検索に用いられる可能性がある色は、生成された色の集合に含まれる色である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記サービス利用者の検索傾向とは、対象物を表す部位において度数分布をなす色に近い色を検索条件に選ぶ傾向であり、
   前記決定手段は、前記度数分布における度数が所定値に収束する際の収束点となる第１収束色、第２収束色を求める処理（１）、
   前記抽出手段により抽出された色の色空間座標、第１収束点の色空間座標、第２収束点の色空間座標を通過する３次元直線を中心軸とし、所定のオフセットを径とした円柱体の表面に位置する色の集合を生成する処理（２）を実行し、
   前記検索に用いられる可能性がある色は、生成された色の集合に含まれる色である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記サービス利用者の検索傾向とは、対象物を表す部位に使用されている色よりも、彩度及び／又は明度が高い色を検索条件に選ぶ傾向であり、
   前記決定手段は、HSV色空間において、認識された部位をなす画素で使用されている色が分布している部分空間を規定する処理（１）、
   前記HSV色空間において、前記部分空間の外側で、彩度又は明度が大きくなる場所に位置する色の集合を生成する処理（２）を含み、
   前記検索に用いられる可能性がある色は、前記色の集合に含まれる色である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記付加手段が、第１タグ、及び、第２タグを生成するのは、前記抽出手段により抽出された色の色空間座標と、決定手段が決定した色の色空間座標との距離が所定の閾値を上回る場合である
   ことを特徴とする請求項１～６の何れかに記載の画像処理装置。
8. 前記抽出手段により抽出された色の色空間座標と、決定手段が決定した色の色空間座標との距離が所定の閾値を下回る場合、前記付加手段は、前記画像データに付加すべき単一のタグを生成し、
   前記単一のタグは、抽出手段により抽出された色と、決定手段により決定された色との中間色、抽出手段により抽出された色並びに決定手段により決定された色を包含する色群、抽出手段により抽出された色そのもの、決定手段により決定された色そのものの何れかを示す
   ことを特徴とする請求項７に記載の画像処理装置。
9. 前記認識手段は、画像データが現実物を撮影又は描写したものかどうかの判定を行い、前記決定手段が、前記検索に用いられる可能性がある色を決定するのは、画像データが、現実物を撮影又は描写したものと判定された場合である
   ことを特徴とする請求項１～７の何れかに記載の画像処理装置。
10. 前記色の度数を示すヒストグラムが、所定幅以上の広がりを有しているかどうかの判定を行い、所定幅以上の広がりを有している場合、前記認識手段は、前記画像データにおける一の部位が、現実物を撮影又は描写したものとの判定結果を下す
    ことを特徴とする請求項９に記載の画像処理装置。
11. 前記認識手段は、現実物の複数の類型のそれぞれに対応する学習データを含み、学習データは、対応する類型の現実物を表す特徴量の点群と、対応する類型の現実物を表さない特徴量の点群とを区切る分離面を規定するデータであり、
    画像データにおいて対象物を表すとされる部位から特徴量を算出して、特徴量を各類型に対応する学習データに適用することで、前記認識手段は、前記画像データにおける一の部位が、現実物を撮影又は描写したものかどうかの判定結果を下す
    ことを特徴とする請求項９に記載の画像処理装置。
12. 前記認識手段は、画像データをなす画素のうち、エッジとなる画素を抽出する処理を行い、
    前記対象物を表す部位は、エッジとなる画素により囲まれる一群の画素からなる
    ことを特徴とする請求項１～１１の何れかに記載の画像処理装置。
13. 前記認識手段は、同系色をなす画素が占有している領域を、画像データから分離する処理を行い、
    前記対象物を表す部位は、同系色をなすとして分離された領域の画素から構成される
    ことを特徴とする請求項１～１１の何れかに記載の画像処理装置。
14. 前記対象物をなす画素の色は、Ｒの値、Ｇの値、Ｂの値で表され、
    前記Ｒの値、Ｇの値、Ｂの値は、
    ＲＧＢ色空間を均等に分割することで得られる部分空間のうち、どれに属するかを示す
    ことを特徴とする請求項１～１３の何れかに記載の画像処理装置。
15. 端末が定めた検索条件に基づきサーバーが検索を実行する画像閲覧システムであって、
    対象物を表すとされる部位を、画像データから認識し、
    認識された部位をなす画素で使用されている色を抽出し、
    前記部位からは抽出されなかったものの、サービス利用者が検索に用いる可能性がある色を、当該サービス利用者が検索を行う際の検索傾向に基づき決定して、
    抽出された色を示す第１タグ、及び、決定された色を示す第２タグを生成して、検索用タグとして画像データに付加する
    ことを特徴とする画像閲覧システム。
16. 前記端末は、パレットを表示して、パレットから検索条件となる色の選択をサービス利用者から受け付け、
    検索条件に合致する第１タグが付加された画像データ、及び／又は、検索条件に合致する第２タグが付加された画像データを含む検索結果画面を端末に表示させる
    ことを特徴とする請求項１５に記載の画像閲覧システム。
17. 前記第１タグは第１ハッシュタグ、前記第２タグは第２ハッシュタグであり、
    第１ハッシュタグ及び／又は第２ハッシュタグを含む一覧画面が端末に表示されている状態で、サービス利用者が当該ハッシュタグを選択すると、同じ第１ハッシュタグ及び／又は第２ハッシュタグが付加された他の画像データを端末に表示させる
    ことを特徴とする請求項１６に記載の画像閲覧システム。
18. 画像閲覧サービスにおける画像データの検索を支援する処理をコンピュータに実行させる画像処理プログラムであって、
    対象物を表すとされる部位を、画像データから認識する認識ステップと、
    認識された部位をなす画素で使用されている色を抽出する抽出ステップと、
    前記部位からは抽出されなかったものの、サービス利用者が検索に用いる可能性がある色を、当該サービス利用者が検索を行う際の検索傾向に基づき決定する決定ステップと、
    前記抽出ステップにより抽出された色を示す第１タグ、及び、前記決定ステップにより決定された色を示す第２タグを生成して、検索用タグとして画像データに付加する付加ステップと
    をコンピュータに実行させることを特徴とする画像処理プログラム。
19. 画像閲覧サービスにおける画像データの検索を支援する画像処理方法であって、
    対象物を表すとされる部位を、画像データから認識する認識ステップと、
    認識された部位をなす画素で使用されている色を抽出する抽出ステップと、
    前記部位からは抽出されなかったものの、サービス利用者が検索に用いる可能性がある色を、当該サービス利用者が検索を行う際の検索傾向に基づき決定する決定ステップと、
    前記抽出ステップにより抽出された色を示す第１タグ、及び、前記決定ステップにより決定された色を示す第２タグを生成して、検索用タグとして画像データに付加する付加ステップと
    を含む画像処理方法。

Images