JP7056161B2 - 色変換装置及びプログラム - Google Patents

Description

本発明は、色変換装置及びプログラムに関する。

特許文献１には、色覚障害者に対して識別性優先の表示データ部分の識別性を向上させるカラー表示システムが記載されている。表示データ種別分類手段は、入力した表示データを色変換しない表示データと色変換する表示データに分類し、色変換部は、識別性優先の色変換する表示データについて、色変換テーブルの色覚データを用いて、識別しにくい表示色を識別しやすい表示色に変換する。表示データ合成部は、色変換しない表示データと色変換済み表示データを合成してビデオ表示データに変換し、カラー表示パネルで表示する。

特許文献２には、ドキュメントが写真画像である場合は色覚に応じた色補正を回避し、実際に視認するイメージと同一のイメージを出力する印刷制御装置が記載されている。プリンタドライバは、入力された画像データを解析し、解析した結果に基づいて画像データは写真画像データを含むか、否かを判定する画像判定機能と、画像判定機能が画像データは写真画像データを含まないと判定した場合、色覚に応じた色変換処理を画像データに対して許可し、他方で、画像データは写真画像データを含むと判定した場合、色変換処理を画像データに対して許可しない色変換処理許可機能と、色変換処理を許可しない場合、画像データに対して色変換処理を行うことなく、画像データに基づく印刷コマンドを生成する印刷コマンド生成機能をコンピュータに実行させる。

特開２００２－５５６７１号公報 特開２０１２－３８０００号公報

写真画像データについて色覚に応じた色補正（色変換）を回避し、それ以外のデータについては色補正（色変換）を実行する技術では、写真画像データ以外でも色覚に応じた色補正（色変換）を実行すべきでない場合があっても柔軟に対応できない課題がある。

本発明は、かかる課題を解決することを目的とする。

請求項１に記載の発明は、複数のカテゴリに分類されたオブジェクト群に対し、色変換を実行しない旨を規定するルールを記憶する記憶部と、文書データから画像オブジェクトを抽出する抽出部と、抽出された前記画像オブジェクトを画像解析し、前記画像オブジェクトが前記カテゴリに含まれる場合に前記ルールを用いて前記画像オブジェクトの色変換を実行しない色変換制御部と、を備え、前記色変換制御部は、前記画像オブジェクトが前記カテゴリに含まれる確信度を算出し、前記確信度が閾値未満の場合に前記画像オブジェクトを色変換の対象とし、前記色変換制御部は、前記確信度が閾値未満の場合でも、前記画像オブジェクトの周辺に存在する文字列が前記カテゴリに関連するときには前記画像オブジェクトの色変換を実行せず、前記抽出部は、前記画像オブジェクトの周辺に存在する文字列を、前記文書データが構造化文書データである場合のタグにより抽出する色変換装置である。

請求項２に記載の発明は、前記色変換制御部は、前記画像オブジェクトが前記カテゴリに含まれない場合に前記画像オブジェクトを色変換の対象とする請求項１に記載の色変換装置である。

請求項３に記載の発明は、前記色変換制御部は、前記画像オブジェクトが前記カテゴリに含まれる確信度を算出し、前記確信度が閾値以上の場合に前記画像オブジェクトの色変換を実行しない請求項１に記載の色変換装置である。

請求項４に記載の発明は、前記複数のカテゴリに分類されたオブジェクト群を指定する指定部を備える請求項１に記載の色変換装置である。

請求項５に記載の発明は、前記指定部は、色変換しないオブジェクトを指定するとともに、前記色変換しないオブジェクトが属するカテゴリを指定する請求項４に記載の色変換装置である。

請求項６に記載の発明は、前記指定部は、前記色変換しないオブジェクトを画面上で閉領域により指定する請求項４に記載の色変換装置である。

請求項７に記載の発明は、前記色変換は、色覚に応じた色変換である請求項１～６のいずれかに記載の色変換装置である。

請求項８に記載の発明は、コンピュータを、複数のカテゴリに分類されたオブジェクト群に対し、色変換を実行しない旨を規定するルールを記憶部に記憶する手段と、文書データから画像オブジェクトを抽出する抽出手段と、抽出された前記画像オブジェクトを画像解析し、前記画像オブジェクトが前記カテゴリに含まれる場合に前記記憶部に記憶されたルールを用いて前記画像オブジェクトの色変換を実行しない色変換制御手段と、として機能させ、前記色変換制御手段は、前記画像オブジェクトが前記カテゴリに含まれる確信度を算出し、前記確信度が閾値未満の場合に前記画像オブジェクトを色変換の対象とし、前記色変換制御手段は、前記確信度が閾値未満の場合でも、前記画像オブジェクトの周辺に存在する文字列が前記カテゴリに関連するときには前記画像オブジェクトの色変換を実行せず、前記抽出手段は、前記画像オブジェクトの周辺に存在する文字列を、前記文書データが構造化文書データである場合のタグにより抽出するプログラムである。

請求項１，２，８に記載の発明によれば、写真画像データ以外でも色変換すべきでない場合に柔軟に画像オブジェクトの色変換を不実行とし得る。

請求項３に記載の発明によれば、さらに、確信度が閾値以上の場合において画像オブジェクトの色変換を不実行とし得る。

請求項１，８に記載の発明によれば、さらに、確信度が閾値未満の場合でも画像オブジェクトの色変換を不実行とし得る。

請求項４，５，６に記載の発明によれば、さらに、ルールを簡易に規定し得る。

請求項７に記載の発明によれば、さらに、写真画像データ以外でも色覚に応じた色変換すべきでない場合に柔軟に画像オブジェクトの色変換を不実行とし得る。

実施形態のシステム構成図である。 実施形態のクラウドサーバの構成ブロック図である。 実施形態のクラウドサーバの機能ブロック図である。 実施形態の画像形成装置の構成ブロック図である。 画像オブジェクトのカテゴリ化の説明図である。 カテゴリ化された画像オブジェクトの一例を示す説明図である。 カテゴリ化された画像オブジェクトの他の例を示す説明図である。 ルールを規定する設定画面の説明図である。 実施形態の処理フローチャートである。 画像オブジェクトの抽出説明図である。 画像オブジェクトの処理説明図である。 他の実施形態の処理フローチャートである。 画像オブジェクト及びその周辺文字列の抽出説明図である。 他の実施形態の画像オブジェクトの処理説明図である。

以下、図面に基づき本発明の実施形態について説明する。

＜実施形態１＞
図１は、本実施形態のシステム構成図を示す。システムは、端末１０、サーバ１２、及び画像形成装置１４を備える。端末１０、サーバ１２、及び画像形成装置１４は、通信ネットワーク１６によりデータ送受信可能に接続される。

端末１０は、画像形成装置１４によって画像形成（印刷）されるべき文書データを通信ネットワーク１６を介してサーバ１２に送信する。

サーバ１２は、例えば管理サーバやクラウドサーバであり、色変換装置として機能し、端末１０から通信ネットワーク１６を介して文書データを受信し、文書データに対して色変換処理の実行／不実行を決定する。

サーバ１２は、色変換処理の実行を決定した場合、文書データに対して色変換処理を実行した上で通信ネットワーク１６を介して当該文書データを画像形成装置１４に送信する。また、サーバ１２は、色変換処理の不実行を決定した場合、文書データに対して色変換処理を実行せずに通信ネットワーク１６を介して当該文書データを画像形成装置１４に送信する。サーバ１２は、色変換処理の実行／不実行を、予め定めたルールに沿うか否かにより決定する。より詳しくは、サーバ１２は、文書データに含まれる画像オブジェクトを抽出し、抽出した画像オブジェクトが、予め定められたカテゴリに含まれるか否かを判定し、カテゴリに含まれる場合に色変換処理を不実行とする。

ここで、本実施形態における色変換処理は、色覚に応じた色変換、すなわち、色覚障害者に対応するための色補正であって、色覚障害の型や程度に応じた色補正であるが、必ずしもこれに限定されず、単なる白黒化やコントラスト調整等であってもよい。一般に、色変換処理とは、ユーザに応じ、当該ユーザが読みやすいような色に補正する処理ということができ、ユーザが色覚障害者であれば当該色覚障害に応じた色補正処理である。色変換方法は、例えば色変換テーブルを参照することで実行され得る。色変換処理を実行する場合には当該色変換テーブルを参照して該当する色を変換し、色変換処理を実行しない場合には当該色変換テーブルを参照することなく元の色を保持する。

画像形成装置１４は、サーバ１２から通信ネットワーク１６を介して文書データを受信し、当該文書データを印刷処理して出力する。画像形成装置１４は、例えば、スキャン機能、プリント機能、コピー機能及びファクシミリ機能等を備えたいわゆる複合機であってもよい。サーバ１２からの文書データは、色変換処理が実行された文書データ、あるいは色変換処理が実行されていない文書データである。

通信ネットワーク１６は、ＬＡＮ（Local Area Network）やＷＡＮ(Wide Area Network)等であり、有線ネットワークであっても無線ネットワークであってもよい。また、通信ネットワーク１６は、専用回線でもよく、インターネット等の公衆回線でもよい。通信ネットワーク１６は、複数のネットワークから構成されていてもよい。

なお、端末１０からサーバ１２に文書データを送信するのではなく、画像形成装置１４からサーバ１２に文書データを送信してもよい。

また、サーバ１２で文書データの色変換処理の実行／不実行を決定するのではなく、画像形成装置１４で色変換処理の実行／不実行を決定してもよい。この場合、画像形成装置１４が色変換装置として機能する。すなわち、色変換装置は、サーバ１２あるいは画像形成装置１４のいずれかで実現され得る。

図２は、図１におけるサーバ１２の構成ブロック図を示す。サーバ１２は、サーバコンピュータとしての構成を備え、１又は複数のＣＰＵ（Central Processing Unit）１２０、ＲＯＭ（Read Only Memory）１２１、ＲＡＭ（Random Access Memory）１２２、入出力インターフェイス（Ｉ／Ｆ）１２３、通信Ｉ／Ｆ１２４、及び記憶部１２５を備える。これらの構成ブロックは、バスに接続されており、バスを介してデータの送受信を行う。

ＣＰＵ１２０は、ＯＳ（Operating System）やアプリケーション等の各種プログラムを実行する。また、ＲＯＭ１２１は、ＣＰＵ１２０により実行される制御プログラムを記憶する。ＲＡＭ１２２は、ＣＰＵ１２０の作業用メモリ等として用いられる。ＣＰＵ１２０は、ＲＯＭ１２１に記憶されている制御プログラムを読み出し、ＲＡＭ１２２を作業エリアとして制御プログラムを実行する。ＣＰＵ１２０により制御プログラムが実行されると、サーバ１２における各種機能、特に色変換処理の実行／不実行の決定処理が実現される。

入出力Ｉ／Ｆ１２３は、キーボードやマウス等の入力装置、及びディスプレイ等の出力装置（表示装置）に接続される。入出力Ｉ／Ｆ１２３は、主に、色変換処理を行わない旨のルールを入力して記憶部１２５に記憶する。

通信Ｉ／Ｆ１２４は、通信ネットワーク１６を介して端末１０及び画像形成装置１４とデータを送受信する。通信Ｉ／Ｆ１２４は、端末１０から送信された文書データを受信するとともに、ＣＰＵ１２０で処理された文書データ、すなわち色変換処理が実行された文書データ、あるいは色変換処理が実行されていない文書データを画像形成装置１４に出力する。通信Ｉ／Ｆ１２４は、入出力Ｉ／Ｆ１２３に代えて、あるいは入出力Ｉ／Ｆ１２３とともに、色変換処理を行わない旨のルールを入力して記憶部１２５に記憶してもよい。

記憶部１２５は、ＨＤＤ（ハードディスクドライブ）やＳＳＤ（ソリッドステートドライブ）等の記憶領域を具備しており、色変換処理の実行／不実行を決定する際にＣＰＵ１２０により参照されるルールを記憶する。記憶部１２５は、ＣＰＵ１２０で実行される制御プログラムを記憶してもよい。

図３は、サーバ１２の機能ブロック図を示す。サーバ１２は、機能ブロックとして、文書データ取得部１２ａ、画像オブジェクト抽出部１２ｂ、ルール規定部１２ｄ、ルール記憶部１２ｅ、及び色変換制御部１２ｆを備える。

文書データ取得部１２ａは、端末１０から送信された文書データを取得する。

画像オブジェクト抽出部１２ｂは、文書データ取得部１２ａで取得した文書データに含まれる画像オブジェクトを抽出する。画像オブジェクトとは、一般には、印刷対象のページの画像内に含まれる画像の単位を意味し、画像オブジェクトの種類として、線画、図形、文字、画像（写真等の連続調画像）等があるが、本実施形態では、画像オブジェクト抽出部１２ｂは、特に、線画や図形、連続調画像を抽出する。画像オブジェクトには、写真画像に加え、写真画像以外のオブジェクトが含まれ得る。

ルール規定部１２ｄは、色変換しない旨を規定するルールを規定する。色変換しない旨のルールは、具体的には、色覚障害者の型や程度に応じた色変換、すなわちＣ型／Ｐ型／Ｄ型／Ｔ型／Ｕ型に応じて特定の色を別の色に変換する等、色覚障害者が読みやすい文書となるような色変換を実行しないオブジェクト群のカテゴリを規定する。

従来においては、写真画像データについては色変換しない技術が提案されているが、写真画像データ以外にも、色変換すべきでない場合がある。具体的には、建物や人物、ロゴ、ラベル、標識等であって、文書内のみならず実世界にも存在するものである。実世界に存在する建物等は、色覚障害者にとっては色覚障害のまま認識するのであるから、その認識と、文書内における当該建物の色が異なっている場合には多少なりとも違和感を覚えることが想定される。このことは、色変換を行って読みやすい文書とすることとは別の観点での工夫が必要であることを示している。言い換えれば、色覚障害者が認識するままの画像をそのまま提供するということである。ルール規定部１２ｄは、建物や人物、ロゴ、ラベル、標識等であって、実世界にも存在するオブジェクト群をカテゴリに分類し、色変換しないカテゴリを規定する。カテゴリを例示すると、上記の通り、「建物」、「人物」、「標識」等であるが、より細分化したカテゴリであってもよい。例えば、「建物」については、建物の名称あるいは通称であり、「みなとみらい事業所」、「横浜研究所」等である。「標識」については、「交通標識」等である。サーバ管理者がルール規定部１２ｄを操作してこれらのオブジェクト及びカテゴリを決定してもよく、あるいは端末１０を操作してこれらのオブジェクト及びカテゴリをルール規定部１２ｄを介して入力してもよい。

ルール記憶部１２ｅは、ルール規定部１２ｄで規定されたルールを記憶する。具体的には、色変換を実行しないオブジェクトをカテゴリ毎に分類して記憶する。ルール記憶部１２ｅは、これ以外にも、色変換を実行するオブジェクトのカテゴリを記憶してもよい。すなわち、ルール記憶部１２ｅは、色変換する旨のルールと、色変換しない旨のルールをともに記憶してもよい。また、ルール記憶部１２ｅには、ユーザ情報が記載されていても良い。ユーザ情報の利用については後述する。

色変換制御部１２ｆは、画像オブジェクト抽出部１２ｂで抽出された画像オブジェクトに対し、画像解析を行ってルール記憶部１２ｅに記憶されている色変換しない旨のルールで規定されるカテゴリに含まれるか否かを判定して色変換の実行／不実行を決定する。画像解析の方法は任意であり、例えば、テンプレートマッチング、機械学習による解析、例えばディープラーニングにより学習されたニューラルネットワークによる解析等である。ディープラーニングにより学習されたニューラルネットワークによる解析は、ＡＩによる解析と言い得る。色変換制御部１２ｆは、抽出された画像オブジェクトがルール記憶部１２ｅに記憶されている色変換しない旨のカテゴリに含まれる場合に色変換処理を不実行とする。色変換制御部１２ｆは、抽出された画像オブジェクトが複数存在する場合には、画像オブジェクト毎に色変換処理の実行／不実行を判定する。従って、同一文書内であっても、ある画像オブジェクトは色変換が実行され、別の画像オブジェクトは色変換が不実行となり得る。色変換制御部１２ｆは、色変換処理を実行あるいは不実行とした文書データを画像形成装置１４に送信する。

色変換制御部１２ｆは、ルール記憶部１２ｅに記憶されたルールを参照して画像オブジェクト毎に色変換の実行／不実行を決定する際に、さらに文書データのユーザ属性を用いて色変換の実行／不実行を決定してもよい。文書データのユーザ属性とは、文書データのユーザについての属性であり、具体的には、文書データの印刷を希望するユーザが色覚障害者に該当するか否かの情報である。ユーザ属性の一例はユーザＩＤであり、ルール記憶部１２ｅにはユーザ情報としてユーザＩＤと色覚障害者情報が関連付けられて記憶されている。文書データのユーザ属性が色覚障害者である場合、色変換制御部１２ｆは、色変換しない旨のルールを参照して色変換の実行／不実行を決定する。文書データのユーザ属性が色覚障害者でない場合、色変換制御部１２ｆは、色覚障害者用の色変換はもとより不要であるため色変換しない旨のルールを参照することなく色変換の不実行を決定する。画像オブジェクト抽出部１２ｂにおいて、文書データのユーザ属性を用いて文書データのユーザが色覚障害者に該当するか否かを判定し、色覚障害者でない場合に画像オブジェクトの抽出処理を不実行としてもよい。

また、色変換制御部１２ｆは、抽出された画像オブジェクトを画像解析してルール記憶部１２ｅに記憶されたカテゴリに含まれるか否かを判定する際に、含まれる度合い、すなわち確信度を算出してもよい。確信度とは、抽出された画像オブジェクトの特徴点とカテゴリ内のオブジェクトの特徴点がどの程度一致しているか否かを示す比率である。確信度の算出方法は任意であるが、例えば、入力画像オブジェクトから抽出した特徴ベクトルと、カテゴリ内のオブジェクトの特徴ベクトルとの間の距離を計算し、画像オブジェクトに最も近いオブジェクトが属するカテゴリを選択して当該カテゴリに含まれると判定する場合において、認識結果の第１位オブジェクトと、第２位オブジェクトの距離値の逆数によって次式によるインデックス値ｒを算出する。
r =v1／(v1 + v2)
ここで、ｖ１、ｖ２は、それぞれ第１位オブジェクトと第２位オブジェクトの距離値の逆数である。そして、事前に収集した学習用のオブジェクトに対する評価によって、正しく認識されたオブジェクトと、正しく認識できなかったオブジェクトに対するｒ値のヒストグラムを求め、このヒストグラムを用いて確信度を算出する。

図３の各機能ブロックは、ＣＰＵ１２０が処理プログラムを実行することで実現し得るが、機能ブロックの一部をハードウェア処理により実現してもよい。ハードウェア処理は、例えばＡＳＩＣやＦＰＧＡ（フィールドプログラマブルゲートアレイ）などの回路を用いて行っても良い。色変換制御部１２ｆでの画像解析は、既述したようにＡＩ（ディープニューラルネットワーク）を用い得る。ディープニューラルネットワークは、入力層、中間層、及び出力層を備える。入力層は入力信号が入力される。中間層は複数層から構成され、入力信号を順次処理する。出力層は、中間層からの出力に基づいて出力信号を出力する。各層は、複数のニューロン（ユニット）を備え、活性化関数ｆで活性化ニューロンとされる。ディープニューラルネットワークの学習は、学習データを入力し、学習データに対応する目標値と出力値との差によってロスを算出する。算出されたロスをニューラルネットワークで逆伝播させてディープニューラルネットワークのパラメータ、すなわち重みベクトルを調整する。重みが調整されたディープニューラルネットワークに次の学習データを入力し、新しく出力された出力値と目標値との差により再びロスを算出する。再算出されたロスとニューラルネットワークで逆伝播させてディープニューラルネットワークの重みベクトルを再調整する。以上の処理を繰り返すことでディープニューラルネットワークの重みベクトルを最適化する。重みベクトルは、当初は適当な値に初期化され、その後、学習を繰り返すことで最適値に収束される。ディープニューラルネットワークは、ＧＰＵ（Graphics Processing Unit）及びメモリで構成され得る。

図４は、画像形成装置１４の構成ブロック図を示す。画像形成装置１４は、ＣＰＵ（Central Processing Unit）１４０、ＲＯＭ（Read Only Memory）１４１、ＲＡＭ（Random Access Memory）１４２、操作部１４３、表示部１４４、画像読取部１４５、画像形成部１４６、画像処理部１４７、通信部１４８、及び記憶部１４９を備える。これらの構成ブロックは、バスに接続されており、バスを介してデータの送受信を行う。

ＣＰＵ１４０は、ＯＳ（Operating System）やアプリケーション等の各種プログラムを実行する。また、ＲＯＭ１４１は、ＣＰＵ１４０により実行される制御プログラムを記憶する。ＲＡＭ１４２は、ＣＰＵ１４０の作業用メモリ等として用いられる。ＣＰＵ１４０は、ＲＯＭ１４１に記憶されている制御プログラムを読み出し、ＲＡＭ１４２を作業エリアとして制御プログラムを実行する。ＣＰＵ１４０により制御プログラムが実行されると、画像形成装置１４における各種機能が実現される。

操作部１４３は、画像形成装置１４のユーザ操作を受け付ける。操作部１４３は、例えば、ハードウェアキーにより構成され、接触された位置に応じた制御信号を出力するタッチパネル等により構成される。接触検知手段は任意であり、接触による圧力を検知する手段や、接触した物の静電気を検知する手段等が用いられ得る。

表示部１４４は、例えば液晶ディスプレイや有機ＥＬディスプレイにより構成され、画像形成装置１４に関するデータを表示する。表示部１４４は、ユーザが画像形成装置１４を操作する際にユーザが参照する画面を表示する。表示部１４４は操作部１４３と一体的に構成されてもよい。

画像読取部１４５は、ユーザによりＡＤＦ（Auto Document Feeder：オートドキュメントフィーダ）等にセットされた原稿に対して、原稿に形成されている画像を読み取り、読み取った画像を示す画像データを生成する。画像読取部１４５は、例えばスキャナであり、光源から原稿に照射した光に対する反射光をレンズで縮小してＣＣＤ（Charge Coupled Devices）で受光するＣＣＤ方式や、ＬＥＤ光源から原稿に順に照射した光に対する反射光をＣＩＳ（Contact Image Sensor）で受光するＣＩＳ方式が用いられ得る。画像形成装置１４からサーバ１２に文書データを送信する場合、画像読取部１４５で生成された画像データをサーバ１２に送信してもよい。

画像形成部１４６は、用紙等の記録媒体に画像を形成する印刷機構を備えている。画像形成部１４６は、例えばプリンタであり、感光体に付着させたトナーを記録媒体に転写して像を形成する電子写真方式や、インクを記録媒体上に吐出して像を形成するインクジェット方式、あるいはレーザ方式が用いられ得る。

画像処理部１４７は、画像データが表す画像に色補正や階調補正等の画像処理を施す。なお、画像処理部１４７における色補正や階調補正は、色変換制御部１２ｆで実行される色変換処理とは異なる。

通信部１４８は、通信ネットワーク１６に接続されており、端末１０及びサーバ１２と通信を行う。

記憶部１４９は、ＨＤＤなどの記憶領域を具備しており、通信部１４８で受信したデータや画像形成装置１４で生成されたデータ等を記憶する。記憶部１４９は、ＣＰＵ１４０で実行される制御プログラムを記憶してもよい。

既述したように、画像形成装置１４が色変換装置として機能してもよく、この場合、図３に示す機能ブロックは画像形成装置１４のＣＰＵ１４０で実行される。ＣＰＵ１４０は、端末１０から取得した文書データ、あるいは画像読取部１４５で取得した画像データに対して色変換処理の実行／不実行を決定する。

次に、色変換しない旨のルールについて、より詳細に説明する。

図５は、ルール記憶部１２ｅに記憶される、色変換しない旨のルールの一例を示す。色変換しない旨のルールでは、色変換しないオブジェクト群がカテゴリに分類されて記憶される。図５では、このようなカテゴリとして、「建物」、「人物」、「標識」が例示されている。

「建物」カテゴリには、オブジェクトとしてオブジェクトａ、オブジェクトｂ、オブジェクトｃ、オブジェクトｄが規定され、「人物」カテゴリにはオブジェクトとしてオブジェクトｅ、オブジェクトｆ、オブジェクトｇが規定され、「標識」カテゴリには画像オブジェクトとしてオブジェクトｈ、オブジェクトｉ、オブジェクトｊ、オブジェクトｋが規定される。オブジェクトａ～オブジェクトｋは、それぞれ具体的なオブジェクトであり、サーバ管理者は、色変換しないオブジェクト群を具体的にルール規定部１２ｄのＵＩ画面上で特定し、これらオブジェクト群に対してカテゴリ名を割り当ててルール記憶部１２ｅに記憶する。カテゴリ名は予め用意された複数のカテゴリ名メニューから選択するように構成されていてもよく、サーバ管理者が任意のカテゴリ目をキーボードから入力できるように構成されていてもよい。カテゴリは階層的に構成されていてもよく、例えば「建物」のカテゴリの下の階層に別の名称のカテゴリが構成されていてもよい。あるオブジェクトが複数のカテゴリに属していてもよい。

図６は、ルール記憶部１２ｅに記憶される、色変換しない旨のルールの他の例を示す。「みなとみらい事業所」カテゴリに、みなとみらい事業所を示す各種の画像オブジェクト群が分類されている。これらの画像オブジェクトは、みなとみらい事業所を種々の方向から撮影した写真画像オブジェクトである。なお、図では白黒画像であるが、実際にはカラー画像である。写真画像データ以外にも、例えば描画ツールで作画された画像オブジェクトであってもよい。

図７は、ルール記憶部１２ｅに記憶される、色変換しない旨のルールのさらに他の例を示す。「交通標識」カテゴリに、交通標識を示す各種の画像オブジェクトが分類されている。なお、図では白黒画像であるが、実際にはカラー画像である。例えば、通行止めの交通標識は赤と青と白から構成される。また、車両進入禁止の交通標識は赤と白から構成され、一方通行の交通標識は青と白から構成される。これらの画像オブジェクトも、写真画像データであってもよく、あるいは描画ツールで作画された画像オブジェクトであってもよい。

色変換しない旨のルールに該当するオブジェクト及びカテゴリには、これ以外にも人物、動植物、ロゴ、ラベル等もあり得る。ロゴについては、特定の企業のコーポレートカラーを含むロゴを対象としてもよい。また、ラベルについては、商品、特に食品に添付されているラベルを対象としてもよい。

図８は、ルール規定部１２ｄでルールを規定する方法の一例を示す。サーバ管理者は、サーバ１２の表示装置あるいは端末１０の表示装置のＵＩ画面上にルールを規定する際の基準文書データである文書データ２００を表示させ、キーボードやマウス等を用いて文書データ２００内から色変換しないオブジェクトを選択して指定する。キーボードやマウス等の入力装置及び表示装置が指定部として機能し得る。選択は、図８に示すように色変換しないオブジェクトを矩形等の閉領域２０２，２０４，２０６，２０８で囲むことによって実行され得る。サーバ管理者は、これらのオブジェクトを指定した後、これらのオブジェクトにカテゴリ名を付加して分類し、ルール記憶部１２ｅに記憶する。例えば、オブジェクト２０２、２０４，２０６，２０８に対して同一の「建物」というカテゴリ名を付加して分類する。あるいは、オブジェクト２０２に対して「みなとみらい事業所」というカテゴリ名を付加して分類し、オブジェクト２０４に対して「海老名事業所」というカテゴリ名を付加して分類し、オブジェクト２０６に対して「竹松事業所」というカテゴリ名を付加して分類し、オブジェクト２０８に対して「中井事業所」というカテゴリ名を付加して分類する等である。オブジェクト２０２，２０４，２０６，２０８とそれぞれのカテゴリ名は、互いに関連付けられてルール記憶部１２ｅに記憶される（図５参照）。

サーバ１２のＲＯＭ１２１には処理プログラムとしてルール規定用のプログラムが記憶されていてもよく、サーバ管理者は、ルール規定用のプログラムを起動することでＵＩ画面上に文書データ２００を表示させ、色変換しないオブジェクト群及びそのカテゴリを指定してもよい。

図９は、実施形態の処理フローチャートを示す。サーバ１２で実行される処理である。なお、画像形成装置１４が色変換装置として機能する場合は、画像形成装置１４で実行される処理である。なお、ルール記憶部１２ｅには、サーバ管理者により色変換しない旨のルールが既に記憶されているものとする。

文書データ取得部１２ａが文書データを取得すると、画像オブジェクト抽出部１２ｂは、文書データから画像オブジェクトを抽出する（Ｓ１０１）。

次に、色変換制御部１２ｆは、抽出された画像オブジェクトを画像解析し（Ｓ１０２）、画像解析結果がルールに沿うか否か、つまり画像オブジェクトがルールで規定されたカテゴリに含まれるか否かを判定する（Ｓ１０３）。色変換制御部１２ｆは、例えば抽出された画像オブジェクトをディープニューラルネットワークを用いて解析し、ルールのカテゴリに含まれる確信度を算出する。

抽出された画像オブジェクトがルール記憶部１２ｅに記憶されたカテゴリに含まれない場合（確信度＝０）、Ｓ１０３でＮＯと判定され、当該画像オブジェクトについては色変換を実行する（Ｓ１０５）。ここで、色覚に応じた色変換は、色覚障害の型に応じて複数の変換パターンテーブルを用意しておき、これらの変換パターンテーブルを適宜選択して実行してもよい。すなわち、色の識別は人の目の錐体で行われており、錐体には、長波長の光に反応するＬ細胞、中波長の光に反応するＭ細胞、短波長の光に反応するＳ細胞の３種類が存在する。色の識別は、これら３種類の錐体の反応の差を脳が計算して行われるとされている。Ｌ錐体のない場合の変換パターンテーブル、Ｍ錐体のない場合の変換パターンテーブル、Ｓ錐体のない場合の変換パターンテーブル等を予め用意しておき、これらの変換パターンテーブルを適宜切り替えて色変換を実行する。これらの変換パターンテーブルは、色変換制御部１２ｆのメモリに記憶しておく。

他方、抽出された画像オブジェクトがルール記憶部１２ｅに記憶されたカテゴリに含まれる場合（確信度≠０）、Ｓ１０３で一応ＹＥＳと判定するが、次に、その確信度が閾値以上であるか否かを判定する（Ｓ１０４）。確信度が閾値未満であれば（Ｓ１０４でＮＯ）、カテゴリに含まれない場合と同様に当該画像オブジェクトについては色変換を実行する。確信度が閾値以上であれば、Ｓ１０５の処理をスキップして色変換処理を不実行とする（Ｓ１０４でＹＥＳ）。

なお、Ｓ１０３の判定処理を実行せずにＳ１０４の処理を実行し、画像解析して得られた確信度が閾値未満の場合にカテゴリに含まれないとしてＳ１０５の処理を実行し、確信度が閾値以上の場合にカテゴリに含まれるものとしてＳ１０５の処理をスキップして色変換処理を不実行としてもよい。

確信度は、通常、０～１の間の数値として算出され、閾値は、この間の任意の数値、例えば０．７等と設定され得るがこれに限定されない。確信度は、抽出された画像オブジェクトがカテゴリに含まれる度合いを示すので、ルールに規定されるカテゴリが複数あれば複数のカテゴリ毎に確信度が算出され得る。「建物」カテゴリに対して確信度＝０．８、「人物」カテゴリに対して確信度＝０．１等である。Ｓ１０４における確信度は、カテゴリ毎の確信度の中で最も高い確信度とし得る。

図１０及び図１１は、画像オブジェクトの具体的な処理例を示す。図１０に示すような文書データ３００が取得されたものとすると、画像オブジェクト抽出部１２ｂは、画像オブジェクトとして、文書データ３００から画像オブジェクト３０２，３０４，３０６を抽出する。色変換制御部１２ｆは、これらの画像オブジェクト３０２，３０４，３０６に対して画像解析してルール記憶部１２ｅに記憶されたカテゴリに含まれる確信度を算出する。

図１１は、色変換制御部１２ｆにおける処理を模式的に示す。画像オブジェクト３０２を画像解析し、「みなとみらい事業所」のカテゴリに対して確信度＝０．９と算出されたものとする。閾値を０．７とすると、閾値以上であるため、画像オブジェクト３０２はルール記憶部１２ｅに記憶されたカテゴリに含まれる、つまりルールに沿うものとしてＳ１０５の処理をスキップし、色変換処理を不実行（色変換不実施）とする。

また、画像オブジェクト３０４を画像解析し、「建物」のカテゴリに対して確信度＝０．８と算出されたものとする。閾値を０．７とすると、閾値以上であるため、画像オブジェクト３０４もルール記憶部１２ｅに記憶されたカテゴリに含まれる、つまりルールに沿うものとしてＳ１０５の処理をスキップし、色変換処理を不実行（色変換不実施）とする。

他方、画像オブジェクト３０６を画像解析し、「建物」のカテゴリに対して確信度＝０．１と算出されたものとする。閾値を０．７とすると、閾値未満であるため、画像オブジェクト３０６はルール記憶部１２ｅに記憶されたカテゴリに含まれず、ルールに沿わないとしてＳ１０５の処理を実行し、色変換処理を実行（色変換実施）する。

このように、本実施形態では、色変換しない旨のルールとして、オブジェクト群をカテゴリに分類し、抽出された画像オブジェクトが当該カテゴリに含まれるか否かにより色変換の実行／不実行を決定しているので、色変換すべきでないカテゴリとしてルールで規定しておくことで、写真画像データに限らず任意の画像データに対して柔軟に対応し得る。ルール記憶部１２ｅに記憶されるルール、すなわち色変換すべきでないオブジェクト群及びカテゴリは、任意のタイミングで更新し得る。あるオブジェクトを新たにルールに追加する場合でも、既に存在するカテゴリに属するオブジェクト群の一つとして新規追加することで対応し得る。オブジェクト群をカテゴリに分類することで、オブジェクトの追加、削除、あるいは変更が容易化され、カテゴリに属する個々のオブジェクトに相違があっても、これらを統一的に扱って色変換処理の実行／不実行を決定し得る。

＜実施形態２＞
図９の処理フローチャートでは、算出された確信度が閾値未満の場合には当該画像オブジェクトの色変換を実行しているが、算出された確信度が閾値未満の場合においても、色変換制御部１２ｆは、補助的に他の情報と組み合わせて色変換の実行／不実行を決定してもよい。

図１２は、本実施形態の処理フローチャートを示す。Ｓ２０１～Ｓ２０４、Ｓ２０６は、図９におけるＳ１０１～Ｓ１０４、Ｓ１０５とそれぞれ同一であるが、Ｓ２０４で確信度が閾値未満と判定された場合に（Ｓ２０４でＮＯ）、さらに当該画像オブジェクトの周辺に当該画像オブジェクトが属するカテゴリ名に一致する文字列があるか否かを判定する処理が付加される（Ｓ２０５）。

具体的には、画像オブジェクト抽出部１２ｂで画像オブジェクトを抽出する際に、その画像オブジェクトの周辺、つまり予め定めた距離内に存在する文字列を抽出し、抽出した文字列の中に、画像オブジェクトの確信度を算出した対象であるカテゴリ名に一致する文字列があるか否かを判定する。カテゴリ名に一致する文字列があれば、たとえＳ２０４で確信度が閾値未満であっても当該画像オブジェクトはそのカテゴリに含まれるものとしてＳ２０６の処理をスキップして色変換処理を不実行とする。

図１３及び図１４は、画像オブジェクトの具体的な処理例を示す。図１３に示すような文書データ３００が取得されたものとすると、画像オブジェクト抽出部１２ｂは、画像オブジェクトとして、文書データ３００から画像オブジェクト３０２を抽出するとともに、その周辺の文字列を抽出する。抽出した文字列の中に、「みなとみらい事業所」なる文字列３０３が含まれているとする。色変換制御部１２ｆは、画像オブジェクト３０２に対して画像解析してルール記憶部１２ｅに記憶されたカテゴリに含まれる確信度を算出し、算出された確信度が閾値未満の場合に文字列３０３を参照する。

図１４は、色変換制御部１２ｆにおける処理を模式的に示す。画像オブジェクト３０２を画像解析し、「みなとみらい事業所」のカテゴリに対して確信度＝０．２と算出されたものとする。閾値を０．７とすると、閾値未満であるため、次に、画像オブジェクト３０２の周辺文字列に着目し、周辺文字列に「みなとみらい事業所」のカテゴリ名と同一の文字列が含まれているか否かを判定する。周辺文字列には、文字列３０３が含まれているので、色変換制御部１２ｆは、確信度が閾値未満であるにもかかわらず画像オブジェクト３０２はルール記憶部１２ｅに記憶されたカテゴリに含まれる、つまりルールに沿うものとしてＳ２０６の処理をスキップし、色変換処理を不実行（色変換不実施）とする。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、その技術的思想の範囲内において種々の変形が可能である。以下、変形例について説明する。

＜変形例１＞
実施形態において、ルール規定部１２ｄでルールを規定してルール記憶部１２ｅに記憶させる際に、オブジェクトはカテゴリに分類されて記憶されるが、タグ付け（属性付け）によって画像オブジェクトをカテゴリに分類してもよい。例えば、建物を示す画像オブジェクトに対して「建物」のタグを付加してルール記憶部１２ｅに記憶する、駐車禁止を示す画像オブジェクトに対して「交通標識」のタグを付加してルール記憶部１２ｅに記憶する、あるいは、○○会社の建物を示す画像オブジェクトに対して「○○会社」のタグを付加してルール記憶部１２ｅに記憶する等である。

＜変形例２＞
実施形態において、算出された確信度を閾値と比較しているが、この閾値は固定値とする他にユーザ毎の可変値としてもよく、例えば、ユーザの色覚障害の型及び程度に応じて適応的に可変としてもよい。

＜変形例３＞
実施形態において、図９のＳ１０５あるいは図１２のＳ２０６では、色変換しない旨のルールに沿わない画像オブジェクトについては色変換を実行しているが、ルールに沿わない画像オブジェクトについてもあえて色変換を実行しなくてもよい。言い換えれば、Ｓ１０５あるいはＳ２０６では、色変換しない旨のルールに沿わない画像オブジェクトについては色変換処理の対象とし、実際に色変換を実行するか否かについては別途決定してもよい。この意味で、色変換しない旨のルールに沿う場合には当該画像オブジェクトについては色変換処理の対象から除外し、色変換しない旨のルールに沿わない場合には当該画像オブジェクトについては色変換処理の対象とする（色変換処理の対象ではあるが、実際に色変換処理を実行するか否かは問わない）ものといえる。

＜変形例４＞
実施形態において、図１２のＳ２０５では画像オブジェクトの周辺の文字列を抽出し、周辺の文字列にカテゴリ名に一致する文字列が存在するか否かを判定しているが、この際に、画像オブジェクト抽出部１２ｂが文書データに対してレイアウト解析を実行し、例えば、背景に対するコントラストで情報（文字と画像）の塊（ブロック）を抽出し、あるいは色調の連続性等から画像領域を抽出する等によって、画像オブジェクトの周辺に存在する文字列を抽出してもよい。また、文書データが、ＨＴＭＬやＸＭＬ形式等の構造化文書データである場合、テキスト・フィールドや文書属性を識別するタグが含まれているので、これらのタグを利用して画像オブジェクトの周辺文字列を抽出してもよい。

また、実施形態では、画像オブジェクトの周辺に存在する文字列がカテゴリ名に一致するか否かを判定しているが、文字列がカテゴリ名に完全一致する場合の他、文字列がカテゴリ名と関連するか否かを判定し、関連する場合に色変換処理を不実行としてもよい。ここで、文字列がカテゴリ名と関連するか否かは、文字の一致の度合いから算出され得る。例えば、画像オブジェクトの周辺に「みなとみらい施設」の文字列が存在する場合、これは「みなとみらい事業所」のカテゴリ名と関連性を有する。

＜変形例５＞
実施形態において、サーバ１２あるいは画像形成装置１４のいずれかが色変換装置として機能するが、サーバ１２において画像オブジェクトの確信度を算出して当該確信度を画像形成装置１４に送信し、画像形成装置１４において受信した確信度に基づき色変換処理の実行／不実行を決定してもよい。この場合、サーバ１２と画像形成装置１４の組み合わせにより色変換装置として機能し得る。

１０ 端末、１２ サーバ、１４ 画像形成装置、１６ 通信ネットワーク、１２０ ＣＰＵ，１２１ ＲＯＭ、１２２ ＲＡＭ、１２３ 入出力インターフェイス（Ｉ／Ｆ）、１２４ 通信インターフェイス（Ｉ／Ｆ）、１２５ 記憶部。

Claims (8)

1. 複数のカテゴリに分類されたオブジェクト群に対し、色変換を実行しない旨を規定するルールを記憶する記憶部と、
   文書データから画像オブジェクトを抽出する抽出部と、
   抽出された前記画像オブジェクトを画像解析し、前記画像オブジェクトが前記カテゴリに含まれる場合に前記ルールを用いて前記画像オブジェクトの色変換を実行しない色変換制御部と、
   を備え、
   前記色変換制御部は、前記画像オブジェクトが前記カテゴリに含まれる確信度を算出し、前記確信度が閾値未満の場合に前記画像オブジェクトを色変換の対象とし、
   前記色変換制御部は、前記確信度が閾値未満の場合でも、前記画像オブジェクトの周辺に存在する文字列が前記カテゴリに関連するときには前記画像オブジェクトの色変換を実行せず、
   前記抽出部は、前記画像オブジェクトの周辺に存在する文字列を、前記文書データが構造化文書データである場合のタグにより抽出する
   色変換装置。
2. 前記色変換制御部は、前記画像オブジェクトが前記カテゴリに含まれない場合に前記画像オブジェクトを色変換の対象とする
   請求項１に記載の色変換装置。
3. 前記色変換制御部は、前記画像オブジェクトが前記カテゴリに含まれる確信度を算出し、前記確信度が閾値以上の場合に前記画像オブジェクトの色変換を実行しない
   請求項１に記載の色変換装置。
4. 前記複数のカテゴリに分類されたオブジェクト群を指定する指定部
   を備える請求項１に記載の色変換装置。
5. 前記指定部は、色変換しないオブジェクトを指定するとともに、前記色変換しないオブジェクトが属するカテゴリを指定する
   請求項４に記載の色変換装置。
6. 前記指定部は、前記色変換しないオブジェクトを画面上で閉領域により指定する
   請求項４に記載の色変換装置。
7. 前記色変換は、色覚に応じた色変換である
   請求項１～６のいずれかに記載の色変換装置。
8. コンピュータを、
   複数のカテゴリに分類されたオブジェクト群に対し、色変換を実行しない旨を規定するルールを記憶部に記憶する手段と、
   文書データから画像オブジェクトを抽出する抽出手段と、
   抽出された前記画像オブジェクトを画像解析し、前記画像オブジェクトが前記カテゴリに含まれる場合に前記記憶部に記憶されたルールを用いて前記画像オブジェクトの色変換を実行しない色変換制御手段と、
   として機能させ、
   前記色変換制御手段は、前記画像オブジェクトが前記カテゴリに含まれる確信度を算出し、前記確信度が閾値未満の場合に前記画像オブジェクトを色変換の対象とし、
   前記色変換制御手段は、前記確信度が閾値未満の場合でも、前記画像オブジェクトの周辺に存在する文字列が前記カテゴリに関連するときには前記画像オブジェクトの色変換を実行せず、
   前記抽出手段は、前記画像オブジェクトの周辺に存在する文字列を、前記文書データが構造化文書データである場合のタグにより抽出する
   プログラム。

Images