JP7206732B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7206732B2
JP7206732B2 JP2018175394A JP2018175394A JP7206732B2 JP 7206732 B2 JP7206732 B2 JP 7206732B2 JP 2018175394 A JP2018175394 A JP 2018175394A JP 2018175394 A JP2018175394 A JP 2018175394A JP 7206732 B2 JP7206732 B2 JP 7206732B2
Authority
JP
Japan
Prior art keywords
color
character
data
background image
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018175394A
Other languages
English (en)
Other versions
JP2020046994A (ja
Inventor
倩如 邱
康成 岸本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2018175394A priority Critical patent/JP7206732B2/ja
Publication of JP2020046994A publication Critical patent/JP2020046994A/ja
Application granted granted Critical
Publication of JP7206732B2 publication Critical patent/JP7206732B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
背景画像データ上に文字データが重畳される場合がある。
特許文献1には、画像における文字の箇所を特定し、文字の色と背景の色との比較に基づいて文字の輪郭の色を決定し、文字周辺の色が、輪郭の色から背景の色に段階的に変化するように画像を風性する方法が記載されている。
特許文献2には、既に作成された販促物から他の販促物を生成する装置が記載されている。
特許文献3には、背景色の明度、彩度及び色相角を求め、背景色の色相角を変化させた配色の組み合わせを算出し、配色の組み合わせと文字色の情報とに基づいて文字の可読性を評価し、背景色の明度を調整する装置が記載されている。
特開2018-19167号公報 特開2016-21108号公報 特開2018-22347号公報
ところで、背景画像データ上に文字データが重畳されている場合、その重畳が、背景画像データと文字データとの間の色関係に影響を与えることがある。
本発明の目的は、背景画像データと当該背景画像データ上に重畳された文字データとを含む文字画像データにおいて、当該文字画像データをそのまま出力する場合と比較して、背景画像データと文字データとの間の色関係に対する重畳の影響が軽減された文字画像データを出力することができるようにすることにある。
請求項1に記載の発明は、背景画像データと前記背景画像データ上に重畳された文字データとを含む文字画像データを受け付け、前記文字データが重畳する領域における前記背景画像データの代表色情報を抽出する抽出手段と、文字データの色情報と前記代表色情報との間の色関係が特定の色関係に該当する場合、前記色関係が前記特定の色関係に該当しないように前記文字データを変更する変更手段と、前記変更後の文字データと前記背景画像データとを含む文書画像データを出力する出力手段と、を有し、前記変更手段は、変更後の前記文字データを含む前記文字画像データが有する印象が、変更前の前記文字データを含む前記文字画像データが有する印象と異なる場合、前記文字データの変更として、前記色情報を変更せずに前記文字データの表示態様を変更する、情報処理装置である。
請求項2に記載の発明は、前記色関係は、前記背景画像データに対する前記文字データの視認性に関する関係である、ことを特徴とする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記背景画像データに対する前記文字データの視認性は、前記色情報及び前記代表色情報のそれぞれに含まれる複数種類の色パラメータを用いた数値によって定められ、前記変更手段は、前記数値が閾値未満となる場合、前記色関係が前記特定の色関係に該当するとして、前記文字データを変更する、ことを特徴とする請求項2に記載の情報処理装置である。
請求項4に記載の発明は、前記変更手段は、前記文字データの変更として前記色情報を変更する、ことを特徴とする請求項1に記載の情報処理装置である。
請求項5に記載の発明は、前記色関係は、前記背景画像データに対する前記文字データの視認性に関する関係であり、前記変更手段は、前記文字データの変更として、前記視認性が向上するように前記色情報を変更する、ことを特徴とする請求項4に記載の情報処理装置である。
請求項6に記載の発明は、前記色情報は、前記文字データの明度を示す明度情報を含み、前記代表色情報は、前記背景画像データの明度を示す明度情報を含み、前記変更手段は、前記文字データの変更として前記文字データの明度を変更する、ことを特徴とする請求項5に記載の情報処理装置である。
請求項7に記載の発明は、前記変更手段は、前記文字データの明度と前記背景画像データの明度との差が明度差閾値以上となるように前記文字データの明度を変更する、ことを特徴とする請求項6に記載の情報処理装置である。
請求項8に記載の発明は、前記変更手段は、前記差が前記明度差閾値以上となる前記文字データの色情報が存在しない場合、前記文字データの変更として前記文字データの表示態様を変更する、ことを特徴とする請求項7に記載の情報処理装置である。
請求項9に記載の発明は、前記色情報は、前記文字データの彩度を示す彩度情報と前記文字データの色相を示す色相情報とを含み、前記代表色情報は、前記背景画像データの彩度を示す彩度情報と前記背景画像データの色相を示す色相情報とを含み、前記変更手段は、前記文字データの変更として、前記文字データの彩度及び色相の中の少なくとも1つを変更する、ことを特徴とする請求項5に記載の情報処理装置である。
請求項1に記載の発明は、前記色関係は、前記背景画像データに対する前記文字データの視認性に関する関係であり、前記背景画像データに対する前記文字データの視認性は、前記色情報及び前記代表色情報のそれぞれに含まれる、明度、彩度及び色相のそれぞれに関する色パラメータによって定められ、前記変更手段は、更に、前記文字データと前記背景画像データとの間における明度、彩度及び色相のそれぞれの差分によって定義された評価モデルを用いて、前記色関係が前記特定の色関係に該当するか否かを判断する、ことを特徴とする請求項1に記載の情報処理装置である。
請求項1に記載の発明は、コンピュータを、背景画像データと前記背景画像データ上に重畳された文字データとを含む文字画像データを受け付け、前記文字データが重畳する領域における前記背景画像データの代表色情報を抽出する抽出手段、文字データの色情報と前記代表色情報との間の色関係が特定の色関係に該当する場合、前記色関係が前記特定の色関係に該当しないように前記文字データを変更する変更手段、前記変更後の文字データと前記背景画像データとを含む文書画像データを出力する出力手段、として機能させ、前記変更手段は、変更後の前記文字データを含む前記文字画像データが有する印象が、変更前の前記文字データを含む前記文字画像データが有する印象と異なる場合、前記文字データの変更として、前記色情報を変更せずに前記文字データの表示態様を変更する、プログラムである。
請求項1,4,1,1に記載の発明によれば、背景画像データと当該背景画像データ上に重畳された文字データとを含む文字画像データにおいて、当該文字画像データをそのまま出力する場合と比較して、背景画像データと文字データとの間の色関係に対する重畳の影響が軽減された文字画像データを出力することができる。
請求項2,3に記載の発明によれば、文字データの視認性の影響が軽減された文字画像データを出力することができる。
請求項5,6,7,9に記載の発明によれば、文字データの視認性が向上した文字画像データを出力することができる。
請求項8に記載の発明によれば、文字データの明度によらずに文字データの視認性を変更することができる。
請求項1,11に記載の発明によれば、文字画像データが有する印象を維持しつつ、色関係に対する重畳の影響が軽減された文字画像データを出力することができる。
本実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。 本実施形態に係る情報処理装置が有する機能を示すブロック図である。 視認性DBを示す図である。 感性DBを示す図である。 文字画像を示す図である。 視認性評価処理に関するフローチャートを示す図である。 文字の変更処理に関するフローチャートを示す図である。 装飾が施された文字画像を示す図である。 実施例1に係る文字画像を示す図である。 実施例1に係る各色の情報を示す図である。 実施例1に係る各色の明度、彩度及び色相角を示す図である。 明度が変更された文字の色情報を示す図である。 文字の明度が変更された文字画像を示す図である。 実施例2に係る文字画像を示す図である。 実施例2に係る各色の情報を示す図である。 実施例2に係る各色の明度、彩度及び色相角を示す図である。 明度が変更された文字の色情報を示す図である。 文字の明度が変更された文字画像を示す図である。 実施例3に係る文字画像を示す図である。 実施例3に係る各色の情報を示す図である。 実施例3に係る各色の明度、彩度及び色相角を示す図である。 明度が変更された文字の色情報を示す図である。 文字の明度が変更された文字画像を示す図である。 変更後の文字画像が有するテイストを示す図である。 文字に装飾が施された文字画像を示す図である。 実施例4に係る元の文字画像を示す図である。 実施例4に係る生成された文字画像を示す図である。 実施例4に係る各色の情報を示す図である。 実施例4に係る各色の明度、彩度及び色相角を示す図である。 明度が変更された文字の色情報を示す図である。 文字の明度が変更された文字画像を示す図である。 実施例5に係る元の文字画像を示す図である。 実施例5に係る生成された文字画像を示す図である。 実施例5に係る各色の情報を示す図である。 実施例5に係る各色の明度、彩度及び色相角を示す図である。 文字に装飾が施された文字画像を示す図である。 実施例6に係る元の文字画像を示す図である。 実施例6に係る生成された文字画像を示す図である。 実施例6に係る各色の情報を示す図である。 実施例6に係る各色の明度、彩度及び色相角を示す図である。 明度が変更された文字の色情報を示す図である。 文字の明度が変更された文字画像を示す図である。 変更後の文字画像が有するテイストを示す図である。 指定されたテイストに紐付けられた色情報を示す情報である。 文字の色が変更された文字画像を示す図である。
図1を参照して、本発明の実施形態に係る情報処理装置のハードウェア構成について説明する。図1は、本実施形態に係る情報処理装置のハードウェア構成の一例を示す。
情報処理装置10は、例えば、PC(パーソナルコンピュータ)、タブレットPC、スマートフォン、携帯電話等である。もちろん、これら以外の機器であってもよい。
通信部12は通信インターフェースであり、情報を他の装置に送信する機能、及び、他の装置から送信されてきた情報を受信する機能を有する。通信部12は、無線通信機能を有していてもよいし、有線通信機能を有していてもよい。
UI部14はユーザインターフェースであり、表示部と操作部とを含む。表示部は、液晶ディスプレイやELディスプレイ等の表示装置である。操作部は、キーボード等の入力装置である。また、表示部と操作部とを兼ね備えたユーザインターフェース(例えばタッチパネル等)が、UI部14として用いられてもよい。また、UI部14は、音を発生させるスピーカ等の音声発生部や、音声の入力を受けるマイク等の音声入力部等を含んでもよい。
記憶部16は、各種の情報(データやプログラム等)を格納する1又は複数の格納領域である。各格納領域は、情報処理装置10に設けられている1又は複数の記憶装置(例えばハードディスクドライブやメモリ等の物理ドライブ)として定義されてもよいし、1又は複数の記憶装置に設定された論理パーティション又は論理ドライブとして定義されてもよい。
プロセッサ18は、1又は複数のCPU等のプロセッサによって構成されており、情報処理装置10の各部の動作を制御するように構成されている。
以下、図2を参照して、情報処理装置10が有する機能について詳しく説明する。図2は、情報処理装置10が有する機能の一例を示す。
受付部20は、各種の情報を受け付けるように構成されている。例えば、受付部20は、画像データ、文字データ(テキストの形式を有するデータ)、文字画像データ、配色設定情報、フォント設定情報等を受け付ける。文字画像データは、背景画像データ(画像の形式を有するデータ)と当該背景画像データ上に重畳された文字データ(テキストの形式を有するデータ)とを含むデータである。受付部20は、通信部12によって実現されて、外部装置から送られてきた情報を受け付けてもよいし、UI部14によって実現されて、ユーザによって入力や指定された情報を受け付けてもよい。例えば、ユーザがUI部14を操作して文字画像データが処理の対象として指定されると、受付部20は、当該文字画像データを受け付ける。また、外部装置から情報処理装置10に文字画像データが送られてきて通信部12によって受信された場合、受付部20は、当該文字画像データを受け付ける。
画像データ、文字データ及び文字画像データは、特定の用途に用いられるデータであってもよい。この場合、当該データは、当該用途に応じたサイズや形状等を有するデータに予め加工されていることがある。例えば、当該データが、特定の用途として特定のメディアに用いられる場合がある。メディアは、例えば、ポスター、はがき、チラシ、販促物等である。この場合、当該データは、特定のメディアに応じたサイズや形状等を有するデータに加工されていることがある。当該データには、特定の用途(例えば特定のメディア)を示す情報が予め紐付けられている。もちろん、特定の用途に用いられないデータが受付部20によって受け付けられてもよい。また、画像データ、文字データ及び背景画像データ等が記憶部16に予め記憶されていてもよい。
メディア選択部22は、画像データや文字データや文字画像データ等に対する新たなメディア(用途)を選択するように構成されている。その選択は、例えば、UI部14を介してユーザによって行われる。例えば、ポスター用の文字画像データに対する新たなメディアとして「はがき」が選択される。
レイアウト変更部24は、メディア選択部22によって選択された新たなメディアに応じて、変更対象のデータ(例えば画像データ、文字データ、文字画像データ等)のレイアウトを変更するように構成されている。例えば、レイアウト変更部24は、変更対象のデータが有するコンテンツ(画像や文字等)や配色設定やフォント設定を変更せずにレイアウトを変更する。例えば、レイアウト変更部24は、ポスター用の文字画像データのコンテンツや配色設定やフォント設定を変更せずに、文字画像データのレイアウトをポスター用のレイアウトからはがき用のレイアウトに変更する。レイアウト変更部24は、トリミング等の処理を行ってもよい。
視認性評価部26は、文字画像データを受け付けて、当該文字画像データに含まれる文字の視認性を評価するように構成されている。具体的には、視認性評価部26は、文字データが重畳する領域における背景画像データの代表色情報を抽出し、文字データの色情報と代表色情報との間の色関係を特定し、当該色関係が特定の色関係に該当するか否かを判断する。色情報及び代表色情報のそれぞれは、複数種類の色パラメータを用いた数値を含む。色パラメータは、例えば、明度、彩度、色相等である。色関係は、背景画像データに対する文字データの視認性に関する関係である。その視認性は、色情報及び代表色情報のそれぞれに含まれる複数種類の色パラメータを用いた数値によって定められる。特定の色関係は、例えば、背景画像データに対する文字データの視認性が悪いという関係である。例えば、視認性を表す評価値が閾値未満となる場合、色関係が特定の色関係に該当すると判断される。つまり、背景画像データに対する文字データの視認性が悪いと判断される。
本実施形態では、視認性評価部26は、文字データと背景画像データとの間における明度、彩度及び色相のそれぞれの差分によって定義される評価モデル(視認性モデル)を用いて、色関係が特定の色関係に該当するか否かを判断する。評価モデルは、視認性評価部26によって作成されてもよいし、別の装置等によって作成されてもよい。
変更部28は、文字データの色情報と代表色情報との間の色関係が特定の色関係に該当する場合、当該色関係が当該特定の色関係に該当しないように当該文字データを変更するように構成されている。例えば、変更部28は、当該背景画像データに対する当該文字データの視認性が向上するように、当該文字データの色情報を変更する。具体的には、変更部28は、文字データの明度を変更する。こうすることで、背景画像データと文字データとの間の明度差が変更される。例えば、変更部28は、文字データの明度と背景画像データとの明度との差が明度差閾値以上となるように文字データの明度を変更する。明度差閾値は、視認性を表す評価値が閾値以上となるように定められる。視認性の評価値や明度差閾値等については後で詳しく説明する。また、変更部28は、文字データの彩度及び色相の中の少なくとも1つを変更してもよい。
感性維持判定部30は、変更部28による変更処理が適用された文字画像データが有するテイスト(印象)が、当該変更処理が適用される前の文字画像データが有するテイスト(印象)に一致しているか否かを判定するように構成されている。
ここで、テイストについて説明する。テイストは、例えば対象物(例えば文字画像データ)が有する配色を、印象を表現する用語で定義付けした概念である。例えば、テイストは、人が対象物に対して有する印象を類型化した嗜好モデルに基づいて予め定められる。嗜好モデルにおいては、色相や色調等によって印象が複数種類に分類されており、対象物の色相や色調によって対象物のテイストが定められる。例えば、文字画像データにおいて支配的な色相や色調が特定され、その支配的な色相や色調によって文字画像データのテイストが決定される。文字画像データのテイストは、例えば、背景画像データや文字データのレイアウトや大きさ、文字データのフォントのサイズ、そのフォントの種類、等によって決定されてもよい。
表示態様変更部32は、文字データの変更として、文字データの表示態様を変更するように構成されている。例えば、変更部28によって、文字データの色情報と代表色情報との間の色関係が特定の色関係に該当しないように当該文字データを変更することができない場合に、表示態様変更部32は、当該文字データの表示態様を変更する。その一例として、文字データの明度と背景画像データの明度との差が明度差閾値以上となる文字データの色情報が存在しない場合に、表示態様変更部32は、文字データの表示態様を変更する。例えば、表示態様変更部32は、表示態様の変更として、文字データの文字装飾を変更する。
また、変更部28による変更処理が適用された文字画像データが有するテイストが、当該変更処理が適用される前の文字画像データが有するテイストと異なる場合、表示態様変更部32は、文字データの色情報を変更せずに、当該文字データの表示態様を変更してもよい。
出力部33は、文字画像データを出力するように構成されている。例えば、出力部33は、変更部28による変更処理が適用された文字画像データを出力してもよいし、表示態様変更部32による変更処理が適用された文字画像データを出力してもよい。出力部33は、例えばUI部14の表示部によって実現され、文字画像データを当該表示部に表示させる。出力部33は、通信部12によって、他の装置等に文字画像データを送信してもよい。
視認性DB(データベース)34は、背景画像データと文字データの視認性に関する評価結果を示す情報(視認性データ)を格納するデータベースである。その視認性に対する評価が予め行われ、その評価結果を示す情報が予め視認性DB34に格納される。視認性DB34は、例えば記憶部16によって実現される。
感性DB(データベース)36は、テイストと配色との間の関係性の強さについての感性評価実験によって得られた分析結果を示す情報を格納するデータベースである。感性評価実験が予め行われ、その分析結果を示す情報が予め感性DB36に格納される。感性DB36は、例えば記憶部16によって実現される。
図2に示されている各機能は、一例としてハードウェアとソフトウェアとの協働によって実現される。具体的には、プロセッサ18が、記憶部16に記憶されているプログラムを読み出して実行することで、情報処理装置10の各部の機能が実現される。当該プログラムは、CD又はDVD等の記録媒体を経由して、又は、ネットワーク等の通信経路を経由して、記憶部16に記憶される。別の例として、情報処理装置10の各部の機能は、例えば、プロセッサ、電子回路又はASIC(Application Specific Integrated Circuit)等のハードウェア資源によって実現されてもよい。その実現においてメモリ等のデバイスが利用されてもよい。更に別の例として、情報処理装置10の各部の機能は、DSP(Digital Signal Processor)又はFPGA(Field Programmable Gate Array)等によって実現されてもよい。
以下、図3を参照して視認性DB34について詳しく説明する。図3は、視認性DB34の構成を示す。視認性DB34においては、一例として、色相IDと、文字の色調を示す情報と、文字の色相を示す情報と、背景画像の色調を示す情報と、背景画像の色相を示す情報と、見やすさを示す情報(視認性を示す情報)とが互いに対応付けられている。背景画像の色と文字の色として、一例として、PCCS(Practical Color Co-ordinate System)に規定されている色名(有彩色と無彩色)が用いられている。PCCSの色は、PCCSの色DBからRGBデータを参照することで定められている。なお、色名としてPCCSに規定されている色名が用いられているが、これは一例に過ぎず、他の定義が用いられてもよい。見やすさは、背景画像に重畳されている文字の見やすさである。見やすさは、予め定められた評価基準に従って予め評価されており、一例として、6段階の評価値(1~6)によって定められている。以下に各評価値の意義を示す。
1:非常に読みにくい
2:かなり読みにくい
3:多少読みにくい
4:普通に読める
5:読みやすい
6:非常に読みやすい
以下、図4を参照して感性DB36について詳しく説明する。図4は、感性DB36の構成を示す。感性DB36においては、一例として、配色IDと、感性語を示す情報と、ランキング(順位)を示す情報と、ベースカラーを示す情報と、セカンダリーカラーを示す情報と、アクセントカラーを示す情報とが互いに対応付けられている。感性語は、テイストを表現する用語である。ベースカラーは支配的な色であり代表色の一例であるともいえる。セカンダリーカラーは、ベースカラーの次に支配的な色である。アクセントカラーは、強調色(例えば、色調に変化を与えたり、他の色を引き立てたりする役割を有する色)である。
ベースカラー、セカンダリーカラー及びアクセントカラーの色の組み合わせによって、当該組み合わせに対応付けられているテイストが実現される。ランキングは、その色の組み合わせとテイストとの関係性の強さに関する順位である。ランキングが上位の色の組み合わせほど、当該テイストとの関係性が強い、つまり、当該テイストを表現する色の組み合わせとして適していることになる。プリティというテイストを例に挙げて説明すると、ランキングが1位の色の組み合わせは、2位の組み合わせよりも、プリティというテイストを表現する色の組み合わせとしてより適した組み合わせであるといえる。
以下、評価モデル(視認性モデル)について説明する。評価モデルにおいては、文字データと背景画像データとの明度差、彩度差及び色相差が用いられる。明度差(差分)(Lightnessdif)は以下の式(1)によって定義され、彩度差(差分)(Saturationdif)は以下の式(2)によって定義され、色相差(差分)(Huedif)は以下の式(3)によって定義される。
Figure 0007206732000001
Figure 0007206732000002
Figure 0007206732000003
Lightnesstextは文字データの明度であり、Lightnessbackgroundは背景画像データの明度である。Saturationtextは文字データの彩度であり、Saturationbackgroundは背景画像データの彩度である。Huetextは文字データの色相であり、Huebackgroundは背景画像データの色相である。例えば、RGBデータから明度差、彩度差及び色相差が計算される。
評価モデル(視認性モデル)は、以下の式(4)によって定義される。
Figure 0007206732000004
Legibilityは視認性の評価値である。係数βl、β、β及びεは、例えば、視認性DB34に格納されているデータ(視認性データ)を用いた線形回帰モデルによる学習によって算出される。これらの係数は、例えば予め定められている。
以下、図5を参照して文字画像データについて説明する。図5は、文字画像データの一例を示す。以下の説明では、文字画像データを「文字画像」と略し、背景画像データを「背景画像」と略し、文字データを「文字」と略すものとする。
文字画像38は、背景画像40を含むレイヤー42と、文字44を含むレイヤー46とを含み、レイヤー42上にレイヤー46が重畳されている。背景画像40において文字44が重畳している背景領域40aには、画像やカラーボックス等が形成されている。
以下、図6を参照して視認性評価処理について説明する。図6は、視認性評価処理に係るフローチャートを示す。ここでは、図5に示されている文字画像38の視認性が評価されるものとする。
視認性評価部26は、評価対象の文字画像38を受け付けて、背景画像40内において文字44が重畳している背景領域40aの代表色(メインカラー)を特定する(ステップS01)。視認性評価部26は、例えば、背景領域40aにおいて特定の比率以上を有する色を代表色として定める。
次に、視認性評価部26は、代表色の明度、彩度及び色相を計算する(ステップS02)。
また、視認性評価部26は、文字44の色を特定する(ステップS03)。なお、視認性評価の対象となる文字がユーザによって指定されてもよい。この場合、視認性評価部26は、指定された文字の色を特定する。また、視認性評価部26は、指定された文字が重畳している背景領域の代表色を特定し(ステップS01)、当該代表色の明度、彩度及び色相を計算する(ステップS02)。
次に、視認性評価部26は、文字44の明度、彩度及び色相を計算する(ステップS04)。
なお、ステップS01,S02の処理とステップS03,S04の処理は同時に行われてもよいし、いずれか一方の処理が先に行われ、他方の処理がその後に行われてもよい。
次に、視認性評価部26は、上記の式(4)によって定義されている評価モデル(視認性モデル)を用いて、視認性の評価値を計算する(ステップS05)。
視認性の評価値が閾値以上である場合(ステップS06,Yes)、視認性評価部26は、文字44の色情報の変更は不要であると判断する(ステップS07)。この場合、文字44に対する変更処理は実行されない。
評価値が閾値未満である場合(ステップS06,No)、視認性評価部26は、文字44の色情報の変更は必要であると判断する(ステップS08)。この場合、文字44に対する変更処理が実行される。
上記の閾値は、背景画像に重畳された文字の視認性を評価するための値であり、例えば、背景画像に重畳された文字が見やすいか否かを判断するための値である。閾値は、例えば予め定められた値であり、ユーザによって変更されてもよい。例えば、閾値として、背景画像に重畳された文字が見やすいと判断されると想定される値が定められる。
以下、図7を参照して文字の変更処理について説明する。図7は、文字の変更処理に関するフローチャートを示す。視認性の評価値が閾値未満であると判断された場合に、文字の変更処理が実行される。
変更部28は、背景画像40に重畳された文字44が見やすいと判断されると想定される視認性の評価値に基づいて、背景画像40の代表色と文字44の色との間の明度差、彩度差及び色相差を計算する(ステップS10)。つまり、変更部28は、当該視認性の評価値が得られる明度差、彩度差及び色相差を計算する。当該視認性の評価値として上記の閾値が用いられてもよい。
次に、変更部28は、背景画像40の色を変更せずに、ステップS10で計算された明度差、彩度差及び色相差が得られる文字44の色を計算する(ステップS11)。当該色は、背景画像40の色を変更せずに、文字44が見やすいと判断されると想定される色である。
次に、変更部28は、文字44の色を、ステップS11で計算された色に変更する(ステップS12)。
次に、感性維持判定部30は、色が変更された文字44を含む文字画像38のテイストを判定する(ステップS13)。
判定されたテイストが、ユーザによって指定されたテイストと一致する場合(ステップS14,Yes)、処理は終了する。この場合、ユーザによって指定されたテイストを有しつつ、色の変更によって文字の視認性が向上した文字画像が生成される。例えば、出力部33は、色が変更された文字44を含む文字画像38をUI部14の表示部に表示させる。
判定されたテイストが、ユーザによって指定されたテイストと一致しない場合(ステップS14,No)、表示態様変更部32は、色が変更される前の文字44の装飾を変更する(ステップS15)。つまり、文字44の色は変更されずに装飾が変更される。この場合、ユーザによって指定されたテイストを有しつつ、装飾によって文字の視認性が向上した文字画像が生成される。例えば、出力部33は、色が変更されずに装飾が変更された文字44を含む文字画像38をUI部14の表示部に表示させる。
図8に、装飾が施された文字画像の一例を示す。文字画像48は影付きの文字(影処理が適用された文字)を含む。文字画像50は光彩付きの文字(光彩処理が適用された文字)を含む。文字画像52は周辺輪郭付きの文字(輪郭処理が適用された文字)を含む。このような装飾を文字に施すことで、文字の色を変更しない場合であっても、文字の視認性が向上し得る。
以下、本実施形態の実施例について説明する。
(実施例1)
以下、実施例1について説明する。実施例1では、背景画像としてカラーボックスが用いられる。図9は、実施例1に係る文字画像54を示す。文字画像54は、カラーボックスとしての背景画像56と、背景画像56上に重畳された文字58(文字列「自然史」)とを含む。文字画像54は、例えばポスターに用いられる画像である。例えば、ユーザがUI部14を操作してテイストを指定すると、その指定されたテイストを有する文字画像54が生成されるように、カラーボックスと文字の色が設定される。ここでは、ユーザが感性語「ナチュラル」を用いてテイスト「ナチュラル」を指定しており、そのテイスト「ナチュラル」を有する文字画像54が生成されている。テイスト「ナチュラル」を有する文字画像54は、情報処理装置10によって生成されてもよいし、他の装置によって生成されてもよい。ここでは、背景画像56及び文字58のそれぞれの色は一色である。
実施例1で用いられる評価モデル(視認性モデル)は、以下の式(5)によって定義される。後述する実施例2~5においても、式(5)によって定義される評価モデルが用いられる。
Figure 0007206732000005
上述したように、係数βl、β、β及びεは、視認性DB34に格納されているデータ(視認性データ)を用いた線形回帰モデルによる学習によって算出されている。また、視認性の評価値(閾値)が「3」以上であれば、背景画像上の文字は見やすい文字に該当すると判断されるものとする。なお、式(5)中の各係数は一例に過ぎず、視認性DB34に格納されているデータによって変更し得る。
以下、実施例1における処理について詳しく説明する。
まず、視認性評価部26は、文字58の色及び背景画像56の代表色(メインカラー)を特定し、各色のRGBデータを特定する。図10は、各色の情報を示す。例えば、文字58の色及び背景画像56の代表色のそれぞれについて、PCCS_ID、色相、色調、及び、RGBが、視認性評価部26によって特定される。
次に、視認性評価部26は、文字58の色及び背景画像56の代表色のそれぞれについて、明度、彩度及び色相角を計算する。図11は、各色の明度、彩度及び色相角を示す。
次に、視認性評価部26は、文字58の色と背景画像56の代表色との間における明度差、彩度差及び色相差を計算する。以下に、これらの値を示す。
明度差=5.73545
彩度差=8.58435
色相差=10.3245
次に、視認性評価部26は、上記の式(5)によって定義されている評価モデル(視認性モデル)に、上記の明度差、彩度差及び色相差を代入することで、背景画像56に対する文字58の視認性の評価値を計算する。以下に、このようにして計算された視認性の評価値を示す。
視認性の評価値=1.3139
背景画像に重畳された文字が見やすいと想定される評価値(閾値)は、「3」に設定されている。上記のようにして計算された視認性の評価値は閾値未満であるため、視認性評価部26は、文字58の色情報の変更が必要であると判断する。
この場合、変更部28は、背景画像56の色を変更せずに、視認性の評価値が「3」となるための文字58のRGBデータを計算する。そのために、一例として、変更部28は、文字58の明度を変更する。つまり、変更部28は、視認性の評価値が「3」となるための明度差(文字58と背景画像56との間の明度差)を計算し、その明度差が得られる文字58の明度を計算する。
例えば、視認性の評価値として「3」を得るためには、明度差は29.6939である必要がある。その明度差が得られる文字58の明度、つまり、文字58が見やすいと想定される明度は、以下の式によって計算される。
見やすい明度=(背景画像56の代表色の明度)-(明度差)=55.9409
つまり、視認性の評価値が「3」となるためには、明度差として29.6939が必要であり、そのための文字58の明度として、55.9409が必要となる。視認性の評価値として閾値(「3」)を得るための明度差(「29.6939」)が、明度差閾値の一例に相当する。
上記の例では、変更部28は、視認性の評価値が閾値(「3」)となるための明度差(明度差閾値)を計算し、その明度差閾値が得られる文字58の明度を計算しているが、その明度差閾値以上の明度差が得られる文字58の明度を計算してもよい。また、変更部28は、視認性の評価値が閾値(「3」)以上となるための明度差(明度差閾値)を計算し、その明度差閾値が得られる文字58の明度を計算してもよい。以下の実施例2~6においても同様である。
なお、実施例1では、代表色の明度から明度差を減算して得られた明度を、文字58の明度として用いているが、代表色の明度に明度差を加算して得られた明度を、文字58の明度として用いてもよい。明度の変更量が上限に達しない限りいずれの方法を採用してもよいが、一方の方法にて明度の変更量が上限に達し、他方の方法にて明度の変更量が上限に達しない場合には、他方の方法が採用される。
図12は、明度が変更された文字58の色情報を示す。明度は55.9409に変更されている。文字58の彩度と色相角は変更されていない。また、変更部28は、これらの明度、彩度及び色相角を表現するためのRGBデータを計算する。図12には、そのRGBデータも示されている。このRGBデータは、明度の変更が反映されたRGBデータである。
次に、変更部28は、文字58のRGBデータを、明度の変更が反映されたRGBデータに変更することで、文字58の明度が変更された文字画像を生成する。図13は、その文字画像60を示す。文字画像60においては、文字58の明度が文字画像54から変更されている。背景画像56の色は変更されていない。視認性の評価値が「3」となるように文字58の明度が変更されている。それ故、変更前の文字画像54と比較して、文字画像60では文字58が見やすくなっている。
また、感性維持判定部30は、変更前の文字画像54が有するテイストと、変更後の文字画像60が有するテイストとを比較する。実施例1では、両テイストは一致している。それ故、文字58は装飾されない。
例えば、出力部33は、変更後の文字画像60をUI部14の表示部に表示させる。
文字58の明度を変更することで、文字画像54をそのまま出力する場合と比較して、背景画像56と文字58との間の色関係に対する重畳の影響が軽減された文字画像60が出力される。例えば、文字画像54と比較して、文字58が見やすい文字画像60が出力される。
実施例1では、文字58の明度が変更されて、彩度及び色相は変更されていない。これは一例に過ぎず、彩度や色相も変更されてもよい。つまり、変更部28は、視認性の評価値が「3」となるように、文字58の明度、彩度及び色相の中の少なくとも1つの色パラメータを変更してもよい。
一般的に、明度差、彩度差及び色相差の中で、明度差が文字の視認性に最も影響を与えると考えられ、明度差の変更が文字の視認性の変更に最も寄与すると考えられる。それ故、実施例1では、文字の視認性が向上するように文字の明度を変更している。もちろん、目標の視認性が得られるのであれば、文字の明度を変更せずに、文字の彩度や色相を変更してもよい。また、明度の変更によって目標の視認性が得られない場合に、文字の彩度や色相を変更してもよい。また、一般的に、各色パラメータは互いに関連性を有している。例えば、彩度差が小さいほど色相差も小さい。文字と背景画像との彩度差が大きい場合には、その彩度差が小さい場合と比較して、色相差の変更が視認性の変更に寄与する度合いが大きくなると考えられる。そこで、彩度差が予め定められた値(例えば、視認性の変更に寄与すると想定される値)以上となった場合に、文字の色相を変更してもよい。もちろん、このような処理は一例に過ぎず、処理対象の文字画像に応じて、変更される文字の色パラメータが変更されてもよい。
(実施例2)
以下、実施例2について説明する。実施例2では、背景画像として特定の模様等を表現する画像が用いられる。図14は、実施例2に係る文字画像62を示す。文字画像62は、特定の模様等を表現する背景画像64と、背景画像64上に重畳された文字66(文字列「自然史」)とを含む。文字画像62は、例えばポスターに用いられる画像である。ここでは、ユーザがテイスト「ナチュラル」を指定しており、そのテイスト「ナチュラル」を有する文字画像62が生成されている。
以下、実施例2における処理について詳しく説明する。
まず、視認性評価部26は、文字66の色及び背景画像64の代表色(メインカラー)を特定し、各色のRGBデータを特定する。視認性評価部26は、背景画像64において文字66が重畳している領域の代表色を特定し、その色のRGBデータを特定する。実施例2では、背景画像64の代表色として2つの色(代表色1,2)が特定されている。図15は、各色の情報を示す。文字66の色及び背景画像64の代表色1,2のそれぞれについて、PCCS_ID、色相、色調、及び、RGBが、視認性評価部26によって特定される。
次に、視認性評価部26は、文字66の色及び背景画像64の代表色1,2のそれぞれについて、明度、彩度及び色相角を計算する。図16は、各色の明度、彩度及び色相角を示す。
次に、視認性評価部26は、文字66の色と背景画像64の代表色1との間における明度差、彩度差及び色相差を計算し、文字66の色と背景画像64の代表色2との間における明度差、彩度差及び色相差を計算する。
文字66の色と代表色1との差は以下の通りである。
明度差=10.7193
彩度差=8.24962
色相差=40.9436
文字66の色と代表色2との差は以下の通りである。
明度差=28.8358
彩度差=10.5515
色相差=24.6965
次に、視認性評価部26は、上記の式(5)によって定義されている評価モデル(視認性モデル)に、上記の明度差、彩度差及び色相差を代入することで、背景画像64に対する文字66の視認性の評価値を計算する。背景画像64の代表色として2つの色が特定されているため、視認性評価部26は、代表色毎の評価値を計算する。
代表色1に対する文字66の視認性の評価値は以下の通りである。
視認性の評価値=1.73756
代表色2に対する文字66の視認性の評価値は以下の通りである。
視認性の評価値=2.7065
背景画像に重畳された文字が見やすいと想定される評価値(閾値)は、「3」に設定されている。上記のようにして計算された視認性の評価値は閾値未満であるため、視認性評価部26は、文字66の色情報の変更が必要であると判断する。
この場合、変更部28は、背景画像64の色を変更せずに、視認性の評価値が「3」となるための文字66のRGBデータを計算する。そのために、一例として、変更部28は、文字66の明度を変更する。つまり、変更部28は、視認性の評価値が「3」となるための明度差(文字66と背景画像64との間の明度差)を計算し、その明度差が得られる文字66の明度を計算する。実施例2では、2つの色が代表色として特定されているため、変更部28は、代表色毎に明度差を計算する。
例えば、視認性の評価値として「3」を得るためには、代表色1との間では明度差1は32.9521である必要がある。また、代表色2との間では明度差2は34.0046である必要がある。文字66が見やすいと想定される明度は、以下の式によって計算される。
見やすい明度=(背景画像64の代表色2の明度)-(明度差2)=28.5298
つまり、視認性の評価値が「3」となるためには、文字66の明度として28.5298が必要となる。文字66の明度が28.5298であれば、代表色1,2の両方との関係において視認性の評価値が「3」以上となる。
なお、実施例1と同様に、代表色の明度に明度差を加算して得られた明度を、文字58の明度として用いてもよい。
図17は、明度が変更された文字66の色情報を示す。明度は28.5298に変更されている。文字66の彩度と色相角は変更されていない。また、変更部28は、これらの明度、彩度及び色相角を表現するためのRGBデータを計算する。図17には、そのRGBデータも示されている。このRGBデータは、明度の変更が反映されたRGBデータである。
次に、変更部28は、文字66のRGBデータを、明度の変更が反映されたRGBデータに変更することで、文字66の明度が変更された文字画像を生成する。図18は、その文字画像68を示す。文字画像68においては、文字66の明度が文字画像62から変更されている。背景画像64の色は変更されていない。視認性の評価値が「3」となるように文字66の明度が変更されている。それ故、変更前の文字画像62と比較して、文字画像68では文字66が見やすくなっている。
また、感性維持判定部30は、変更前の文字画像62が有するテイストと、変更後の文字画像68が有するテイストとを比較する。実施例2では、両テイストは一致している。それ故、文字66は装飾されない。
例えば、出力部33は、変更後の文字画像68をUI部14の表示部に表示させる。
文字66の明度を変更することで、文字画像62をそのまま出力する場合と比較して、背景画像64と文字66との間の色関係に対する重畳の影響が軽減された文字画像68が出力される。例えば、文字画像62と比較して、文字66が見やすい文字画像68が出力される。
実施例2においても、変更部28は、視認性の評価値が「3」となるように、文字66の彩度や色相を変更してもよい。
(実施例3)
以下、実施例3について説明する。実施例3では、背景画像として特定の模様等を表現する画像が用いられる。図19は、実施例3に係る文字画像70を示す。文字画像70は、特定の模様等を表現する背景画像72と、背景画像72上に重畳された文字74(文字列「歴史秘話」)とを含む。文字画像70は、例えばポスターに用いられる画像である。ここでは、ユーザがテイスト「クラシック」を指定しており、そのテイスト「クラシック」を有する文字画像70が生成されている。
以下、実施例3における処理について詳しく説明する。
まず、視認性評価部26は、文字74の色及び背景画像72の代表色(メインカラー)を特定し、各色のRGBデータを特定する。視認性評価部26は、背景画像72において文字74が重畳している領域の代表色を特定し、その色のRGBデータを特定する。実施例3では、背景画像72の代表色として2つの色(代表色1,2)が特定されている。図20は、各色の情報を示す。文字74の色及び背景画像72の代表色1,2のそれぞれについて、PCCS_ID、色相、色調、及び、RGBが、視認性評価部26によって特定される。
次に、視認性評価部26は、文字74の色及び背景画像72の代表色1,2のそれぞれについて、明度、彩度及び色相角を計算する。図21は、各色の明度、彩度及び色相角を示す。
次に、視認性評価部26は、文字74の色と背景画像72の代表色1との間における明度差、彩度差及び色相差を計算し、文字74の色と背景画像72の代表色2との間における明度差、彩度差及び色相差を計算する。
文字74の色と代表色1との差は以下の通りである。
明度差=0
彩度差=0
色相差=0
文字74の色と代表色2との差は以下の通りである。
明度差=13.9980
彩度差=16.1106
色相差=19.8214
次に、視認性評価部26は、上記の式(5)によって定義されている評価モデル(視認性モデル)に、上記の明度差、彩度差及び色相差を代入することで、背景画像72に対する文字74の視認性の評価値を計算する。背景画像72の代表色として2つの色が特定されているため、視認性評価部26は、代表色毎の評価値を計算する。
代表色1に対する文字74の視認性の評価値は以下の通りである。
視認性の評価値=0.8799
代表色2に対する文字74の視認性の評価値は以下の通りである。
視認性の評価値=1.8801
背景画像に重畳された文字が見やすいと想定される評価値(閾値)は、「3」に設定されている。上記のようにして計算された視認性の評価値は閾値未満であるため、視認性評価部26は、文字74の色情報の変更が必要であると判断する。
この場合、変更部28は、背景画像72の色を変更せずに、視認性の評価値が「3」となるための文字74のRGBデータを計算する。そのために、一例として、変更部28は、文字74の明度を変更する。つまり、変更部28は、視認性の評価値が「3」となるための明度差(文字74と背景画像72との間の明度差)を計算し、その明度差が得られる文字74の明度を計算する。実施例3では、2つの色が代表色として特定されているため、変更部28は、代表色毎に明度差を計算する。
例えば、視認性の評価値として「3」を得るためには、代表色1との間では明度差1は37.3370である必要がある。また、代表色2との間では明度差2は33.7205である必要がある。文字74が見やすいと想定される明度は、以下の式によって計算される。
見やすい明度=(背景画像72の代表色2の明度)+(明度差2)=73.4008
つまり、視認性の評価値が「3」となるためには、文字74の明度として73.4008が必要となる。文字74の明度が73.4008であれば、代表色1,2の両方との関係において視認性の評価値が「3」以上となる。
図22は、明度が変更された文字74の色情報を示す。明度は73.4008に変更されている。文字74の彩度と色相角は変更されていない。また、変更部28は、これらの明度、彩度及び色相角を表現するためのRGBデータを計算する。図22には、そのRGBデータも示されている。このRGBデータは、明度の変更が反映されたRGBデータである。
次に、変更部28は、文字74のRGBデータを、明度の変更が反映されたRGBデータに変更することで、文字74の明度が変更された文字画像を生成する。図23は、その文字画像76を示す。文字画像76においては、文字74の明度が文字画像70から変更されている。背景画像72の色は変更されていない。視認性の評価値が「3」となるように文字74の明度が変更されている。それ故、変更前の文字画像70と比較して、文字画像76では文字74が見やすくなっている。
また、感性維持判定部30は、変更前の文字画像70が有するテイストと、変更後の文字画像76が有するテイストとを比較する。例えば、感性維持判定部30は、変更後の文字画像76からベースカラー、セカンダリーカラー及びアクセントカラーを抽出し、感性DB36において、当該色の組み合わせに対応付けられているテイストを検索する。図24は、その検索の結果を示す。変更後の文字画像70から抽出されたベースカラー、セカンダリーカラー及びアクセントカラーに対応するテイストは「ノーブル」である。
変更前の文字画像70が有するテイスト(ユーザによって指定されたテイスト)は「クラシック」であり、変更後の文字画像76が有するテイストは「ノーブル」であるため、両テイストは一致していない。この場合、変更部28は、文字74の色を変更せずに、表示態様変更部32は、文字74の装飾を変更する。つまり、表示態様変更部32は、変更前の文字画像70に含まれる文字74の色を変更せずに文字74の装飾を変更する。表示態様変更部32は、例えば、文字74の装飾が変更された1又は複数の文字画像を生成する。このとき、表示態様変更部32は、文字画像70が有するテイスト「クラシック」が変更されないように文字74の装飾を変更する。つまり、表示態様変更部32は、テイスト「クラシック」を有しつつ、文字74の装飾が変更された1又は複数の文字画像を生成する。
例えば、出力部33は、文字74が装飾された文字画像をUI部14の表示部に表示させる。
図25は、文字74が装飾された文字画像の一例を示す。ここでは、文字74の装飾が変更された2つの文字画像(文字画像78,80)が生成されており、文字画像78,80が表示部に表示されている。文字画像78,80は、元の文字画像70と同じテイスト「クラシック」を有する。文字画像78においては、文字74に白い影が装飾として施されている。文字画像80においては、文字74が白枠で覆われている。このように、表示態様変更部32は、文字74の色を変更せずに文字74が見やすくなるように文字74に装飾を施す。ユーザはUI部14を操作することで、文字画像78,80の中から希望する文字画像を選択することができる。図25に示す例では、文字画像78に紐付くチェックボックス82がユーザによってチェックされることで、文字画像78がユーザによって選択されている。ユーザによって選択された文字画像78が、最終的なデザインとして表示されてもよいし、印刷されてもよいし、他の装置等に送信されてもよいし、記憶装置に記憶されてもよい。
文字の色を変更することでテイストが変わる場合には、文字の色を変更せずに文字に装飾を施すことで、指定されたテイストを有しつつ、装飾を施さない場合と比較して文字が見やすい文字画像が生成される。
(実施例4)
以下、実施例4について説明する。実施例4では、メディアの種類が異なる文字画像が生成される。図26は、実施例4に係る元の文字画像を示す。文字画像84は、青空とひまわり畑とを表す背景画像86と、背景画像86上に重畳された文字88(文字列「夏祭り」)とを含む。文字画像84は、例えばポスターに用いられる画像である。ここでは、ユーザがUI部14を操作することで、テイストとして「ナチュラル」が指定されており、また、メディアの種類として「はがき」が指定されている。この場合、レイアウト変更部24は、文字88の色を維持しつつ、背景画像86をトリミングしたり、文字88の位置を変えたりすることで、はがきの形状及びサイズを有する文字画像を生成する。図27は、そのようにして生成された「はがき」用の文字画像を示す。文字画像90は、元の背景画像86と同じデザインを有する背景画像92と、元の文字88と同じ色を有する文字94とを含む。文字94は、背景画像92上に重畳されており、その重畳位置は元の文字画像84から変更されている。また、文字画像90はテイストとして「ナチュラル」を有する。以下、文字画像90を対象として本実施形態に係る処理が実行される。
以下、実施例4における処理について詳しく説明する。
まず、視認性評価部26は、文字94の色及び背景画像92の代表色(メインカラー)を特定し、各色のRGBデータを特定する。視認性評価部26は、背景画像92において文字94が重畳している領域における代表色を特定し、その色のRGBデータを特定する。図28は、各色の情報を示す。文字94の色及び背景画像92の代表色のそれぞれについて、PCCS_ID、色相、色調、及び、RGBが、視認性評価部26によって特定される。
次に、視認性評価部26は、文字94の色及び背景画像92の代表色のそれぞれについて、明度、彩度及び色相角を計算する。図29は、各色の明度、彩度及び色相角を示す。
次に、視認性評価部26は、文字94の色と背景画像92の代表色との間における明度差、彩度差及び色相差を計算する。以下、これらの値を示す。
明度差=19.9199
彩度差=16.7616
色相差=9.15684
次に、視認性評価部26は、上記の式(5)によって定義されている評価モデル(視認性モデル)に、上記の明度差、彩度差及び色相差を代入することで、背景画像92に対する文字94の視認性の評価値を計算する。以下に、このようにして計算された視認性の評価値を示す。
視認性の評価値=2.17115
背景画像に重畳された文字が見やすいと想定される評価値(閾値)は、「3」に設定されている。上記のようにして計算された視認性の評価値は閾値未満であるため、視認性評価部26は、文字94の色情報の変更が必要であると判断する。
この場合、変更部28は、背景画像92の色を変更せずに、視認性の評価値が「3」となるための文字94のRGBデータを計算する。そのために、一例として、変更部28は、文字94の明度を変更する。つまり、変更部28は、視認性の評価値が「3」となるための明度差(文字94と背景画像92との間の明度差)を計算し、その明度差が得られる文字94の明度を計算する。
例えば、視認性の評価値として「3」を得るためには、代表色との間では明度差は34.5168である必要がある。文字94が見やすいと想定される明度は、以下の式によって計算される。
見やすい明度=(背景画像92の代表色の明度)+(明度差)=91.2679
つまり、視認性の評価値が「3」となるためには、文字94の明度として91.2627が必要となる。
図30は、明度が変更された文字94の色情報を示す。明度は91.2627に変更されている。彩度の値は29.4455へ変更され、色相の値は1.96588へ変更されている。また、変更部28は、これらの明度、彩度及び色相角を表現するためのRGBデータを計算する。図30には、そのRGBデータも示されている。このRGBデータは、明度の変更が反映されたRGBデータである。
次に、変更部28は、文字94のRGBデータを、明度の変更が反映されたRGBデータに変更することで、文字94の明度が変更された文字画像を生成する。図31は、その文字画像を示す。文字画像96においては、文字94の明度が文字画像90から変更されている。背景画像92の色は変更されていない。視認性の評価値が「3」となるように文字94の明度が変更されている。それ故、変更前の文字画像90と比較して、文字画像96では文字94が見やすくなっている。
また、感性維持判定部30は、変更前の文字画像90が有するテイストと、変更後の文字画像96が有するテイストとを比較する。実施例4では、両テイストは一致している。それ故、文字94は装飾されない。
例えば、出力部33は、変更後の文字画像96をUI部14の表示部に表示させる。
元の文字画像からメディアが変更された場合であっても、文字94の明度を変更することで、文字画像90をそのまま出力する場合と比較して、背景画像92と文字94との間の色関係に対する重畳の影響が軽減された文字画像96が出力される。例えば、文字画像90と比較して、文字94が見やすい文字画像96が出力される。
実施例4においても、変更部28は、視認性の評価値が「3」となるように、文字94の彩度や色相を変更してもよい。
(実施例5)
以下、実施例5について説明する。実施例5では、メディアの種類が異なる文字画像が生成される。図32は、実施例5に係る元の文字画像を示す。文字画像98は、青空と白い雲とを表す背景画像100と、背景画像100上に重畳された文字102(文字列「夏祭り」)とを含む。文字画像98は、例えばポスターに用いられる画像である。ここでは、ユーザがUI部14を操作することで、テイストとして「夏らしい」が指定されており、また、メディアの種類として「扇子」が指定されている。この場合、レイアウト変更部24は、文字102の色を維持しつつ、背景画像100をトリミングしたり、文字102の位置を変えたりすることで、扇子の形状及びサイズを有する文字画像を生成する。図33は、そのようにして生成された「扇子」用の文字画像を示す。文字画像104は、元の背景画像100と同じデザインを有する背景画像106と、元の文字102と同じ色を有する文字108とを含む。文字108は、背景画像106上に重畳されており、その重畳位置は元の文字画像98から変更されている。また、文字画像104はテイストとして「夏らしい」を有する。以下、文字画像104を対象として本実施形態に係る処理が実行される。
以下、実施例5における処理について詳しく説明する。
まず、視認性評価部26は、文字108の色及び背景画像106の代表色(メインカラー)を特定し、各色のRGBデータを特定する。視認性評価部26は、背景画像106において文字108が重畳している領域における代表色を特定し、その色のRGBデータを特定する。実施例5では、背景画像106の代表色として2つの色(代表色1,2)が特定されている。図34は、各色の情報を示す。文字108の色及び背景画像106の代表色1,2のそれぞれについて、PCCS_ID、色相、色調、及び、RGBが、視認性評価部26によって特定される。
次に、視認性評価部26は、文字108の色及び背景画像106の代表色1,2のそれぞれについて、明度、彩度及び色相角を計算する。図35は、各色の明度、彩度及び色相角を示す。
次に、視認性評価部26は、文字108の色と背景画像106の代表色1との間における明度差、彩度差及び色相差を計算し、文字108の色と背景画像106の代表色2との間における明度差、彩度差及び色相差を計算する。
文字108の色と代表色1との差は以下の通りである。
明度差=54.8044
彩度差=0.213628
色相差=32.7337
文字108の色と代表色2との差は以下の通りである。
明度差=14.4440
彩度差=28.1427
色相差=27.1889
次に、視認性評価部26は、上記の式(5)によって定義されている評価モデル(視認性モデル)に、上記の明度差、彩度差及び色相差を代入することで、背景画像106に対する文字108の視認性の評価値を計算する。背景画像106の代表色として2つの色が特定されているため、視認性評価部26は、代表色毎の評価値を計算する。
代表色1に対する文字108の視認性の評価値は以下の通りである。
視認性の評価値=4.1462
代表色2に対する文字108の視認性の評価値は以下の通りである。
視認性の評価値=2.02414
背景画像に重畳された文字が見やすいと想定される評価値(閾値)は、「3」に設定されている。代表色1に対する視認性の評価値は3以上であるが、代表色2に対する視認性の評価値は3未満である。それ故、視認性評価部26は、文字108の色情報の変更が必要であると判断する。
この場合、変更部28は、背景画像106の色を変更せずに、視認性の評価値が「3」となるための文字108のRGBデータを計算する。そのために、一例として、変更部28は、文字108の明度を変更する。つまり、変更部28は、視認性の評価値が「3」となるための明度差(文字108と背景画像106との間の明度差)を計算し、その明度差が得られる文字108の明度を計算する。実施例5では、2つの色が代表色として特定されているため、変更部28は、代表色毎に明度差を計算する。
例えば、視認性の評価値として「3」を得るためには、代表色1との間では明度差1は31.6298である必要がある。また、代表色2との間では明度差2は34.6187である必要がある。
上記の明度差1,2が得られる明度が存在しない。つまり、文字108の明度を上限値又は下限値まで変更した場合であっても、上記の明度差1,2を得ることができない。この場合、変更部28は、文字108の明度を変更せずに、表示態様変更部32は、文字108の装飾を変更する。つまり、表示態様変更部32は、変更前の文字画像104に含まれる文字108の色を変更せずに文字108の装飾を変更する。表示態様変更部32は、例えば、文字108の装飾が変更された1又は複数の文字画像を生成する。このとき、表示態様変更部32は、文字画像104が有するテイスト「夏らしさ」が変更されないように文字108の装飾を変更する。つまり、表示態様変更部32は、テイスト「夏らしさ」を有しつつ、文字108の装飾が変更された1又は複数の文字画像を生成する。
例えば、出力部33は、文字108が装飾された文字画像をUI部14の表示部に表示させる。
図36は、文字108が装飾された文字画像の一例を示す。ここでは、文字108の装飾が変更された2つの文字画像(文字画像110,112)が生成されており、文字画像110,112が表示部に表示されている。文字画像110,112は、元の文字画像104と同じテイスト「夏らしさ」を有する。文字画像110においては、文字108に白い光彩が装飾として施されている。文字画像112においては、文字108に黒い影が装飾として施されている。このように、表示態様変更部32は、文字108の色を変更せずに文字108が見やすくなるように文字108に装飾を施す。ユーザはUI部14を操作することで、文字画像110,112の中から希望する文字画像を選択することができる。図36に示す例では、文字画像112に紐付くチェックボックス114がユーザによってチェックされることで、文字画像112がユーザによって選択されている。ユーザによって選択された文字画像112が、最終的なデザインとして表示されてもよいし、印刷されてもよいし、他の装置等に送信されてもよいし、記憶装置に記憶されてもよい。
文字の色を変更しても目標の視認性が得られない場合には、文字の色を変更せずに文字に装飾を施すことで、装飾を施さない場合と比較して文字が見やすい文字画像が生成される。
(実施例6)
以下、実施例6について説明する。実施例6では、メディアの種類が異なる文字画像が生成される。図37は、実施例6に係る元の文字画像を示す。文字画像116は、ピアノを表す背景画像118と、背景画像118上に重畳された文字120(文字列「音楽祭」)とを含む。文字画像116は、例えばポスターに用いられる画像である。ここでは、ユーザがUI部14を操作することで、テイストとして「エレガント」が指定されており、また、メディアの種類として「はがき」が指定されている。この場合、レイアウト変更部24は、文字120の色を維持しつつ、背景画像118をトリミングしたり、文字120の位置を変えたりすることで、はがきの形状及びサイズを有する文字画像を生成する。図38は、そのようにして生成された「はがき」用の文字画像を示す。文字画像122は、元の背景画像118と同じデザインを有する背景画像124と、元の文字120と同じ色を有する文字126とを含む。文字126は、背景画像124上に重畳されており、その重畳位置は元の文字画像116から変更されている。また、文字画像122はテイストとして「エレガント」を有する。以下、文字画像122を対象として本実施形態に係る処理が実行される。
以下、実施例6における処理について詳しく説明する。
まず、視認性評価部26は、文字126の色及び背景画像124の代表色(メインカラー)を特定し、各色のRGBデータを特定する。視認性評価部26は、背景画像124において文字126が重畳している領域の代表色を特定し、その色のRGBデータを特定する。図39は、各色の情報を示す。文字126の色及び背景画像124の代表色のそれぞれについて、PCCS_ID、色相、色調、及び、RGBが、視認性評価部26によって特定される。
次に、視認性評価部26は、文字126の色及び背景画像124の代表色のそれぞれについて、明度、彩度及び色相角を計算する。図40は、各色の明度、彩度及び色相角を示す。
次に、視認性評価部26は、文字126の色と背景画像124の代表色との間における明度差、彩度差及び色相差を計算する。以下、これらの値を示す。
明度差=7.08898
彩度差=1.74452
色相差=5.32299
次に、視認性評価部26は、上記の式(5)によって定義されている評価モデル(視認性モデル)に、上記の明度差、彩度差及び色相差を代入することで、背景画像124に対する文字126の視認性の評価値を計算する。以下に、このようにして計算された視認性の評価値を示す。
視認性の評価値=1.31949
背景画像に重畳された文字が見やすいと想定される評価値(閾値)は、「3」に設定されている。上記のようにして計算された視認性の評価値は閾値未満であるため、視認性評価部26は、文字94の色情報の変更が必要であると判断する。
この場合、変更部28は、背景画像124の色を変更せずに、視認性の評価値が「3」となるための文字126のRGBデータを計算する。そのために、一例として、変更部28は、文字126の明度を変更する。つまり、変更部28は、視認性の評価値が「3」となるための明度差(文字126と背景画像124との間の明度差)を計算し、その明度差が得られる文字126の明度を計算する。
例えば、視認性の評価値として「3」を得るためには、代表色との間では明度差は36.6844である必要がある。文字126が見やすいと想定される明度は、以下の式によって計算される。
見やすい明度=(背景画像124の代表色の明度)+(明度差)=55.5183
つまり、視認性の評価値が「3」となるためには、文字126の明度として55.5183が必要となる。
図41は、明度が変更された文字126の色情報を示す。明度は55.5183に変更されている。文字126の彩度と色相角は変更されていない。また、変更部28は、これらの明度、彩度及び色相角を表現するためのRGBデータを計算する。図41には、そのRGBデータも示されている。このRGBデータは、明度の変更が反映されたRGBデータである。
次に、変更部28は、文字126のRGBデータを、明度の変更が反映されたRGBデータに変更することで、文字126の明度が変更された文字画像を生成する。図42は、その文字画像を示す。文字画像128においては、文字126の明度が文字画像122から変更されている。背景画像124の色は変更されていない。視認性の評価値が「3」となるように文字126の明度が変更されている。それ故、変更前の文字画像122と比較して、文字画像128では文字126が見やすくなっている。
また、感性維持判定部30は、変更前の文字画像122が有するテイストと、変更後の文字画像128が有するテイストとを比較する。例えば、感性維持判定部30は、変更後の文字画像128からベースカラー、セカンダリーカラー及びアクセントカラーを抽出し、感性DB36において、当該色の組み合わせに対応付けられているテイストを検索する。図43は、その検索の結果を示す。変更後の文字画像128から抽出されたベースカラー、セカンダリーカラー及びアクセントカラーに対応するテイストは「フォーマル」である。
変更前の文字画像122が有するテイスト(ユーザによって指定されたテイスト)は「エレガント」であり、変更後の文字画像128が有するテイストは「フォーマル」であるため、両テイストは一致していない。
この場合、変更部28は、感性DB36において、テイスト「エレガント」に紐付けられている色情報(ベースカラー、セカンダリーカラー及びアクセントカラー)を検索する。つまり、テイスト「エレガント」に紐付けられている色情報は、テイスト「エレガント」を表現するための色情報である。図44は、その検索結果の一例を示す。変更部28は、テイスト「エレガント」に紐付けられている色情報群の中から、値「3」以上の視認性の評価値を得ることができる色情報を検索する。例えば、配色IDが「18」のベースカラーは、背景画像124の代表色と同じであり、配色IDが「18」のアクセントカラーを文字126の色として用いた場合、視認性の評価値は3.08565となる。この場合、変更部28は、文字126の色を、配色IDが「18」のアクセントカラーに変更する。
図45は、文字126の色が変更された文字画像を示す。文字画像130においては、文字126の色が、配色IDが「18」のアクセントカラーに変更されている。背景画像124の色は変更されていない。視認性の評価値が「3」以上となる文字126の色が変更されている。それ故、変更前の文字画像122と比較して、文字画像130では文字126が見やすくなっている。また、文字126の色の変更前と後とでテイストは変更されていない。
上記の実施形態及び実施例では、変更部28は、文字の色のみを変更しているが、文字の色を変更しつつ、又は、文字の色を変更せずに、視認性の評価値が「3」以上となるように背景画像の色を変更してもよい。例えば、変更部28は、文字画像が有するテイストが変更しない範囲で背景画像の色を変更する。通常、背景画像が占める範囲は文字が示す範囲よりも広いため、背景画像は、文字と比較して、文字画像が有するテイストに対してより強い影響を与えると考えられる。つまり、背景画像の色を変更した場合、文字の色を変更した場合と比較して、文字画像のテイストが変更される可能性が高くなると考えられる。従って、背景画像の色を変更せずに文字の色を変更することで、文字画像が有するテイストの変更を抑制することができる。また、背景画像の色を変更した場合であっても文字画像のテイストが変更されないのであれば、背景画像の色を変更してもよい。例えば、1色のカラーボックスが背景画像として用いられる場合、風景や建物や物体等を表す背景画像が用いられる場合と比較して、背景画像の色の変更がテイストに与える影響が小さいことがある。従って、背景画像がカラーボックスである場合に、背景画像の色を変更してもよい。
また、変更部28は、文字の色を変更しつつ、又は、文字の色を変更せずに、視認性の評価値が閾値(「3」)以上となる位置に文字の位置を変更してもよい。この場合、変更部28は、変更前と変更後とでテイストが変わらない位置に文字を配置する。
なお、上記の実施形態及び実施例では、視認性の評価値が閾値(「3」)以上となるように文字の色を変更しているが、視認性の評価値が閾値(「3」)以上となる文字の色を、その評価値が閾値未満となるように文字の色を変更してもよい。こうすることで、文字画像に含まれる文字の視認性が悪化し、例えば、評価値が閾値以上の場合と比べて、情報の秘匿性が高くなる。この場合における特定の色関係は、視認性が良好な関係であり、色関係が特定の色関係に該当しないように(視認性が悪化するように)、文字の色が変更される。
10 情報処理装置、12 通信部、14 UI部、16 記憶部、18 プロセッサ、20 受付部、22 メディア選択部、24 レイアウト変更部、26 視認性評価部、28 変更部、30 感性維持判定部、32 表示態様変更部、33 出力部、34 視認性DB、36 感性DB。

Claims (11)

  1. 背景画像データと前記背景画像データ上に重畳された文字データとを含む文字画像データを受け付け、前記文字データが重畳する領域における前記背景画像データの代表色情報を抽出する抽出手段と、
    文字データの色情報と前記代表色情報との間の色関係が特定の色関係に該当する場合、前記色関係が前記特定の色関係に該当しないように前記文字データを変更する変更手段と、
    前記変更後の文字データと前記背景画像データとを含む文書画像データを出力する出力手段と、
    を有し、
    前記変更手段は、変更後の前記文字データを含む前記文字画像データが有する印象が、変更前の前記文字データを含む前記文字画像データが有する印象と異なる場合、前記文字データの変更として、前記色情報を変更せずに前記文字データの表示態様を変更する、
    情報処理装置。
  2. 前記色関係は、前記背景画像データに対する前記文字データの視認性に関する関係である、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記背景画像データに対する前記文字データの視認性は、前記色情報及び前記代表色情報のそれぞれに含まれる複数種類の色パラメータを用いた数値によって定められ、
    前記変更手段は、前記数値が閾値未満となる場合、前記色関係が前記特定の色関係に該当するとして、前記文字データを変更する、
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記変更手段は、前記文字データの変更として前記色情報を変更する、
    ことを特徴とする請求項1に記載の情報処理装置。
  5. 前記色関係は、前記背景画像データに対する前記文字データの視認性に関する関係であり、
    前記変更手段は、前記文字データの変更として、前記視認性が向上するように前記色情報を変更する、
    ことを特徴とする請求項4に記載の情報処理装置。
  6. 前記色情報は、前記文字データの明度を示す明度情報を含み、
    前記代表色情報は、前記背景画像データの明度を示す明度情報を含み、
    前記変更手段は、前記文字データの変更として前記文字データの明度を変更する、
    ことを特徴とする請求項5に記載の情報処理装置。
  7. 前記変更手段は、前記文字データの明度と前記背景画像データの明度との差が明度差閾値以上となるように前記文字データの明度を変更する、
    ことを特徴とする請求項6に記載の情報処理装置。
  8. 前記変更手段は、前記差が前記明度差閾値以上となる前記文字データの色情報が存在しない場合、前記文字データの変更として前記文字データの表示態様を変更する、
    ことを特徴とする請求項7に記載の情報処理装置。
  9. 前記色情報は、前記文字データの彩度を示す彩度情報と前記文字データの色相を示す色相情報とを含み、
    前記代表色情報は、前記背景画像データの彩度を示す彩度情報と前記背景画像データの色相を示す色相情報とを含み、
    前記変更手段は、前記文字データの変更として、前記文字データの彩度及び色相の中の少なくとも1つを変更する、
    ことを特徴とする請求項5に記載の情報処理装置。
  10. 前記色関係は、前記背景画像データに対する前記文字データの視認性に関する関係であり、
    前記背景画像データに対する前記文字データの視認性は、前記色情報及び前記代表色情報のそれぞれに含まれる、明度、彩度及び色相のそれぞれに関する色パラメータによって定められ、
    前記変更手段は、更に、前記文字データと前記背景画像データとの間における明度、彩度及び色相のそれぞれの差分によって定義された評価モデルを用いて、前記色関係が前記特定の色関係に該当するか否かを判断する、
    ことを特徴とする請求項1に記載の情報処理装置。
  11. コンピュータを、
    背景画像データと前記背景画像データ上に重畳された文字データとを含む文字画像データを受け付け、前記文字データが重畳する領域における前記背景画像データの代表色情報を抽出する抽出手段、
    文字データの色情報と前記代表色情報との間の色関係が特定の色関係に該当する場合、前記色関係が前記特定の色関係に該当しないように前記文字データを変更する変更手段、
    前記変更後の文字データと前記背景画像データとを含む文書画像データを出力する出力手段、
    として機能させ
    前記変更手段は、変更後の前記文字データを含む前記文字画像データが有する印象が、変更前の前記文字データを含む前記文字画像データが有する印象と異なる場合、前記文字データの変更として、前記色情報を変更せずに前記文字データの表示態様を変更する、
    プログラム。
JP2018175394A 2018-09-19 2018-09-19 情報処理装置及びプログラム Active JP7206732B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018175394A JP7206732B2 (ja) 2018-09-19 2018-09-19 情報処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018175394A JP7206732B2 (ja) 2018-09-19 2018-09-19 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2020046994A JP2020046994A (ja) 2020-03-26
JP7206732B2 true JP7206732B2 (ja) 2023-01-18

Family

ID=69901363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018175394A Active JP7206732B2 (ja) 2018-09-19 2018-09-19 情報処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP7206732B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010039657A (ja) 2008-08-04 2010-02-18 Mitsubishi Electric Corp 画像情報確認装置及び画像情報確認プログラム
JP2012085105A (ja) 2010-10-12 2012-04-26 Ricoh Co Ltd 印刷装置、画像形成装置、色処理方法及びプログラム
JP2013120994A (ja) 2011-12-06 2013-06-17 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010039657A (ja) 2008-08-04 2010-02-18 Mitsubishi Electric Corp 画像情報確認装置及び画像情報確認プログラム
JP2012085105A (ja) 2010-10-12 2012-04-26 Ricoh Co Ltd 印刷装置、画像形成装置、色処理方法及びプログラム
JP2013120994A (ja) 2011-12-06 2013-06-17 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Nobuyuki Nishiuchi;Kimihiro Yamanaka;Kunie Beppu,A Study of Visibility Evaluation for the Combination of Character Color and Background Color on a Web Page,2008 Second International Conference on Secure System Integration and Reliability Improvement,IEEE,2008年,pp.191-192,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4579819
吉岡 拓耶 他,配色の視認性予測のための色覚モデルの構築と評価,電子情報通信学会技術研究報告 Vol.116 No.120,日本,一般社団法人電子情報通信学会,2006年06月27日,NC2016-12 (2016-07),pp.211-216

Also Published As

Publication number Publication date
JP2020046994A (ja) 2020-03-26

Similar Documents

Publication Publication Date Title
CN109741279A (zh) 图像饱和度调整方法、装置、存储介质及终端
US7864196B2 (en) Image display system and server device
US7616216B2 (en) Digital content creation system, program product, and storage medium
US7650564B2 (en) Global tone adjustment system for document files containing text, raster, and vector images
KR20090092035A (ko) 모자이크 영상을 생성하는 방법 및 이를 위한 장치
KR102587069B1 (ko) 스마트 음악-그림 앱 시스템
KR20240051898A (ko) 컬러 폰트를 제공하는 방법 및 디바이스
JP2006221601A (ja) デザイン作成支援装置及びデザイン作成支援プログラム並びにデザイン作成支援方法
JP7206732B2 (ja) 情報処理装置及びプログラム
JP6623603B2 (ja) 情報処理装置及びプログラム
JP2017037587A (ja) 情報処理装置及びプログラム
CN111783382B (zh) 一种文档视觉效果的推荐方法和装置
CN116820308A (zh) 一种数据大屏页面处理方法、装置以及相关设备
JP4611649B2 (ja) Web解析型音楽装置
Hsu et al. Colour preference for Taiwanese floral pattern fabrics
KR20210028401A (ko) 스타일 변환 장치 및 스타일 변환 방법
JP6425773B1 (ja) Guiカラーセット配色システム、guiカラーセットサーバ、guiカラーセットクライアント端末及びguiカラーセット配色プログラム
Panchaud et al. Smart cartographic background symbolization for map mashups in geoportals: A proof of concept by example of landuse representation
JP6623597B2 (ja) 情報処理装置及びプログラム
JP2006203622A (ja) 色処理方法、等色特性取得装置、色処理装置、及びプログラム
JP7155842B2 (ja) 情報処理装置及びプログラム
Moretti et al. Computational production of colour harmony. Part 2: Experimental evaluation of a tool for gui colour scheme creation
JP2021184081A (ja) 表示方法、装置及び記憶媒体
Cao et al. A study of preferred and natural memory colours across different ethnic groups
JP7305517B2 (ja) プログラム、情報処理装置、シミュレート方法及び情報処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221219

R150 Certificate of patent or registration of utility model

Ref document number: 7206732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150