JP2024075015A - デザイン修正装置、プログラム及びデザイン修正方法 - Google Patents

デザイン修正装置、プログラム及びデザイン修正方法 Download PDF

Info

Publication number
JP2024075015A
JP2024075015A JP2022186103A JP2022186103A JP2024075015A JP 2024075015 A JP2024075015 A JP 2024075015A JP 2022186103 A JP2022186103 A JP 2022186103A JP 2022186103 A JP2022186103 A JP 2022186103A JP 2024075015 A JP2024075015 A JP 2024075015A
Authority
JP
Japan
Prior art keywords
impression
input image
attention
image
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022186103A
Other languages
English (en)
Inventor
なつ子 峯岸
勝一 浦谷
暁 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2022186103A priority Critical patent/JP2024075015A/ja
Priority to KR1020230138961A priority patent/KR20240075688A/ko
Priority to US18/503,664 priority patent/US20240169606A1/en
Priority to EP23209002.7A priority patent/EP4375938A1/en
Priority to CN202311531340.2A priority patent/CN118071766A/zh
Publication of JP2024075015A publication Critical patent/JP2024075015A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Geometry (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Architecture (AREA)
  • Computational Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像の注目性又は印象について、改善を図る。【解決手段】デザイン修正装置は、入力画像に対して視覚的注意を引き易い部分を評価する注目性評価を行い、入力画像が観察者に与える印象を推定する印象評価を行い、注目性評価の結果と印象評価の結果とを組み合わせて、入力画像の注目性又は印象についてのデザインの修正案を提示する。例えば、デザイン修正装置は、入力画像に対する修正後の画像の印象の変化量が所定の範囲内となるような、注目性の改善方針を、修正案として提示する。あるいは、デザイン修正装置は、入力画像に対する修正後の画像の注目性の変化量が所定の範囲内となるような、印象の改善方針を、修正案として提示する。【選択図】図１０

Description

本発明は、デザイン修正装置、プログラム及びデザイン修正方法に関する。
一般に、商品のパッケージや広告等には、様々なデザインの画像が用いられており、デザインによって、目立つ箇所や人に与える印象が異なる。
デザイン画像の目立ち易さを評価するために、画像の画素ごとに注目性（顕著性）を定量化し、目立ち易さの度合いの大小を色で視覚化したヒートマップ（顕著性マップ）が利用されている。以下、デザイン画像中で視覚的注意を引き易い箇所や注目性を解析する技術を、注目性評価という。注目性評価により、デザイン画像中で目立たせたい箇所を目立たせるような改善提案に繋げることができる。
また、画像特徴量と、画像が人に知覚させる印象と、を対応付けたデータベースを用いて、評価対象画像の特徴量と、データベース中の画像特徴量と、を比較することにより、評価対象画像が観察者に知覚させる印象を推定評価する技術が知られている。以下、画像の印象を推定評価する技術を、印象評価という。
注目性評価では、デザイン画像中で目立たせたい箇所が目立っていない場合に、デザインを修正して、目立たせたい箇所が目立つように変更することができる。例えば、公知の顕著性マップ（Saliency Map）を用いた改善方法として、目立たせたい対象領域と背景領域とのコントラストを上げることを提案できる。
注目性評価技術として、例えば、視覚的注意モデリング技法を使用して、注意を引き易いオブジェクト等を評価するシステムが提案されている（特許文献１参照）。
米国特許出願公開第２０１０／００８６２００号明細書
しかしながら、注目性評価だけでは、目立ち易さだけが評価基準になるため、注目性改善を目的として手動又は自動でデザインを変更すると、デザインの印象が初期状態から大きく変わってしまう場合があった。このため、デザインによって伝えたい商品の印象が、商品コンセプトからずれてしまい、商品プロモーション効果を低下させるおそれがあった。
また、デザイン画像中の訴求点の注目性は十分確保できている状態で、注目性は維持したまま、商品の印象を変えたい場合もある。例えば、同じ商品名で季節ごとにパッケージの印象を変える等、商品のシリーズ化を図りたいといった事情が挙げられる。
本発明は、上記の従来技術における問題に鑑みてなされたものであって、画像の注目性又は印象について、改善を図ることを課題とする。
上記課題を解決するために、請求項１に記載の発明は、入力画像に対して視覚的注意を引き易い部分を評価する注目性評価を行う注目性評価手段と、前記入力画像が観察者に与える印象を推定する印象評価を行う印象評価手段と、前記注目性評価の結果と前記印象評価の結果とを組み合わせて、前記入力画像の注目性又は印象についてのデザインの修正案を提示する提示手段と、を備えるデザイン修正装置である。
請求項２に記載の発明は、請求項１に記載のデザイン修正装置において、前記提示された修正案の中から、ユーザーが採用したい修正案を選択するための選択手段を備える。
請求項３に記載の発明は、請求項１又は２に記載のデザイン修正装置において、前記提示手段は、前記入力画像に対する修正後の画像の印象の変化量が所定の範囲内となるような、注目性の改善方針を、前記修正案として提示する。
請求項４に記載の発明は、請求項３に記載のデザイン修正装置において、前記提示手段は、前記入力画像に対してユーザーにより指定された領域、又は、前記入力画像から自動検出された所定の領域の注目性を上げるための改善方針を提示する。
請求項５に記載の発明は、請求項３に記載のデザイン修正装置において、前記提示手段は、前記入力画像に対して注目性を向上させる対象領域の特徴量は変更せず、前記対象領域と背景領域との色相又は明度のコントラストが大きくなるように、前記背景領域の色を変更することで、前記注目性の改善方針を提示する。
請求項６に記載の発明は、請求項１又は２に記載のデザイン修正装置において、前記提示手段は、前記入力画像に対する修正後の画像の注目性の変化量が所定の範囲内となるような、印象の改善方針を、前記修正案として提示する。
請求項７に記載の発明は、請求項６に記載のデザイン修正装置において、前記提示手段は、前記入力画像に対してユーザーにより指定された領域、又は、前記入力画像から自動検出された所定の領域の注目性を維持するような、前記印象の改善方針を提示する。
請求項８に記載の発明は、請求項６に記載のデザイン修正装置において、前記提示手段は、前記入力画像に対して目立たせたい対象領域の注目性の変更を抑えつつ、前記入力画像の全体、前記対象領域、又は、前記対象領域の背景領域のいずれかの色相分布又は明度分布を変更することで、前記印象の改善方針を提示する。
請求項９に記載の発明は、請求項１又は２に記載のデザイン修正装置において、前記印象評価手段は、印象語が対応付けられた画像特徴量と前記入力画像の特徴量との類似度を算出し、当該算出された類似度が高い画像特徴量に対応する印象語及び当該類似度の数値を、前記印象評価の結果として出力する。
請求項１０に記載の発明は、請求項１又は２に記載のデザイン修正装置において、前記印象評価手段は、前記入力画像が色彩調和論に適合する配色であるか否かを判定し、前記提示手段は、前記入力画像の配色に前記色彩調和論に適合していない色がある場合に、前記入力画像中の当該適合していない色に対応する領域を他の領域と識別可能に表示させることで、印象の改善方針を提示する。
請求項１１に記載の発明は、請求項１又は２に記載のデザイン修正装置において、前記印象評価手段は、前記入力画像が色彩調和論のうち秩序の原理に適合する色相分布であるか否かを判定し、前記提示手段は、前記入力画像の色相分布に前記秩序の原理に適合していない色相がある場合に、前記入力画像中の当該適合していない色相に対応する領域の色を、前記秩序の原理に適合する色相になるよう変更することで、印象の改善方針を提示するものであり、前記提示手段は、前記入力画像中の各画素を、ドロネー分割を用いて複数のクラスターに分割し、クラスターごとに、色を修正する方向を決定する。
請求項１２に記載の発明は、コンピューターを、入力画像に対して視覚的注意を引き易い部分を評価する注目性評価を行う注目性評価手段、前記入力画像が観察者に与える印象を推定する印象評価を行う印象評価手段、前記注目性評価の結果と前記印象評価の結果とを組み合わせて、前記入力画像の注目性又は印象についてのデザインの修正案を提示する提示手段、として機能させるためのプログラムである。
請求項１３に記載の発明は、入力画像に対して視覚的注意を引き易い部分を評価する注目性評価を行う注目性評価工程と、前記入力画像が観察者に与える印象を推定する印象評価を行う印象評価工程と、前記注目性評価の結果と前記印象評価の結果とを組み合わせて、前記入力画像の注目性又は印象についてのデザインの修正案を提示する提示工程と、を含むデザイン修正方法である。
本発明によれば、画像の注目性又は印象について、改善を図ることができる。
本発明の第１の実施の形態におけるデザイン修正装置の機能的構成を示すブロック図である。 印象対応テーブルの例である。 画像上の方向・角度を説明するための図である。 画像を構成する各画素の画素値を説明するための図である。 デザイン修正装置により実行される第１の修正案提示処理を示すフローチャートである。 入力画像評価結果画面の例である。 注目性向上画像処理を示すフローチャートである。 高明度背景修正案作成処理を示すフローチャートである。 低明度背景修正案作成処理を示すフローチャートである。 修正案評価結果画面の例である。 第２の実施の形態におけるデザイン修正装置により実行される第２の修正案提示処理を示すフローチャートである。 入力画像評価結果画面の例である。 印象変更画像処理を示すフローチャートである。 修正案評価結果画面の例である。 第３の実施の形態におけるデザイン修正装置により実行される第３の修正案提示処理を示すフローチャートである。 修正推奨箇所提示画面の例である。 第４の実施の形態におけるデザイン修正装置により実行される第４の修正案提示処理を示すフローチャートである。 色修正アルゴリズム作成処理を示すフローチャートである。 図形の単純化を説明するための図である。 修正案提示画面の例である。
以下、図面を参照して、本発明の実施の形態について説明する。ただし、発明の範囲は、図示例に限定されない。
［第１の実施の形態］
まず、本発明の第１の実施の形態について説明する。
図１に、第１の実施の形態におけるデザイン修正装置１０の機能的構成を示す。図１に示すように、デザイン修正装置１０は、制御部１１、操作部１２、表示部１３、通信部１４、記憶部１５等を備えて構成されており、各部はバスにより接続されている。デザイン修正装置１０は、ＰＣ（Personal Computer）等のコンピューター装置により構成されている。
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等から構成され、デザイン修正装置１０の各部の処理動作を統括的に制御する。具体的には、ＣＰＵは、記憶部１５に記憶されている各種処理プログラムを読み出してＲＡＭに展開し、当該プログラムとの協働により各種処理を行う。
操作部１２は、カーソルキー、文字・数字入力キー及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、キーボードに対するキー操作やマウス操作により入力された操作信号を制御部１１に出力する。また、操作部１２は、表示部１３に積層されたタッチパネルにより構成され、表示画面に対するユーザーの入力を受け付け、タッチ操作の位置に応じた操作信号を制御部１１に出力することとしてもよい。
表示部１３は、ＬＣＤ（Liquid Crystal Display）等のモニターを備えて構成されており、制御部１１から入力される表示信号の指示に従って、各種画面を表示する。
通信部１４は、ネットワークインターフェース等により構成され、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）、インターネット等の通信ネットワークを介して接続された外部装置との間でデータの送受信を行う。
記憶部１５は、ＨＤＤ（Hard Disk Drive）や不揮発性の半導体メモリー等により構成され、各種処理プログラム、当該プログラムの実行に必要なデータ等を記憶している。
記憶部１５には、印象対応テーブル１５１（データベース）が記憶されている。印象対応テーブル１５１には、印象語と、当該印象語が示す印象を与える画像の特徴量（画像特徴量）と、が対応付けられている。画像の特徴量は、画像の特徴を示す値であり、画像又は画像の付帯情報から得られる。
印象対応テーブル１５１は、複数のサンプル画像のそれぞれに対して、デザインの専門家又は一般人である複数の被験者が当該サンプル画像の印象を評価することで、予め作成されている。印象対応テーブル１５１には、サンプル画像の印象を評価して得られた印象語（形容詞、形容動詞、比喩表現等）と、当該サンプル画像の特徴量と、が対応付けられている。印象対応テーブル１５１に含まれる印象語は、全被験者の平均的な印象を示している。
印象対応テーブル１５１を参照することで、評価対象とする画像の特徴量から、その画像が与える印象を取得することができる。
図２に、印象対応テーブル１５１の例を示す。図２に示す印象対応テーブル１５１では、画像が与える印象を示す印象語に対して、画像の特徴量として、複数の色の組み合わせ（色１～３）が対応付けられている。各色は、ＲＧＢそれぞれの階調値で示されている。
なお、印象対応テーブル１５１において、各印象語と対応付けられる画像の特徴量として、色以外の特徴量が含まれていてもよい。
ここでは、印象対応テーブル１５１を用いる場合について説明するが、サンプル画像の印象語と、サンプル画像の特徴量と、の対応関係に基づいて作成された相関式を用いることとしてもよい。
また、複数のサンプル画像のそれぞれについて、当該サンプル画像の特徴量を入力とし、複数の被験者によって評価された当該サンプル画像の印象語を出力として学習させた機械学習モデルを用いることとしてもよい。
制御部１１は、入力画像に対して視覚的注意を引き易い部分を評価する注目性評価を行う。すなわち、制御部１１は、注目性評価手段として機能する。
例えば、制御部１１は、入力画像の画素ごとに目立ち易さの度合い（すなわち顕著性）を定量化する顕著性マップ化処理を行う。
顕著性マップ化処理とは、画像に含まれる各画素を、当該画素部分の目立ち易さの度合いを示す値（注目性スコア値）で表す画像処理である。具体的には、顕著性マップ化処理では、赤緑方向及び黄青方向それぞれの色コントラストがある部分と、輝度コントラストがある部分と、所定方向（例えば、後述する図３と同様に角度を取った場合において、０度から３１５度まで４５度ごとの方向）と一致する直線成分（エッジ）がある部分を、目立ち易い部分（視認し易い部分）として、高い数値で表す。
赤緑方向の色コントラストがあることは、例えば、隣り合う画素間で、赤緑方向の色を示す値の差分が所定値以上であることに相当する。
黄青方向の色コントラストがあることは、例えば、隣り合う画素間で、黄青方向の色を示す値の差分が所定値以上であることに相当する。
輝度コントラストがあることは、例えば、隣り合う画素間で、輝度を示す値の差分が所定値以上であることに相当する。
また、所定方向を示す角度として、０度と１８０度（横方向）、４５度と２２５度（右上がり斜め方向）、９０度と２７０度（縦方向）、１３５度と３１５度（右下がり斜め方向）は、それぞれ同じ方向の直線成分に対応している。
制御部１１は、入力画像が観察者に与える印象を推定する印象評価を行う。すなわち、制御部１１は、印象評価手段として機能する。
印象評価として、第１印象評価、第２印象評価を用いる。
＜第１印象評価＞
第１印象評価は、印象語と画像特徴量とが対応付けられた対応情報を参照して、評価対象画像の印象を推定する処理である。
制御部１１は、評価対象画像の特徴量を分析する。
制御部１１は、印象語が対応付けられた画像特徴量と、評価対象画像の特徴量と、の類似度を算出する。制御部１１は、算出された類似度が高い画像特徴量に対応する印象語及び当該類似度の数値を、印象評価の結果として出力する。
「類似度が高い画像特徴量」として、印象語が対応付けられた画像特徴量のうち、評価対象画像の特徴量との類似度が高い方から所定の順位までの画像特徴量、評価対象画像の特徴量との類似度が所定の閾値より高い画像特徴量等を用いることができる。
このようにして、制御部１１は、画像が与える印象と当該画像の特徴量とが対応付けられた印象対応テーブル１５１に基づいて、評価対象画像の特徴量から、評価対象画像が与える印象を推定する。また、制御部１１は、評価対象画像に該当する印象語について、印象語に対応する画像特徴量と評価対象画像の特徴量との類似度（％）を、印象評価結果に含める。
評価対象画像の印象を評価するために用いられる画像特徴量として、色、輝度、明度、形状、画像の複雑度、余白率、文字面積率、ジャンプ率（画像中に存在する文字列のサイズ比率）等が挙げられる。
「色」は、画像データを構成する色情報で表される数値である。「色」は、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）それぞれの階調値で表される。また、色を表す値であれば、Ｌ＊ａ＊ｂ＊、ＣＭＹＫ等でもよい。
「輝度」は、例えば、Ｒ，Ｇ，Ｂデータから輝度値に変換した値である。また、評価対象となる画像が観察者に観察される環境を推定して、変換に必要な係数を決定し、輝度を算出してもよい。
「明度」は、色の属性の一つで、物体色の明るさを表す値である。
「形状」は、評価対象画像から抽出される形状を示す特徴量である。ここでは、図３に示すように、画像に対してＸ軸（水平方向・横方向）及びＹ軸（縦方向）を取り、Ｘ軸と一致する角度を０度としたときに、画像を構成する各画素のＲＧＢいずれかの値が、０度、４５度、９０度、１３５度と一致する方向に沿って連続して配置されているかどうかを表す特徴量を、「形状」として用いる。例えば、画像をグレー化して輝度分布のみで表してから、画像の階調値の数値配列と、０度、４５度、９０度、１３５度のいずれかの角度に一致するガボールフィルターとなる数値行列を畳み込み演算することで、当該角度に一致する部分が強調された画像を生成する。こうして得らえた画像の画素値が、形状を表す特徴量となる。
「複雑度」は、画像中で、人が輪郭（エッジ成分）と認識する線が占める度合いを表す値であり、いわゆる線画の書き込み量等に相当する。例えば、画像データを構成する各画素の階調値の分布に対して、ボックスカウント法に基づいてフラクタル次元を算出し、算出されたフラクタル次元を複雑度とする。この場合、複雑度の最小値は１となり、画像の輪郭線が混みあっているほど、複雑度は大きな値になる。
「余白率」は、画像中で、人が余白と認識する領域が占める度合いを表す値である。例えば、画像中でオブジェクトと認識される領域を抽出し、それ以外の領域を余白と定義する。オブジェクトと認識される領域の抽出方法としては、機械学習された結果を利用してもよいし、評価対象画像上で手動でオブジェクトを指定することとしてもよい。
なお、余白率は、複雑度と負の相関関係があり、複雑度が小さいほど余白率が大きいと判断できる場合がある。
「文字面積率」は、文字が占める領域の面積の画像全体に対する比率である。
「ジャンプ率（文字列のサイズ比率）」は、画像中の文字について、改行されずに連続して並ぶ文字列を１塊として抽出し、抽出された文字列の塊が占める領域の面積を当該文字列のサイズとしたときの、当該画像中にある文字列のサイズの比率である。
例えば、ある一つの画像中で最もサイズが大きい文字列のジャンプ率を１００として、他の文字列のサイズを比率で表す。
文字列の抽出方法としては、機械学習された結果を利用してもよいし、文字データが画像とは別に保存されるファイル形式の画像データである場合には、文字として記録されているデータ部分を抽出してもよい。
画像の特徴量の「色」として、画像全体を平均した色、配色パターンを用いることができる。
「画像全体を平均した色」は、画像を構成する各画素の画素値（ＲＧＢ階調値）を平均した色である。例えば、図４に示すように、画像を構成する各画素（縦方向ｍ個×横方向ｎ個）の画素値を（Ｒｉｊ，Ｇｉｊ，Ｂｉｊ）とすると、平均した色（Ｒ，Ｇ，Ｂ）は、以下の式（１）～（３）により求められる。
Figure 2024075015000002
Figure 2024075015000003
Figure 2024075015000004
「配色パターン」は、画像の中で類似する色を同色にする減色処理を行うことで得られた複数の色の組み合わせ（例えば、３色、５色、１０色等）である。また、「配色パターン」に、パターンに含まれる各色の面積率が含まれていてもよい。
以下の説明では、第１印象評価において画像の印象を評価する際の特徴量として、配色パターンを用いる。
制御部１１は、評価対象画像に対する減色処理により、画像から配色パターンを抽出する。そして、制御部１１は、印象対応テーブル１５１を参照して、評価対象画像の配色パターンとの類似度が高い色の組み合わせに対応する印象語を取得し、評価対象画像の印象とする。
＜第２印象評価＞
第２印象評価は、色彩調和論（特に、秩序の原理）に該当する色相分布パターンから、評価対象画像に最も近い色相分布パターンを特定する処理である。第２印象評価では、評価対象画像の色彩が調和しているか、という印象を推定している。
制御部１１は、評価対象画像が色彩調和論に適合する配色であるか否かを判定する。例えば、制御部１１は、評価対象画像を構成する色が、ジャッドの４原理（秩序の原理、なじみの原理、類似性の原理、明瞭性の原理）のいずれかに適合する配色であるか否かを判定する。
特に、制御部１１は、評価対象画像が色彩調和論のうち秩序の原理に適合する色相分布であるか否かを判定する。例えば、制御部１１は、評価対象画像の色相分布が、アイデンティティ、アナロジー、インターミディエート、オポーネント、ダイアード、トライアド、テトラード、ペンタード、ヘクサード等の色相分布パターンに適合するか否かを判定する。
評価対象画像が、色彩調和論の秩序の原理に適合する色相分布であるか否かを判定する手法において、例えば、Cohen-Or, Daniel, et al. "Color harmonization." ACM SIGGRAPH 2006 Papers. 2006. 624-630.に記載されている技術を用いることができる。
制御部１１は、注目性評価の結果と印象評価の結果とを組み合わせて、入力画像の注目性又は印象についてのデザインの修正案を提示する。すなわち、制御部１１は、提示手段として機能する。
修正案には、入力画像に対する修正・改善内容を文字・文章で示した情報、入力画像を修正・改善した画像等が含まれる。
第１の実施の形態では、制御部１１は、入力画像に対する修正後の画像の印象の変化量が所定の範囲内となるような、注目性の改善方針を、修正案として提示する。
第１印象評価において、「入力画像に対する修正後の画像の印象の変化量が所定の範囲内」とは、入力画像と修正後の画像について、同一の印象語に対応する画像特徴量との類似度の値が所定の範囲に収まることである。あるいは、同一の印象語について、入力画像における類似度から修正後の画像における類似度への変化量が所定の範囲内であることでもよい。
第２印象評価において、「入力画像に対する修正後の画像の印象の変化量が所定の範囲内」とは、色彩調和論の秩序の原理に適合する色相分布パターンのうち、入力画像の色相分布に最も近い色相分布パターンが、修正後の画像の色相分布にとっても最も近い色相分布パターンになることである。
制御部１１は、入力画像に対してユーザーにより指定された領域の注目性を上げるための改善方針を提示する。また、制御部１１は、入力画像から所定の領域（物体領域、文字領域等）を自動検出し、自動検出された所定の領域の注目性を上げるための改善方針を提示することとしてもよい。
制御部１１は、入力画像に対して注目性を向上させる対象領域の特徴量は変更せず、対象領域と背景領域との明度のコントラストが大きくなるように、背景領域の色を変更することで、注目性の改善方針を提示する。
ここで、「対象領域の特徴量は変更せず」とは、対象領域における特徴量の変化量が所定の範囲内であることを含む。
「背景領域」は、注目性を向上させる対象領域の背景とする領域である。背景領域は、ユーザーが指定してもよい。また、画像全体の色を減色処理した後に最も広範囲を占める色に該当する領域を、背景領域としてもよい。
制御部１１は、修正案を提示するにあたり、例えば、修正案を表示部１３に表示させる。また、制御部１１は、修正案をデータとして外部装置に送信したり、記録メディアに記録したりしてもよい。また、制御部１１は、修正案をプリンター等により印刷出力してもよい。
操作部１２は、提示された修正案の中から、ユーザーが採用したい修正案を選択する際に用いられる。すなわち、操作部１２は、選択手段として機能する。
制御部１１は、ユーザーによる操作部１２からの修正案の選択を受け付ける。
次に、デザイン修正装置１０における動作について説明する。
図５は、デザイン修正装置１０により実行される第１の修正案提示処理を示すフローチャートである。この処理は、制御部１１のＣＰＵと記憶部１５に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
第１の修正案提示処理では、入力画像の印象は大きく変えずに、訴求点の注目性を上げたい場合を想定している。
まず、制御部１１は、通信部１４を介して入力された、処理対象とするデザイン画像を取得する（ステップＳ１）。
次に、制御部１１は、入力画像を表示部１３に表示させ、ユーザーの操作部１２からの操作により、入力画像中で注目させる対象領域（注目対象領域Ａ）の指定を受け付ける（ステップＳ２）。
なお、制御部１１は、注目対象領域Ａとして、入力画像から物体領域又は文字領域を自動検出することとしてもよい。
次に、制御部１１は、入力画像に対して視覚的注意を引き易い部分を評価する注目性評価を行う（ステップＳ３）。例えば、制御部１１は、入力画像の画素ごとに目立ち易さの度合いを定量化する（顕著性マップ化処理）。
次に、制御部１１は、入力画像が観察者に与える印象を推定する印象評価として、第１印象評価を行う（ステップＳ４）。具体的には、制御部１１は、入力画像を構成する各画素の色について、相互に類似する色を同色にまとめる減色処理を行い、まとめられた複数の色（配色パターン）のそれぞれが画像中で占める割合（面積率）を求める。制御部１１は、入力画像の配色パターンと印象対応テーブル１５１の配色パターンとの類似度を算出し、類似度が高い配色パターンに対応する印象語を、入力画像の印象として推定する。
次に、制御部１１は、入力画像が観察者に与える印象を推定する印象評価として、第２印象評価を行う（ステップＳ５）。具体的には、制御部１１は、入力画像が色彩調和論のうち秩序の原理に適合する色相分布であるか否かを判定する。また、制御部１１は、秩序の原理に適合する色相分布パターンのうち、入力画像の色相分布に最も近い色相分布パターンを特定する。
次に、制御部１１は、入力画像に対する評価結果を提示する（ステップＳ６）。具体的には、制御部１１は、注目性評価結果、第１印象評価結果及び第２印象評価結果を表示部１３に表示させる。
図６に、表示部１３に表示される入力画像評価結果画面１３１の例を示す。入力画像評価結果画面１３１には、画像領域２１、注目性評価結果領域２２、第１印象評価結果領域２３、第２印象評価結果領域２４が含まれる。
画像領域２１には、評価対象とされた入力画像（修正前）が表示される。画像領域２１において、ユーザーが指定した注目対象領域Ａを表示させてもよい。
注目性評価結果領域２２には、入力画像に対する注目性評価結果（顕著性マップ）が表示される。顕著性マップは、顕著性（注目性）の度合いに応じた色や濃度で、各画素を表現したものであり、例えば、顕著性が高い部分を赤で表示する。なお、顕著性の度合いに対して、どの色を割り当てるかは、任意に設定可能である。
第１印象評価結果領域２３には、入力画像に対する第１印象評価結果が表示される。第１印象評価結果領域２３には、配色パターン領域２３Ａ、印象語領域２３Ｂが含まれる。
配色パターン領域２３Ａには、入力画像を解析して得られた配色パターン（ドミナントカラー）が表示される。制御部１１は、配色パターン領域２３Ａに、入力画像に対して減色処理した後の各色を、画像中の各色の面積率で示した積み上げ棒グラフを表示させる。
印象語領域２３Ｂには、入力画像から推定された印象語と、その印象語についての類似度が表示される。ここでは、印象語領域２３Ｂに、「のんびりした」という印象語と、類似度「９７．５４％」が表示されている。
第２印象評価結果領域２４には、入力画像に対する第２印象評価結果が表示される。第２印象評価結果領域２４には、色相分布領域２４Ａ、適合パターン名領域２４Ｂが含まれる。
色相分布領域２４Ａには、入力画像の各画素の彩度及び色相をプロットした色相環グラフが表示される。色相環グラフでは、円の周方向に沿って色相を配置し、円の半径方向に彩度を取っている。具体的には、円の中心が無彩色に相当し、円の外側に向かって彩度が高くなっている。また、色相環グラフにおいて、プロットされる点（円形）の色は、画像中の色を示しており、プロットされる点（円形）の大きさは、画像中のその色の多さ（画素数）を示している。
適合パターン名領域２４Ｂには、色相環グラフから特定された色相分布パターンが表示される。
色相分布領域２４Ａに示されるように、入力画像は、イエロー及びオレンジの色相に色が集中している。また、入力画像の色相分布は、色彩調和論の秩序の原理の「アイデンティティ」という色相分布パターンに適合している。「アイデンティティ」は、同じ色相のみを用いた配色を示す色相分布パターンである。
また、色相分布領域２４Ａの色相環グラフ上には、特定された色相分布パターンに相当する色相分布を示す扇形の領域Ｐ１が表示される。
次に、制御部１１は、入力画像を表示部１３に表示させ、ユーザーの操作部１２からの操作により、入力画像中で背景領域Ｂの指定を受け付ける（ステップＳ７）。ステップＳ６で、既に入力画像が表示部１３に表示されている場合には、ユーザーは、その画像上で背景領域Ｂを指定してもよい。また、制御部１１は、入力画像全体の色を減色処理した後に最も広範囲を占める色に該当する領域を求め、この領域を背景領域Ｂとしてもよい。
次に、制御部１１は、注目性向上画像処理を行う（ステップＳ８）。
ここで、図７を参照して、注目性向上画像処理について説明する。
制御部１１は、注目対象領域Ａの平均の色及び背景領域Ｂの平均の色を、それぞれ算出する（ステップＳ２１）。
次に、制御部１１は、高明度背景修正案作成処理（ステップＳ２２）、低明度背景修正案作成処理（ステップＳ２３）を行う。
高明度背景修正案作成処理（ステップＳ２２）では、図８に示すように、制御部１１は、入力画像に対して、背景領域Ｂの明度を注目対象領域Ａの明度よりも１ステップ上げる（ステップＳ３１）。１ステップは、背景領域Ｂの明度を変更する際の刻みとなる値である。すなわち、制御部１１は、背景領域Ｂの明度を注目対象領域Ａの明度よりも上げた画像を生成する。
次に、制御部１１は、修正された画像（背景領域Ｂの明度が上げられた画像）に対して、第１印象評価を行う（ステップＳ３２）。この処理は、評価対象が「修正された画像」であることを除いて、ステップＳ４の処理と同様である。
次に、制御部１１は、印象対応テーブル１５１の印象語のうち、修正前に最も類似度が高かった印象語について、類似度の変化量が±２０％の範囲内であるか否かを判断する（ステップＳ３３）。すなわち、制御部１１は、ステップＳ４で最も類似度が高かった印象語について、修正された画像における類似度と、入力画像における類似度との差の絶対値が２０％以下であるか否かを判断する。
修正前に最も類似度が高かった印象語について、類似度の変化量が±２０％の範囲内である場合には（ステップＳ３３；ＹＥＳ）、制御部１１は、修正された画像に対して、背景領域Ｂの明度を更に１ステップ上げる（ステップＳ３４）。すなわち、制御部１１は、背景領域Ｂの明度を更に上げた画像を生成する。
ステップＳ３４の後、処理はステップＳ３２に戻る。
ステップＳ３３において、修正前に最も類似度が高かった印象語について、類似度の変化量が±２０％の範囲内でなくなった場合には（ステップＳ３３；ＮＯ）、制御部１１は、背景領域Ｂの明度を１ステップ前の値にする（ステップＳ３５）。すなわち、制御部１１は、印象が大きく変わった場合には、１ステップ前の状態に戻す。
次に、制御部１１は、背景領域Ｂの明度が１ステップ前の状態の修正後の画像を、修正案１とし（ステップＳ３６）、修正案１を記憶部１５に記憶させる。
次に、制御部１１は、修正案１の画像に対し、第２印象評価（ステップＳ３７）及び注目性評価（ステップＳ３８）を行う。この処理は、評価対象が修正案１であることを除いて、ステップＳ５及びステップＳ３の処理と同様である。
以上で、高明度背景修正案作成処理が終了する。
低明度背景修正案作成処理（ステップＳ２３）では、図９に示すように、制御部１１は、入力画像に対して、背景領域Ｂの明度を注目対象領域Ａの明度よりも１ステップ下げる（ステップＳ４１）。１ステップは、背景領域Ｂの明度を変更する際の刻みとなる値である。すなわち、制御部１１は、背景領域Ｂの明度を注目対象領域Ａの明度よりも下げた画像を生成する。
次に、制御部１１は、修正された画像（背景領域Ｂの明度が下げられた画像）に対して、第１印象評価を行う（ステップＳ４２）。この処理は、評価対象が「修正された画像」であることを除いて、ステップＳ４の処理と同様である。
次に、制御部１１は、印象対応テーブル１５１の印象語のうち、修正前に最も類似度が高かった印象語について、類似度の変化量が±２０％の範囲内であるか否かを判断する（ステップＳ４３）。
修正前に最も類似度が高かった印象語について、類似度の変化量が±２０％の範囲内である場合には（ステップＳ４３；ＹＥＳ）、制御部１１は、修正された画像に対して、背景領域Ｂの明度を更に１ステップ下げる（ステップＳ４４）。すなわち、制御部１１は、背景領域Ｂの明度を更に下げた画像を生成する。
ステップＳ４４の後、処理はステップＳ４２に戻る。
ステップＳ４３において、修正前に最も類似度が高かった印象語について、類似度の変化量が±２０％の範囲内でなくなった場合には（ステップＳ４３；ＮＯ）、制御部１１は、背景領域Ｂの明度を１ステップ前の値にする（ステップＳ４５）。
次に、制御部１１は、背景領域Ｂの明度が１ステップ前の状態の修正後の画像を、修正案２とし（ステップＳ４６）、修正案２を記憶部１５に記憶させる。
次に、制御部１１は、修正案２の画像に対し、第２印象評価（ステップＳ４７）及び注目性評価（ステップＳ４８）を行う。この処理は、評価対象が修正案２であることを除いて、ステップＳ５及びステップＳ３の処理と同様である。
以上で、低明度背景修正案作成処理が終了する。
図７において、ステップＳ２１の後、制御部１１は、ステップＳ２２，Ｓ２３の処理とは別に、入力画像において、背景領域Ｂの色相を、ａ＊ｂ＊平面座標の原点に対して、注目対象領域Ａの色相と点対称の位置にある色相に変更する（ステップＳ２４）。すなわち、制御部１１は、背景領域Ｂの色相を、色相環において注目対象領域Ａと反対側の色（補色）に変更した画像を生成する。
次に、制御部１１は、修正後の画像を修正案３とし（ステップＳ２５）、修正案３を記憶部１５に記憶させる。
次に、制御部１１は、修正案３の画像に対し、第１印象評価（ステップＳ２６）、第２印象評価（ステップＳ２７）及び注目性評価（ステップＳ２８）を行う。この処理は、評価対象が修正案３であることを除いて、ステップＳ４、ステップＳ５及びステップＳ３の処理と同様である。
ステップＳ２２、ステップＳ２３、ステップＳ２８の後、図５に戻り、制御部１１は、修正案を適用した画像を提示する（ステップＳ９）。具体的には、制御部１１は、修正案１～３を表示部１３に表示させる。
また、制御部１１は、各修正案について、注目性評価結果、第１印象評価結果及び第２印象評価結果を提示する（ステップＳ１０）。
図１０に、表示部１３に表示される修正案評価結果画面１３２の例を示す。修正案評価結果画面１３２には、入力画像領域２０、修正案１領域３０、修正案２領域４０、修正案３領域５０が含まれる。
入力画像領域２０の構成は、入力画像評価結果画面１３１（図６参照）と同様であるため、同一の符号を付し、説明を省略する。
修正案１領域３０には、画像領域３１、注目性評価結果領域３２、第１印象評価結果領域３３（配色パターン領域３３Ａ、印象語領域３３Ｂ）、第２印象評価結果領域３４（色相分布領域３４Ａ、適合パターン名領域３４Ｂ）が含まれる。修正案１領域３０の構成は、評価対象が修正案１であることを除いて、入力画像領域２０と同様であるため、同列の符号を付し、説明を省略する。
修正案２領域４０には、画像領域４１、注目性評価結果領域４２、第１印象評価結果領域４３（配色パターン領域４３Ａ、印象語領域４３Ｂ）、第２印象評価結果領域４４（色相分布領域４４Ａ、適合パターン名領域４４Ｂ）が含まれる。修正案２領域４０の構成は、評価対象が修正案２であることを除いて、入力画像領域２０と同様であるため、同列の符号を付し、説明を省略する。
修正案３領域５０には、画像領域５１、注目性評価結果領域５２、第１印象評価結果領域５３（配色パターン領域５３Ａ、印象語領域５３Ｂ）、第２印象評価結果領域５４（色相分布領域５４Ａ、適合パターン名領域５４Ｂ）が含まれる。修正案３領域５０の構成は、評価対象が修正案３であることを除いて、入力画像領域２０と同様であるため、同列の符号を付し、説明を省略する。
修正案１では、入力画像に対して背景領域Ｂの明度を上げることで、注目対象領域Ａと背景領域Ｂとのコントラストが上がる。これにより、修正案１領域３０の注目性評価結果領域３２に示されるように、修正案１では、入力画像と比較して注目対象領域Ａの注目性が上がっている。
一方、印象語領域３３Ｂ及び適合パターン名領域３４Ｂに示されるように、印象語や色相分布パターン名は入力画像と同じであり、入力画像と比較して画像の印象はあまり変化していないことが分かる。
修正案２では、入力画像に対し、背景領域Ｂの明度を下げることで、注目対象領域Ａと背景領域Ｂとのコントラストが上がる。これにより、修正案２領域４０の注目性評価結果領域４２に示されるように、修正案２では、入力画像と比較して注目対象領域Ａの注目性が上がっている。
一方、印象語領域４３Ｂ及び適合パターン名領域４４Ｂに示されるように、印象語や色相分布パターン名は入力画像と同じであり、入力画像と比較して画像の印象はあまり変化していないことが分かる。
修正案３では、入力画像に対し、背景領域Ｂを色相環において注目対象領域Ａと反対側の色にすることで、注目対象領域Ａと背景領域Ｂとのコントラストが上がる。これにより、修正案３領域５０の注目性評価結果領域５２に示されるように、修正案３では、入力画像と比較して注目対象領域Ａの注目性が上がっている。
また、印象語領域５３Ｂに示されるように、入力画像と共通の「のんびりした」という印象語の類似度は下がり、入力画像にはなかった「ポップな」という印象語の類似度が高くなっている。また、色相分布領域５４Ａに示されるように、修正案３の画像は、イエロー及びオレンジの色相と、ブルー及びアジュールの色相に色が集中している。また、適合パターン名領域５４Ｂに示されるように、修正案３の色相分布は、色彩調和論の秩序の原理の「ダイアード」という色相分布パターンに適合しており、入力画像とは異なる結果となっている。「ダイアード」は、色相環で反対側に位置する補色の関係にある色の組み合わせを示す色相分布パターンである。
修正案１及び修正案２は、修正された画像の第１印象評価の結果を確認しながら、注目性の改善の程度を決定したものである。具体的には、入力画像の印象語（例えば、「のんびりした」）についての類似度の変化量を所定の範囲内としながら、背景領域Ｂの明度を最大限上げた画像を修正案１とし、背景領域Ｂの明度を最大限下げた画像を修正案２とした。修正案１及び修正案２では、印象を大きく変えずに、注目性を向上させることができる。
また、画像の印象の変化とは関係なく、注目性の改善のみを優先した修正案３を作成した。修正案３は、印象が変わってもよいか、ユーザーが判断するための参考（比較例）とすることを目的として、提示される。
入力画像から印象を大きく変えたくない場合には、修正案１及び修正案２のみを提示することが望ましい。
一方、デザイン画像から観察者に与えたい印象に制約がない場合、すなわち、画像が認知されることが最大の目的であって、注目性改善が達成できれば印象が変わっても構わない場合には、修正案３も提示することで、ユーザーの選択の幅を広げることができる。
次に、制御部１１は、ユーザーの操作部１２からの操作により、提示された修正案の中から、いずれかの修正案の選択を受け付ける（ステップＳ１１）。
以上で、第１の修正案提示処理が終了する。
以上説明したように、第１の実施の形態によれば、デザイン修正装置１０の制御部１１は、注目性評価の結果と印象評価の結果とを組み合わせて、入力画像の注目性又は印象についてのデザインの修正案を提示する。これにより、ユーザーのデザイン修正意思の有無にかかわらず、画像の注目性又は印象について、改善を図ることができる。
また、提示された修正案の中から、ユーザーが採用したい修正案を選択することで、ユーザーが希望する修正結果を得ることができる。
また、制御部１１は、入力画像に対する修正後の画像の印象の変化量が所定の範囲内となるような、注目性の改善方針を、修正案として提示する。これにより、デザインの印象を大きく変更することなく、注目させたい領域がより注目されるように、注目性を改善することができる。
例えば、制御部１１は、入力画像に対してユーザーにより指定された領域の注目性を上げるための改善方針を提示する。ユーザーが注目性を上げたい領域を指定することで、提示される修正案が、ユーザーの希望から大きく外れることがなくなる。
また、制御部１１が、入力画像から所定の領域（物体領域、文字領域等）を自動検出する場合には、自動検出された所定の領域の注目性を上げるための改善方針を提示することができる。この場合、ユーザーによる領域の指定が不要となり、注目性を上げる領域の候補を、ユーザーに提示することができる。
また、制御部１１は、入力画像に対して注目対象領域Ａの特徴量は変更せず、注目対象領域Ａと背景領域Ｂとの明度のコントラストが大きくなるように、背景領域Ｂの色を変更することで、注目性の改善方針を提示する。これにより、注目対象領域Ａが有する印象を大きく変更することなく、注目対象領域Ａの注目性を改善することができる。
なお、第１の実施の形態では、入力画像に対して注目対象領域Ａと背景領域Ｂとの明度のコントラストが大きくなるように、背景領域Ｂの色を変更することで、注目性を修正したが、入力画像に対して注目対象領域Ａの特徴量は変更せず、注目対象領域Ａと背景領域Ｂとの色相のコントラストが大きくなるように、背景領域Ｂの色を変更することで、注目性の改善方針を提示してもよい。
また、第１印象評価において、制御部１１は、印象語が対応付けられた画像特徴量と、評価対象画像の特徴量と、の類似度を算出し、算出された類似度が高い画像特徴量に対応する印象語及び当該類似度の数値を、印象評価の結果として出力する。印象対応テーブル１５１を利用することで、評価対象画像の印象及びその度合いを求めることが容易になる。
また、修正案は、文字・文章で示した情報や、修正・改善されたデザイン案を含むので、ユーザーは、提示された修正案を選択することで、入力画像のデザインを修正することができる。
文章による修正案としては、例えば、「目立たせたい領域と背景領域とのコントラストを大きくしてください。」等のメッセージが表示される。
［第２の実施の形態］
次に、本発明を適用した第２の実施の形態について説明する。
第２の実施の形態におけるデザイン修正装置は、第１の実施の形態に示したデザイン修正装置１０と同様の構成であるため、図１を流用して、その構成については図示及び説明を省略する。以下、第２の実施の形態に特徴的な構成及び処理について説明する。
第２の実施の形態では、注目性を維持しながら、画像の印象を変更するような修正案を提示する場合について説明する。
制御部１１は、注目性評価の結果と印象評価の結果とを組み合わせて、入力画像の注目性又は印象についてのデザインの修正案を提示する。
制御部１１は、入力画像に対する修正後の画像の注目性の変化量が所定の範囲内となるような、印象の改善方針を、修正案として提示する。
例えば、制御部１１は、入力画像に対してユーザーにより指定された領域の注目性を維持するような、印象の改善方針を提示する。また、制御部１１は、入力画像から所定の領域（物体領域、文字領域等）を自動検出し、自動検出された所定の領域の注目性を維持するような、印象の改善方針を提示することとしてもよい。
ここで、「領域の注目性を維持する」とは、領域における注目性の変化量が所定の範囲内であることを含む。
制御部１１は、入力画像に対して目立たせたい対象領域の注目性の変更を抑えつつ、対象領域の背景領域の色相分布を変更することで、印象の改善方針を提示する。
ここで、「対象領域の注目性の変更を抑える」とは、対象領域における注目性の変化量が所定の範囲内であることを含む。
「背景領域」は、目立たせたい対象領域の背景とする領域である。背景領域は、ユーザーが指定してもよい。また、画像全体の色を減色処理した後に最も広範囲を占める色に該当する領域を、背景領域としてもよい。
次に、動作について説明する。
図１１は、第２の実施の形態におけるデザイン修正装置１０により実行される第２の修正案提示処理を示すフローチャートである。この処理は、制御部１１のＣＰＵと記憶部１５に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
第２の修正案提示処理では、入力画像において訴求点の注目性は十分確保されているが、印象の異なる複数の修正案からデザインの発想を広げたい場合を想定している。
ステップＳ５１～ステップＳ５７の処理については、第１の修正案提示処理（図５参照）のステップＳ１～ステップＳ７の処理と同様であるため、説明を省略する。
図１２に、ステップＳ５６において、表示部１３に表示される入力画像評価結果画面１３３の例を示す。入力画像評価結果画面１３３には、画像領域６１、注目性評価結果領域６２、第１印象評価結果領域６３、第２印象評価結果領域６４が含まれる。
画像領域６１には、評価対象とされた入力画像（修正前）が表示される。画像領域において、ユーザーが指定した注目対象領域Ａを表示させてもよい。
注目性評価結果領域６２には、入力画像に対する注目性評価結果が表示される。注目性評価結果領域６２には、顕著性マップ領域６２Ａ、注目性評価値領域６２Ｂが含まれる。
顕著性マップ領域６２Ａには、入力画像に対して作成された顕著性マップが表示される。
注目性評価値領域６２Ｂには、入力画像に対して算出された注目対象領域Ａの注目性評価値が表示される。注目性評価値は、評価対象画像の画素ごとに算出された注目性スコア値の総和（Ｕ１）に対する、注目対象領域Ａに含まれる画素の注目性スコア値の和（Ｕ２）の比率（Ｕ２／Ｕ１）とする。ここでは、注目性評価値領域６２Ｂに、「０．２７１４」という値が表示されている。
第１印象評価結果領域６３には、入力画像に対する第１印象評価結果が表示される。第１印象評価結果領域６３には、配色パターン領域６３Ａ、近い印象語領域６３Ｂ、遠い印象語領域６３Ｃが含まれる。
配色パターン領域６３Ａには、入力画像を解析して得られた配色パターン（ドミナントカラー）が表示される。
近い印象語領域６３Ｂには、入力画像に対する「近い印象語」、その印象語についての「類似度」、その印象語に対応する配色パターンが表示される。例えば、制御部１１は、印象対応テーブル１５１の画像特徴量と入力画像の特徴量との類似度が高いものから、当該画像特徴量に対応する印象語を、「近い印象語」として抽出する。ここでは、近い印象語領域６３Ｂに、「清潔な：９７．７９％」、「清麗な：９５．４３％」等の印象語と類似度が表示されている。
遠い印象語領域６３Ｃには、入力画像に対する「遠い印象語」、その印象語についての「類似度」、その印象語に対応する配色パターンが表示される。例えば、制御部１１は、印象対応テーブル１５１の画像特徴量と入力画像の特徴量との類似度が低いものから、当該画像特徴量に対応する印象語を、「遠い印象語」として抽出する。ここでは、遠い印象語領域６３Ｃに、「貫禄のある：０．０６％」、「風格のある：０．１２％」等の印象語と類似度が表示されている。
第２印象評価結果領域６４には、入力画像に対する第２印象評価結果が表示される。第２印象評価結果領域６４には、色相分布領域６４Ａ、適合パターン名領域６４Ｂが含まれる。
色相分布領域６４Ａには、入力画像の各画素の彩度及び色相をプロットした色相環グラフが表示される。
適合パターン名領域６４Ｂには、色相環グラフから特定された色相分布パターンが表示される。
次に、制御部１１は、印象変更画像処理を行う（ステップＳ５８）。
ここで、図１３を参照して、印象変更画像処理について説明する。
制御部１１は、ステップＳ５７で指定された背景領域Ｂが無彩色であるか否かを判断する（ステップＳ７１）。例えば、制御部１１は、背景領域Ｂの彩度が所定値以下である場合に、無彩色であると判断する。
背景領域Ｂが無彩色でない場合には（ステップＳ７１；ＮＯ）、制御部１１は、注目対象領域Ａの平均の色及び背景領域Ｂの平均の色を、それぞれ算出する（ステップＳ７２）。
ステップＳ７１において、背景領域Ｂが無彩色である場合には（ステップＳ７１；ＹＥＳ）、制御部１１は、注目対象領域Ａの平均の色を算出する（ステップＳ７３）。
次に、制御部１１は、ａ＊ｂ＊平面座標の原点に対して、注目対象領域Ａの平均の色と点対称の位置にある色を、背景領域Ｂの平均の色とする（ステップＳ７４）。背景領域Ｂが無彩色である場合には、背景領域Ｂの色相を変更できないので、背景領域Ｂの初期の色相を、色相環において注目対象領域Ａと反対側の色（補色）に移動させる。
ステップＳ７２又はステップＳ７４の後、制御部１１は、入力画像に対し、背景領域Ｂの色相ｈを、Ｌ＊Ｃ＊ｈ色空間において＋３０度変更する（ステップＳ７５）。すなわち、制御部１１は、背景領域Ｂの色相ｈを変更した画像を生成する。
ここで、ｎ＝０とする（ステップＳ７６）。
次に、制御部１１は、ｎに１を加える（ステップＳ７７）。
次に、制御部１１は、修正された画像（背景領域Ｂの色相ｈが変更された画像）の注目対象領域Ａの注目性評価を実施し、ｎ番目の注目性評価結果とする（ステップＳ７８）。この処理は、評価対象が「修正された画像」であることを除いて、第１の修正案提示処理（図５参照）のステップＳ３の処理と同様である。
次に、制御部１１は、修正された画像における注目対象領域Ａの注目性評価値が、入力画像における注目対象領域Ａの注目性評価値の０．８倍以上であるか否かを判断する（ステップＳ７９）。
修正された画像における注目対象領域Ａの注目性評価値が、入力画像における注目対象領域Ａの注目性評価値の０．８倍以上である場合には（ステップＳ７９；ＹＥＳ）、制御部１１は、修正後の画像を修正案ｎとし（ステップＳ８０）、修正案ｎを記憶部１５に記憶させる。
また、制御部１１は、直近のステップＳ７８で得られたｎ番目の注目性評価結果を修正案ｎの結果とする（ステップＳ８１）。
次に、制御部１１は、背景領域Ｂの色相ｈを、Ｌ＊Ｃ＊ｈ色空間において更に＋３０度変更する（ステップＳ８２）。すなわち、制御部１１は、背景領域Ｂの色相ｈを更に変更した画像を生成する。
次に、制御部１１は、現在の背景領域Ｂの色相ｈが、入力画像における背景領域Ｂの色相と同じであるか否かを判断する（ステップＳ８３）。なお、ステップＳ７４で背景領域Ｂの色相を変更した場合には、制御部１１は、現在の背景領域Ｂの色相ｈが、ステップＳ７４で変更された後の背景領域Ｂの色相と同じであるか否かを判断する。
現在の背景領域Ｂの色相ｈが、入力画像における背景領域Ｂの色相と同じでない場合には（ステップＳ８３；ＮＯ）、処理はステップＳ７７に戻る。すなわち、背景領域Ｂの色相の変更が、色相環を１周するまで、処理が繰り返される。
ステップＳ７９において、修正された画像における注目対象領域Ａの注目性評価値が、入力画像における注目対象領域Ａの注目性評価値の０．８倍未満である場合には（ステップＳ７９；ＮＯ）、制御部１１は、背景領域Ｂの色相ｈを、Ｌ＊Ｃ＊ｈ色空間において更に＋３０度変更する（ステップＳ８４）。すなわち、制御部１１は、背景領域Ｂの色相ｈを更に変更した画像を生成する。
次に、制御部１１は、ｎから１を引き（ステップＳ８５）、処理はステップＳ７７に戻る。すなわち、注目対象領域Ａの注目性が大きく下がった場合には、修正案に含めないこととする。
ステップＳ８３において、現在の背景領域Ｂの色相ｈが、入力画像における背景領域Ｂの色相と同じである場合には（ステップＳ８３；ＹＥＳ）、制御部１１は、修正案１～ｎのそれぞれに対し、第１印象評価及び第２印象評価を行う（ステップＳ８６）。この処理は、評価対象が修正案１～ｎであることを除いて、第１の修正案提示処理（図５参照）のステップＳ４及びステップＳ５の処理と同様である。
以上で、印象変更画像処理が終了する。
図１１に戻り、ステップＳ５９～ステップＳ６１の処理については、第１の修正案提示処理（図５参照）のステップＳ９～ステップＳ１１の処理と同様であるため、説明を省略する。
以上で、第２の修正案提示処理が終了する。
図１４に、ステップＳ５９及びステップＳ６０において、表示部１３に表示される修正案評価結果画面１３４の例を示す。修正案評価結果画面１３４には、入力画像領域６０、修正案１領域７０、修正案２領域８０が含まれる。
入力画像領域６０の構成は、基本的には、入力画像評価結果画面１３３（図１２参照）と同様であるため、同一の符号を付し、説明を省略する。ただし、入力画像領域６０には、第１印象評価結果領域６３に、遠い印象語領域６３Ｃが含まれない。
なお、第１印象評価により推定される印象語（近い印象語）として、類似度が高い方から何番目までの印象語を提示するかは、任意に設定可能とする。また、図１４では、遠い印象語を表示していないが、近い印象語とともに、遠い印象語を表示してもよい。
修正案１領域７０には、画像領域７１、注目性評価結果領域７２（顕著性マップ領域７２Ａ、注目性評価値領域７２Ｂ）、第１印象評価結果領域７３（配色パターン領域７３Ａ、近い印象語領域７３Ｂ）、第２印象評価結果領域７４（色相分布領域７４Ａ、適合パターン名領域７４Ｂ）が含まれる。修正案１領域７０の構成は、評価対象が修正案１であることを除いて、入力画像領域６０と同様であるため、同列の符号を付し、説明を省略する。
修正案２領域８０には、画像領域８１、注目性評価結果領域８２（顕著性マップ領域８２Ａ、注目性評価値領域８２Ｂ）、第１印象評価結果領域８３（配色パターン領域８３Ａ、近い印象語領域８３Ｂ）、第２印象評価結果領域８４（色相分布領域８４Ａ、適合パターン名領域８４Ｂ）が含まれる。修正案２領域８０の構成は、評価対象が修正案２であることを除いて、入力画像領域６０と同様であるため、同列の符号を付し、説明を省略する。
修正案１領域７０の近い印象語領域７３Ｂに示されるように、修正案１では、「青春の：７６．１１％」や「ポップな：７５．２１％」が上位に入っており、入力画像と比較して印象語が大きく変わったことが分かる。
また、適合パターン名領域７４Ｂに示されるように、修正案１の色相分布は、色彩調和論の秩序の原理の「ダイアード」という色相分布パターンに適合しており、入力画像とは異なる結果となっている。
一方、注目性評価値領域７２Ｂに示されるように、修正案１では、注目対象領域Ａの注目性評価値は「０．２９３５」であり、入力画像と略同じレベルを維持している。
修正案２領域８０の近い印象語領域８３Ｂに示されるように、修正案２では、「あどけない：９６．３６％」や「甘美な：９２．８７％」が上位に入っており、入力画像と比較して印象語が大きく変わったことが分かる。
一方、注目性評価値領域８２Ｂに示されるように、修正案２では、注目対象領域Ａの注目性評価値は「０．２５３５」であり、入力画像と略同じレベルを維持している。
図１４では、「注目性を大きく変えず、印象を変えた」２通りの修正案が提示されている。訴求点（注目対象領域Ａ）の注目性は維持したまま、入力画像と合わせて３通りの印象を持った画像が提示されるため、例えば、商品をシリーズ展開する際に有効である。
修正案１及び修正案２は、修正された画像の注目性評価の結果を確認しながら、印象を変更させたものである。具体的には、入力画像の注目対象領域Ａの注目性が下がり過ぎないようにしながら、色相が異なるバリエーションを修正案とした。
以上説明したように、第２の実施の形態によれば、第１の実施の形態と同様、画像の注目性又は印象について、改善を図ることができる。
また、制御部１１は、入力画像に対する修正後の画像の注目性の変化量が所定の範囲内となるような、印象の改善方針を、修正案として提示する。これにより、デザインの注目性を大きく変更することなく、デザインの印象を改善することができる。
例えば、制御部１１は、入力画像に対してユーザーにより指定された領域の注目性を維持するような、印象の改善方針を提示する。ユーザーが注目性を維持したい領域を指定することで、提示される修正案が、ユーザーの希望から大きく外れることがなくなる。
また、制御部１１が、入力画像から所定の領域（物体領域、文字領域等）を自動検出する場合には、自動検出された所定の領域の注目性を維持するような、印象の改善方針を提示することができる。この場合、ユーザーによる領域の指定が不要となる。
また、制御部１１は、入力画像に対して注目対象領域Ａの注目性の変更を抑えつつ、背景領域Ｂの色相分布を変更することで、印象の改善方針を提示する。これにより、注目対象領域Ａの注目性を大きく変更することなく、デザインの印象を改善することができる。
なお、第２の実施の形態では、入力画像に対して背景領域Ｂの「色相分布」を変更することで、印象を修正したが、制御部１１は、入力画像に対して目立たせたい対象領域（注目対象領域Ａ）の注目性の変更を抑えつつ、背景領域Ｂの「明度分布」を変更することで、印象の改善方針を提示してもよい。また、制御部１１は、入力画像に対して注目対象領域Ａの注目性の変更を抑えつつ、「入力画像の全体」の色相分布又は明度分布を変更することで、印象の改善方針を提示してもよい。また、制御部１１は、入力画像に対して注目対象領域Ａの注目性の変更を抑えつつ、「注目対象領域Ａ」の色相分布又は明度分布を変更することで、印象の改善方針を提示してもよい。
また、印象変更画像処理（図１３参照）では、ステップＳ７９において、修正された画像における注目対象領域Ａの注目性評価値が、入力画像における注目対象領域Ａの注目性評価値の０．８倍以上であるか否かを判断することとした。つまり、注目性評価値が減少する方向にのみ、注目性の変化量に制限を設けたが、注目性評価値が増加する方向にも、注目性の変化量に制限を設けてもよい。
また、ステップＳ７９に代えて、修正された画像における注目対象領域Ａの注目性評価値と、入力画像における注目対象領域Ａの注目性評価値との差の絶対値が所定の範囲内であるか否かを判断することとしてもよい。
［第３の実施の形態］
次に、本発明を適用した第３の実施の形態について説明する。
第３の実施の形態におけるデザイン修正装置は、第１の実施の形態に示したデザイン修正装置１０と同様の構成であるため、図１を流用して、その構成については図示及び説明を省略する。以下、第３の実施の形態に特徴的な構成及び処理について説明する。
制御部１１は、第２印象評価において、入力画像が色彩調和論に適合する配色であるか否かを判定する。
制御部１１は、入力画像の配色に色彩調和論に適合していない色がある場合に、入力画像中の当該適合していない色に対応する領域（以下、不適合領域ともいう。）を他の領域と識別可能に表示させることで、印象の改善方針を提示する。識別可能な表示方法としては、例えば、不適合領域を彩色したり、不適合領域に所定のパターン画像を重ねたり、不適合領域の境界線を付加したりする等、入力画像に対してオーバーレイ表示することが挙げられる。
次に、動作について説明する。
図１５は、第３の実施の形態におけるデザイン修正装置１０により実行される第３の修正案提示処理を示すフローチャートである。この処理は、制御部１１のＣＰＵと記憶部１５に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
まず、制御部１１は、通信部１４を介して入力された、処理対象とするデザイン画像を取得する（ステップＳ９１）。
次に、制御部１１は、入力画像が観察者に与える印象を推定する印象評価として、第２印象評価を行う（ステップＳ９２）。この処理は、第１の修正案提示処理（図５参照）のステップＳ５の処理と同様である。
次に、制御部１１は、入力画像の色相分布に最も近い、色彩調和論の秩序の原理に従う色相分布パターンを特定する（ステップＳ９３）。例えば、制御部１１は、入力画像の各画素の彩度及び色相の分布をプロットした色相環グラフから、最も近い色相分布パターンを特定する。
なお、ユーザーが手動で色相分布パターンを特定することとしてもよい。この場合、制御部１１は、入力画像の色相分布を解析して得られた色相環グラフを表示部１３に表示させ、操作部１２から、ユーザーによる色相分布パターンの入力を受け付ける。
次に、制御部１１は、入力画像に、特定された色相分布パターンから外れる色相に属する領域が存在するか否かを判断する（ステップＳ９４）。
入力画像に、特定された色相分布パターンから外れる色相に属する領域が存在する場合には（ステップＳ９４；ＹＥＳ）、制御部１１は、特定された色相分布パターンから外れる色相に属する領域（不適合領域）を、入力画像の他の領域と識別可能に、表示部１３に表示させる（ステップＳ９５）。
ステップＳ９５の後、又は、ステップＳ９４において、特定された色相分布パターンから外れる色相に属する領域が存在しない場合には（ステップＳ９４；ＮＯ）、第３の修正案提示処理が終了する。
なお、第３の修正案提示処理（図１５参照）では、入力画像中の、色彩調和論の秩序の原理に適合していない色に対応する領域を、他の領域と識別可能に表示させる場合について説明したが、この例に限定されない。例えば、秩序の原理以外のジャッドの色彩調和論や、それ以外の色彩調和論に対しても、同様に、当該色彩調和論に適合していない色に対応する領域を明示可能である。
また、第３の修正案提示処理では、説明を簡単にするため、第２印象評価に関連する処理のみを記載したが、実際は、注目性評価及び注目性改善（又は注目性維持）と組み合わせることができる。例えば、第３の修正案提示処理の後に、注目性評価を行い、注目性を改善（又は維持）するための処理を行ってもよい。目立たせたい領域については、ユーザーが指定してもよいし、画像中から所定の領域（物体領域、文字領域等）を自動検出してもよい。
図１６に、ステップＳ９５において、表示部１３に表示される修正推奨箇所提示画面１３５の例を示す。修正推奨箇所提示画面１３５には、入力画像領域９１、入力画像印象評価結果領域９２、修正案領域９３が含まれる。
入力画像領域９１には、評価対象とされた入力画像が表示される。
入力画像印象評価結果領域９２には、入力画像に対する第２印象評価結果として、入力画像の色相分布（色相環グラフ）が表示される。入力画像印象評価結果領域９２の色相環グラフ上には、入力画像の色相分布に最も近い色相分布パターンを示す扇形の領域Ｐ２が表示されている。入力画像の色相分布は、「アナロジー」という色相分布パターンに最も近い。「アナロジー」は、色相環で隣り合った色で作られる配色を示す色相分布パターンである。入力画像領域９１の入力画像中の「期間限定」という文字領域９１Ａの色が、入力画像印象評価結果領域９２において、色相分布パターン（扇形の領域Ｐ２）から外れた色９２Ａとなっている。
修正案領域９３には、色を修正すべき修正推奨箇所が表示される。例えば、入力画像上の色相分布パターンから外れる色相に属する領域９３Ａに対し、領域９３Ａの境界及び文字の輪郭が赤色等で縁取られるように着色されることで、修正すべき箇所が示される。
色が調和していないと考えられる領域９３Ａの色を、ユーザーが修正することで、画像の印象を向上させることができる。
以上説明したように、第３の実施の形態によれば、制御部１１は、入力画像の配色に色彩調和論に適合していない色がある場合に、入力画像中の不適合領域を他の領域と識別可能に表示させる。これにより、ユーザーは、入力画像中の不適合領域を認識することができ、画像の色の修正に役立てることができる。
なお、修正案として、入力画像中の修正推奨箇所（不適合領域）を複数提示し、ユーザーがその中から任意の箇所を選択して修正するようにしてもよい。
［第４の実施の形態］
次に、本発明を適用した第４の実施の形態について説明する。
第４の実施の形態におけるデザイン修正装置は、第１の実施の形態に示したデザイン修正装置１０と同様の構成であるため、図１を流用して、その構成については図示及び説明を省略する。以下、第４の実施の形態に特徴的な構成及び処理について説明する。
制御部１１は、第２印象評価において、入力画像が色彩調和論のうち秩序の原理に適合する色相分布であるか否かを判定する。
制御部１１は、入力画像の色相分布に秩序の原理に適合していない色相がある場合に、入力画像中の当該適合していない色相に対応する領域の色（ＲＧＢ階調値）を、秩序の原理に適合する色相になるよう変更することで、印象の改善方針を提示する。
この際、制御部１１は、入力画像中の各画素を、ドロネー分割を用いて複数のクラスターに分割し、クラスターごとに、色を修正する方向を決定する。具体的には、入力画像中の各画素（ピクセル）のクラスタリングに、凸包とドロネー分割を使用する。
クラスタリングのための凸包とドロネー分割については、例えば、以下の論文に記載されている技術を用いることができる。
Tan, Jianchao, Jose Echevarria, and Yotam Gingold. "Efficient palette-based decomposition and recoloring of images via RGBXY-space geometry." ACM Transactions on Graphics (TOG) 37.6 (2018): 1-10.
Tan, Jianchao, Jose Echevarria, and Yotam Gingold. "Palette-based image decomposition, harmonization, and color transfer." arXiv preprint arXiv:1804.01225 (2018).
次に、動作について説明する。
図１７は、第４の実施の形態におけるデザイン修正装置１０により実行される第４の修正案提示処理を示すフローチャートである。この処理は、制御部１１のＣＰＵと記憶部１５に記憶されているプログラムとの協働によるソフトウェア処理によって実現される。
ステップＳ１０１～ステップＳ１０４の処理については、第３の修正案提示処理（図１５参照）のステップＳ９１～ステップＳ９４の処理と同様であるため、説明を省略する。
ステップＳ１０４において、入力画像に、特定された色相分布パターンから外れる色相に属する領域が存在する場合には（ステップＳ１０４；ＹＥＳ）、制御部１１は、色修正アルゴリズム作成処理を行う。色修正アルゴリズム作成処理は、色修正・色編集における入力色と出力色との対応関係（色変換テーブル等）を作成する処理である。
ここで、図１８を参照して、色修正アルゴリズム作成処理について説明する。
制御部１１は、入力画像の各画素（ピクセル）を、色と位置を合わせた５次元座標で表す（ステップＳ１１１）。具体的には、色を表す座標として、三原色の階調値であるＲＧＢの３方向を用い、位置を表す座標として、ＸＹの２方向を用いる。
次に、制御部１１は、次元削減手法である主成分分析により、各画素を３次元座標で表す（ステップＳ１１２）。具体的には、制御部１１は、５次元座標（Ｒ，Ｇ，Ｂ，Ｘ，Ｙ）の中から、データのばらつきを最もよく表す３方向を選択し、選択した３方向に沿って、各画素を３次元座標で表す。
次に、制御部１１は、ステップＳ１１２における３次元座標に対応する３次元空間上で、全画素を包含する多面体（凸包）を作成する（ステップＳ１１３）。
次に、制御部１１は、多面体を、頂点数が少なくなるように単純化する（ステップＳ１１４）。
図１９を参照して、図形の単純化について説明する。ここでは、説明を簡単にするため、２次元平面上における多角形Ｆ１を例にしている。図１９に示すように、頂点Ｑ１～Ｑ４を有する多角形Ｆ１の外側に、一つの頂点Ｑ５を追加して凸包を作り直すと、二つの頂点Ｑ２，Ｑ３を消せる。つまり、頂点Ｑ２，Ｑ３を、新たに形成された多角形Ｆ２の内側に入れられる。多角形Ｆ２は、多角形Ｆ１より頂点数が少なくなっている。
次に、制御部１１は、単純化した多面体を、複数の三角錐で分割する（ドロネー分割）（ステップＳ１１５）。各三角錐の頂点は、多面体の頂点のうちの４個である。
次に、制御部１１は、同じ三角錐に含まれる画素を、同じクラスターに属する画素とする（ステップＳ１１６）。こうして、同じクラスターに属する画素同士が色的及び位置的に近くなるように、各画素が、複数のクラスターに分割される。
次に、制御部１１は、各クラスターの代表色として、各クラスターに属す画素の色の平均を求める（ステップＳ１１７）。
次に、制御部１１は、クラスターごとに、秩序の原理に適合する色相帯への移動方向を決める（ステップＳ１１８）。具体的には、制御部１１は、クラスターごとに、当該クラスターの代表色から、秩序の原理に適合する色相帯のうち最も近い色相帯に変換されるような、色修正アルゴリズムを作成する。
以上で、色修正アルゴリズム作成処理が終了する。
図１７に戻り、制御部１１は、作成された色修正アルゴリズムに従って、入力画像に対し、色相分布パターンから外れる色相を、色相分布パターンに入る色相に変更する（ステップＳ１０６）。すなわち、制御部１１は、色による印象を変更した画像（修正案）を生成する。
次に、制御部１１は、修正案を適用した画像を提示する（ステップＳ１０７）。具体的には、制御部１１は、修正案を表示部１３に表示させる。
ステップＳ１０７の後、又は、ステップＳ１０４において、入力画像に、特定された色相分布パターンから外れる色相に属する領域が存在しない場合には（ステップＳ１０４；ＮＯ）、第４の修正案提示処理が終了する。
なお、第４の修正案提示処理（図１７参照）では、説明を簡単にするため、第２印象評価に関連する処理のみを記載したが、実際は、注目性評価及び注目性改善（又は注目性維持）と組み合わせることができる。例えば、第４の修正案提示処理の後に、注目性評価を行い、注目性を改善（又は維持）するための処理を行ってもよい。目立たせたい領域については、ユーザーが指定してもよいし、画像中から所定の領域（物体領域、文字領域等）を自動検出してもよい。
図２０に、ステップＳ１０７において、表示部１３に表示される修正案提示画面１３６の例を示す。修正案提示画面１３６は、入力画像に対して第２印象評価に基づく色の修正のみを施した場合の例であり、入力画像に対して注目性改善を行わなかった場合、又は、注目性改善が必要なかった場合の例である。
修正案提示画面１３６には、入力画像領域９４、入力画像印象評価結果領域９５、修正後画像領域９６、修正後画像印象評価結果領域９７が含まれる。
入力画像領域９４には、評価対象とされた入力画像が表示される。
入力画像印象評価結果領域９５には、入力画像に対する第２印象評価結果として、入力画像の色相分布（色相環グラフ）が表示される。入力画像印象評価結果領域９５の色相環グラフ上には、入力画像の色相分布に最も近い色相分布パターンを示す扇形の領域Ｐ３が表示されている。入力画像の色相分布は、「アナロジー」という色相分布パターンに最も近い。入力画像領域９４の入力画像中の「期間限定」という文字領域９４Ａの色が、入力画像印象評価結果領域９５において、色相分布パターン（扇形の領域Ｐ３）から外れた色９５Ａとなっている。
修正後画像領域９６には、色相が変更された後の画像（修正後画像）が表示される。
修正後画像印象評価結果領域９７には、修正後画像に対する第２印象評価結果として、修正後画像の色相分布（色相環グラフ）が表示される。修正後画像領域９６の修正後画像中の「期間限定」という文字領域９６Ａの色が修正されたことにより、修正後画像印象評価結果領域９７では、文字領域９６Ａに対応する色９７Ａが、扇形の領域Ｐ３で示される色相分布パターン内に入るようになっている。
図２０に示した修正案に対し、複数人で目視評価した結果、色相分布パターンから外れている色を色相分布パターンに収まる色相に変更したことで、色彩が調和し、好印象になると判定された。
以上説明したように、第４の実施の形態によれば、制御部１１は、入力画像の色相分布に秩序の原理に適合していない色相がある場合に、入力画像中の当該適合していない色相に対応する領域の色を、秩序の原理に適合する色相になるよう変更することで、印象の改善方針を提示することができる。
この際、制御部１１は、入力画像中の各画素を、ドロネー分割を用いて複数のクラスターに分割し、クラスターごとに、色を修正する方向を決定する。これにより、画像の色相分布が秩序の原理に適合する色相となるように、自動的に修正するためのアルゴリズム（色変換の対応関係）を作成することができる。第４の実施の形態では、第２印象評価の結果に基づいて、画像の印象を自動的に改善することができる。
なお、第４の実施の形態においても、複数の修正案を提示し、ユーザーがその中からいずれかの修正案を選択するようにしてもよい。
上記各実施の形態における記述は、本発明に係るデザイン修正装置、プログラム及びデザイン修正方法の例であり、これに限定されるものではない。装置を構成する各部の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
例えば、各実施の形態における特徴的な処理を組み合わせることとしてもよい。
また、入力画像に対する注目性改善と印象改善の順序を、デザインの目的により変更可能としてもよい。
デザインの目的が注目性より印象を重視している場合には、印象改善を注目性改善の前に行うことが望ましい。入力画像に対して印象評価を先に行うことで、画像の印象がデザインコンセプトに合うように、デザイン要素を調整しておく（印象改善）。そうすると、その後、注目性を改善する時に、印象を大きく変えずに注目性を改善するという処理を１度実施するだけで、修正が完了するので、短い工数で処理できる。
一方、デザインの目的が印象より注目性を重視している場合には、注目性改善を印象改善の前に行うことが望ましい。入力画像に対して注目性改善を先に行うことで、印象の変化の有無にかかわらず、注目性が改善された修正案を提示できる。そのため、処理が容易であるという利点に加え、印象が変化するパターンと変化しないパターンを合わせて複数の修正案を提示でき、ユーザーが思いつかなかった良いデザインを提案できる可能性を高められる。
また、各処理を実行するためのプログラムは、可搬型記録媒体に格納されていてもよい。また、プログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）を適用することとしてもよい。
１０ デザイン修正装置
１１ 制御部
１２ 操作部
１３ 表示部
１４ 通信部
１５ 記憶部
１３１ 入力画像評価結果画面
１３２ 修正案評価結果画面
１３３ 入力画像評価結果画面
１３４ 修正案評価結果画面
１３５ 修正推奨箇所提示画面
１３６ 修正案提示画面
１５１ 印象対応テーブル

Claims (13)

  1. 入力画像に対して視覚的注意を引き易い部分を評価する注目性評価を行う注目性評価手段と、
    前記入力画像が観察者に与える印象を推定する印象評価を行う印象評価手段と、
    前記注目性評価の結果と前記印象評価の結果とを組み合わせて、前記入力画像の注目性又は印象についてのデザインの修正案を提示する提示手段と、
    を備えるデザイン修正装置。
  2. 前記提示された修正案の中から、ユーザーが採用したい修正案を選択するための選択手段を備える、
    請求項１に記載のデザイン修正装置。
  3. 前記提示手段は、前記入力画像に対する修正後の画像の印象の変化量が所定の範囲内となるような、注目性の改善方針を、前記修正案として提示する、
    請求項１又は２に記載のデザイン修正装置。
  4. 前記提示手段は、前記入力画像に対してユーザーにより指定された領域、又は、前記入力画像から自動検出された所定の領域の注目性を上げるための改善方針を提示する、
    請求項３に記載のデザイン修正装置。
  5. 前記提示手段は、前記入力画像に対して注目性を向上させる対象領域の特徴量は変更せず、前記対象領域と背景領域との色相又は明度のコントラストが大きくなるように、前記背景領域の色を変更することで、前記注目性の改善方針を提示する、
    請求項３に記載のデザイン修正装置。
  6. 前記提示手段は、前記入力画像に対する修正後の画像の注目性の変化量が所定の範囲内となるような、印象の改善方針を、前記修正案として提示する、
    請求項１又は２に記載のデザイン修正装置。
  7. 前記提示手段は、前記入力画像に対してユーザーにより指定された領域、又は、前記入力画像から自動検出された所定の領域の注目性を維持するような、前記印象の改善方針を提示する、
    請求項６に記載のデザイン修正装置。
  8. 前記提示手段は、前記入力画像に対して目立たせたい対象領域の注目性の変更を抑えつつ、前記入力画像の全体、前記対象領域、又は、前記対象領域の背景領域のいずれかの色相分布又は明度分布を変更することで、前記印象の改善方針を提示する、
    請求項６に記載のデザイン修正装置。
  9. 前記印象評価手段は、印象語が対応付けられた画像特徴量と前記入力画像の特徴量との類似度を算出し、当該算出された類似度が高い画像特徴量に対応する印象語及び当該類似度の数値を、前記印象評価の結果として出力する、
    請求項１又は２に記載のデザイン修正装置。
  10. 前記印象評価手段は、前記入力画像が色彩調和論に適合する配色であるか否かを判定し、
    前記提示手段は、前記入力画像の配色に前記色彩調和論に適合していない色がある場合に、前記入力画像中の当該適合していない色に対応する領域を他の領域と識別可能に表示させることで、印象の改善方針を提示する、
    請求項１又は２に記載のデザイン修正装置。
  11. 前記印象評価手段は、前記入力画像が色彩調和論のうち秩序の原理に適合する色相分布であるか否かを判定し、
    前記提示手段は、前記入力画像の色相分布に前記秩序の原理に適合していない色相がある場合に、前記入力画像中の当該適合していない色相に対応する領域の色を、前記秩序の原理に適合する色相になるよう変更することで、印象の改善方針を提示するものであり、
    前記提示手段は、前記入力画像中の各画素を、ドロネー分割を用いて複数のクラスターに分割し、クラスターごとに、色を修正する方向を決定する、
    請求項１又は２に記載のデザイン修正装置。
  12. コンピューターを、
    入力画像に対して視覚的注意を引き易い部分を評価する注目性評価を行う注目性評価手段、
    前記入力画像が観察者に与える印象を推定する印象評価を行う印象評価手段、
    前記注目性評価の結果と前記印象評価の結果とを組み合わせて、前記入力画像の注目性又は印象についてのデザインの修正案を提示する提示手段、
    として機能させるためのプログラム。
  13. 入力画像に対して視覚的注意を引き易い部分を評価する注目性評価を行う注目性評価工程と、
    前記入力画像が観察者に与える印象を推定する印象評価を行う印象評価工程と、
    前記注目性評価の結果と前記印象評価の結果とを組み合わせて、前記入力画像の注目性又は印象についてのデザインの修正案を提示する提示工程と、
    を含むデザイン修正方法。
JP2022186103A 2022-11-22 2022-11-22 デザイン修正装置、プログラム及びデザイン修正方法 Pending JP2024075015A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022186103A JP2024075015A (ja) 2022-11-22 2022-11-22 デザイン修正装置、プログラム及びデザイン修正方法
KR1020230138961A KR20240075688A (ko) 2022-11-22 2023-10-17 디자인 수정 장치, 프로그램 및 디자인 수정 방법
US18/503,664 US20240169606A1 (en) 2022-11-22 2023-11-07 Design revision apparatus, recording medium, and design revision method
EP23209002.7A EP4375938A1 (en) 2022-11-22 2023-11-10 Design revision apparatus, program, and design revision method
CN202311531340.2A CN118071766A (zh) 2022-11-22 2023-11-16 设计修正装置、记录介质以及设计修正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022186103A JP2024075015A (ja) 2022-11-22 2022-11-22 デザイン修正装置、プログラム及びデザイン修正方法

Publications (1)

Publication Number Publication Date
JP2024075015A true JP2024075015A (ja) 2024-06-03

Family

ID=88778562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022186103A Pending JP2024075015A (ja) 2022-11-22 2022-11-22 デザイン修正装置、プログラム及びデザイン修正方法

Country Status (5)

Country Link
US (1) US20240169606A1 (ja)
EP (1) EP4375938A1 (ja)
JP (1) JP2024075015A (ja)
KR (1) KR20240075688A (ja)
CN (1) CN118071766A (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577156B2 (en) 2008-10-03 2013-11-05 3M Innovative Properties Company Systems and methods for multi-perspective scene analysis
US8736634B2 (en) * 2012-02-29 2014-05-27 Nec Corporation Color scheme changing apparatus, color scheme changing method, and color scheme changing program
AU2015201623A1 (en) * 2015-03-30 2016-10-20 Canon Kabushiki Kaisha Choosing optimal images with preference distributions

Also Published As

Publication number Publication date
KR20240075688A (ko) 2024-05-29
EP4375938A1 (en) 2024-05-29
CN118071766A (zh) 2024-05-24
US20240169606A1 (en) 2024-05-23

Similar Documents

Publication Publication Date Title
JP4082591B2 (ja) データ編集装置及びプログラム
JP5437150B2 (ja) 複数色から成る複数のコントラスト要素を有するチャート内のトピック要素を強調表示する方法及びそのシステム
US5875265A (en) Image analyzing and editing apparatus using psychological image effects
US5889932A (en) Method of checking graphical data for conformity to graphical design rules
EP0666534A2 (en) Interactive rule based system
Hassan et al. Color image segmentation using automated K-means clustering with RGB and HSV color spaces
US20060070026A1 (en) Document creation system and related methods
US20130254655A1 (en) Self-adjusting document layouts using system optimization modeling
JP5589544B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
TW200817954A (en) Methods and systems for data analysis and feature recognition
JP2800672B2 (ja) 文書処理装置
CN103688291B (zh) 屏幕检查设备、屏幕检查方法
Liu et al. Image-driven harmonious color palette generation for diverse information visualization
JP2024075015A (ja) デザイン修正装置、プログラム及びデザイン修正方法
CN112218006A (zh) 一种多媒体数据处理方法、装置、电子设备及存储介质
US12039675B2 (en) High quality AR cosmetics simulation via image filtering techniques
JP3139617B2 (ja) 似顔絵作成方法及び装置
WO2024014240A1 (ja) 情報処理プログラム、情報処理装置及び情報処理方法
Jahanian Quantifying aesthetics of visual design applied to automatic design
WO2023238550A1 (ja) 画像編集装置、画像編集方法及び画像編集プログラム
JP4882523B2 (ja) ドキュメント印象評価装置及びドキュメント印象評価プログラム
JP3207193U (ja) 印刷物
JP2008071255A (ja) 自己組織化マップを用いたパターン生成方法、そのプログラム及び装置
JP6677214B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP3598225B2 (ja) 画像作成方法及びその装置