JP7392341B2 - 情報処理装置、及び情報処理プログラム - Google Patents

情報処理装置、及び情報処理プログラム Download PDF

Info

Publication number
JP7392341B2
JP7392341B2 JP2019168567A JP2019168567A JP7392341B2 JP 7392341 B2 JP7392341 B2 JP 7392341B2 JP 2019168567 A JP2019168567 A JP 2019168567A JP 2019168567 A JP2019168567 A JP 2019168567A JP 7392341 B2 JP7392341 B2 JP 7392341B2
Authority
JP
Japan
Prior art keywords
image data
information processing
interest
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019168567A
Other languages
English (en)
Other versions
JP2021047525A (ja
Inventor
友啓 吉川
典子 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2019168567A priority Critical patent/JP7392341B2/ja
Priority to CN202010151100.XA priority patent/CN112532866B/zh
Priority to US16/830,523 priority patent/US11244187B2/en
Publication of JP2021047525A publication Critical patent/JP2021047525A/ja
Application granted granted Critical
Publication of JP7392341B2 publication Critical patent/JP7392341B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nonlinear Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、情報処理装置、及び情報処理プログラムに関する。
特許文献1には、所定の被写体を複数の視点から撮像した第1の画像データを、ユーザの視点から見える前記被写体の第2の画像データに変換する画像処理装置であって、所定の位置に、前記ユーザの視点を設定する設定手段と、前記第1の画像データを構成する画素に前記被写体から入射した光線に対応する画素値からなり、前記光線の方向ごとに、その方向の光線に対応する画素値を取得できるフォーマットであり、前記被写体から前記第1の画像データを構成する所定の画素に入射した光線と、その光線と垂直な、所定の点を通る平面との交点における画素値を、前記所定の画素の画素値とした画像データである中間データに前記第1の画像データを変換する画像データ変換手段と、前記中間データに対して、前記所定の点を通る他の平面上の、前記他の平面に垂直な光線との交点における画素値によって、前記所定の点を通る平面上の、前記光線との交点以外の点における画素値を補間する補間処理を施す中間データ処理手段と、前記補間処理が施された前記中間データにおける、前記ユーザの視点と所定の仮想的なスクリーンである第1の仮想スクリーン上の各画素とを結ぶ直線と一致する前記光線に対応する画素値を、前記第1の仮想スクリーン上の画素の画素値とし、前記第1の仮想スクリーン上の画素値でなる画像データを、前記第2の画像データとすることで、前記中間データを前記第2の画像データに変換する中間データ変換手段とを備え、前記補間処理において、前記他の平面に垂直な光線との交点における画素値のうち、前記補間処理により補間されていない画素値が補間に用いられることを特徴とするデータ入力画面の表示方法が開示されている。
特許文献2には、含まれるオブジェクト毎にあらかじめ分類された画像を表示する表示手段と、前記表示された画像に対するユーザによるトリミング領域の指定を受け付ける入力手段と、複数の画像についての前記トリミング領域の構図に基づいて、ユーザ単位でオブジェクト毎に画像についてのトリミングルールを学習するに際し、前記トリミング領域に含まれるオブジェクトを抽出し、前記トリミング領域の構図に基づいて、前記トリミング前の原画像における前記オブジェクトの位置、前記トリミング領域における前記オブジェクトの位置、前記原画像に対する前記オブジェクトの面積比および前記トリミング領域に対する前記オブジェクトの面積比を構図情報として取得し、該構図情報を前記トリミングルールとして学習する学習手段とを備えたことを特徴とするトリミングルール学習装置が開示されている。
特許文献3には、画像の撮影開始以前における撮影者の動作に関する情報である撮影者情報を取得する撮影者情報取得部と、前記撮影者情報取得部の取得した撮影者情報に基づいて、前記画像に対する処理内容を決定する処理内容決定部と、を備え、前記撮影者情報は、構図確認の有無、撮影準備操作の有無、撮影装置の位置、撮影開始までの経過時間および撮影開始までの撮影装置の動きのうち少なくとも1つを含む情報処理装置が開示されている。
特開2004-15106号公報 特開2009-290249号公報 特開2010-62853号公報
被写体、構図、及び撮影中の動作情報を用いて、画像の中の注目領域を決定する技術がある。
しかしながら、画像に対して色彩を補正する処理を行った画像については、例えば被写体ではなく色の変化がどの程度行われたかが大事である。
本発明は、画像に対して色彩を補正する処理を行った場合、色彩の変化が大きい箇所を注目領域とすることができる情報処理装置及び情報処理プログラムを提供することを目的とする。
第1の態様の情報処理装置は、プロセッサを備え、プロセッサは、画像データに対して行った処理によって変化した色彩の変化量を示す色彩変化量を、画像データの中で色彩の変化があった箇所それぞれについて取得し、画像データの中で、他の箇所より色彩変化量が大きい箇所を注目領域として抽出する。
第2の態様の情報処理装置は、第1の態様に係る情報処理装置において、プロセッサは、画像データにおいて、複数の注目領域が存在する場合、複数の注目領域が1つの領域に含むように領域を拡大して抽出する、及び注目領域を含む複数の領域を抽出する処理の少なくとも一方を行う。
第3の態様の情報処理装置は、第2の態様に係る情報処理装置において、複数の注目領域が1つの領域に含むように領域を拡大して抽出する場合、複数の注目領域の部分をそれぞれ示す情報を表示する。
第4の態様の情報処理装置は、第2の態様又は第3の態様に係る情報処理装置において、プロセッサは、注目領域を強調して表示する。
第5の態様の情報処理装置は、第1の態様から第4の態様までのいずれか1つの態様に係る情報処理装置において、プロセッサは、画像データを均等に分割した、又は画像データに含まれる被写体毎に分割した領域である分割領域に画像データを分割し、注目領域が含まれる分割領域を抽出して、表示する。
第6の態様の情報処理装置は、第5の態様に係る情報処理装置において、注目領域が含まれる分割領域を抽出する場合、分割領域のうち注目領域に該当する部分を示す情報を表示する。
第7の態様の情報処理装置は、第5の態様又は第6の態様に係る情報処理装置において、プロセッサは、分割領域における色彩変化量が最大となる領域を抽出する。
第8の態様の情報処理装置は、第7の態様に係る情報処理装置において、プロセッサは、分割領域に注目領域が含まれる場合、画像データにおける分割領域に含まれる注目領域を拡大して表示する。
第9の態様の情報処理装置は、第7の態様又は第8の態様に係る情報処理装置において、プロセッサは、注目領域が分割領域より大きい場合、注目領域が含まれるように分割領域を拡大し、抽出して表示する。
第10の態様の情報処理装置は、第1の態様から第9の態様までのいずれか1つの態様に係る情報処理装置において、プロセッサは、処理を行う前の画像データと、処理を行った後の画像データとを用いて、色彩変化量を取得する。
第11の態様の情報処理装置は、第12の態様に係る情報処理装置において、色彩変化量は、処理を行う前の画像データ及び処理を行った後の画像データにおける、色空間の距離の変化量の総和である。
第12の態様の情報処理プログラムは、コンピュータに画像データに対して行った処理によって変化した色彩の変化量を示す色彩変化量を、画像データの中で色彩の変化があった箇所それぞれについて取得し、画像データの中で、他の箇所より色彩変化量が大きい箇所を注目領域として抽出することを実行させる。
第1の態様の情報処理装置及び第12の態様の情報処理プログラムによれば、画像に対して色彩を補正する処理を行った場合、色彩の変化が大きい箇所を注目領域とすることができる。
第2の態様の情報処理装置によれば、補正する処理の前後の画像において、注目領域を全体的に確認することができる。
第3の態様の情報処理装置によれば、注目領域を示す情報を表示しない場合と比較して、より容易に注目領域を見つけることができる。
第4の態様の情報処理装置によれば、注目領域を強調せずに表示する場合と比較して、注目領域を示す領域をより明確に表示することができる。
第5の態様の情報処理装置によれば、画像データを分割せずに注目領域を抽出する場合と比較して、より容易に注目領域を抽出することができる。
第6の態様の情報処理装置によれば、注目領域を示す情報を表示しない場合と比較して、より容易に注目領域を見つけることができる。
第7の態様の情報処理装置によれば、抽出する領域を一つに絞り込むことができる。
第8の態様の情報処理装置によれば、注目領域を拡大せずに表示する場合と比較して、注目領域をより詳細に表示することができる。
第9の態様の情報処理装置によれば、分割領域を拡大しない場合と比較して、注目領域の全体像をより明確に表示することができる。
第10の態様の情報処理装置によれば、処理の前後の画像データを用いずに色彩変化量を取得する場合と比較して、より容易に注目領域を確認することができる。
第11の態様の情報処理装置によれば、空間の距離の変化量を用いずに色彩変化量を取得する場合と比較して、より容易に注目領域を抽出することができる。
各実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 各実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 各実施形態に係る処理を行った前後の画像データの一例を示す模式図である。 第一実施形態に係る注目領域の抽出の説明に供する情報処理装置が表示する画面の一例を示す模式図である。 第一実施形態に係る複数の注目領域を含む一つの領域を抽出する説明に供する情報処理装置が表示する画面の一例を示す模式図である。 第一実施形態に係る情報処理の一例を示すフローチャートである。 第二実施形態に係る注目領域の抽出の説明に供する情報処理装置が表示する画面の一例を示す模式図である。 第二実施形態に係る注目領域の抽出の説明に供する情報処理装置が表示する画面の一例を示す模式図である。 第二実施形態に係る情報処理の一例を示すフローチャートである。
[第1実施形態]
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、本実施形態に係る情報処理装置10は、一例として、画像データを加工及び表示するパーソナルコンピュータ等の端末である形態について説明する。しかし、これに限定されない。情報処理装置10は、例えばプリント機能、コピー機能、スキャン機能、及びファクシミリ機能等の機能を有する複合機に搭載されてもよいし、画像データを受送信及び保存するサーバ等に搭載されてもよい。
図1は、本実施形態に係る情報処理装置10のハードウェア構成の一例を示すブロック図である。図1に示すように、本実施形態に係る情報処理装置10は、CPU(Central Processing Unit)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、入力部15、モニター16、及び通信インターフェース(通信I/F)17を含んで構成されている。CPU11、ROM12、RAM13、ストレージ14、入力部15、モニター16、及び通信I/F17の各々はバス18により相互に接続されている。ここで、CPU11は、プロセッサの一例である。
CPU11は、情報処理装置10の全体を統括し、制御する。ROM12は、本実施形態で用いる情報処理プログラムを含む各種プログラム及びデータ等を記憶している。RAM13は、各種プログラムの実行時のワークエリアとして用いられるメモリである。CPU11は、ROM12に記憶されたプログラムをRAM13に展開して実行することにより、画像データから注目領域を抽出する処理を行う。ストレージ14は、一例としてHDD(Hard Disk Drive)、SSD(Solid State Drive)、又はフラッシュメモリ等である。なお、ストレージ14には、情報処理プログラム等を記憶してもよい。入力部15は、文字及び選択等の入力を受け付けるキーボード及びマウス等である。モニター16は、画像データ等を表示する。通信I/F17は、データの送受信を行う。
次に、図2を参照して、情報処理装置10の機能構成について説明する。図2は、本実施形態に係る情報処理装置10の機能的な構成の一例を示すブロック図である。
図2に示すように、情報処理装置10は、取得部21、抽出部22、及び表示部23を有する。CPU11が情報処理プログラムを実行することで、取得部21、抽出部22、及び表示部23として機能する。
取得部21は、画像データに対して行った処理によって変化した色彩の変化量(以下、「色彩変化量」という。)を、画像データの中で色彩の変化があった箇所それぞれについて取得する。具体的には、取得部21は、処理を行う前の画像データと、処理を行った後の画像データとを用いて、色彩変化量を取得する。なお、一例として、本実施形態に係る処理とは、レタッチ等の画像データの色彩を加工する処理、及び画像データを補正する処理をいう。
抽出部22は、画像データの中で、他の箇所より色彩変化量が大きい箇所(以下、「注目領域」という。)を抽出する。
抽出部22は、画像データにおいて、複数の注目領域が存在する場合、複数の注目領域が1つの領域に含むように領域を拡大して抽出する、及び注目領域を含む複数の領域を抽出する処理の少なくとも一方を行う。また、抽出部22は、画像データを均等に分割した、又は画像データに含まれる被写体毎に分割した領域である分割領域に画像データを分割し、注目領域が含まれる分割領域を抽出する。抽出部22は、注目領域が分割領域より大きい場合、注目領域が含まれるように分割領域を拡大し、抽出する。なお、本実施形態では、他の箇所より色彩変化量が大きい領域を注目領域として抽出する形態について説明した。しかし、これに限定されない。抽出部22は、色彩変化量が最も大きい領域を注目領域として抽出してもよい。また、本実施形態では、処理を行う前後の画像データから色彩変化量を求める形態について説明した。しかし、これに限定されない。例えば、任意の色彩を別の色彩に変換するLOOKUP TABLE(以下、「LUT」という。)を用いた場合、処理を行う前又は処理を行った後の画像データと、LUTの変換データとを用いて、色彩変化量を求めてもよい。
表示部23は、取得した注目領域を表示する。また、表示部23は、注目領域を強調又は拡大して表示し、注目領域に該当する部分を示す情報を表示する。
次に、情報処理装置10の作用について説明する前に、図3から図5を参照して、情報処理装置10が行う注目領域を抽出して表示するための手法について説明する。
図3を参照して、情報処理装置10の全体の機能について説明する。図3は、本実施形態に係る処理を行った前後の画像データの一例を示す模式図である。
一例として、図3の上図に示す画像データは、レタッチ等の処理を行う前の画像データ31であり、図3の下図に示す画像データは、レタッチ等の処理を行った後の画像データ32である。情報処理装置10は、一例として図3に示すように、処理を行う前の画像データ31と、処理を行った後の画像データ32とを用いて、画像データの色彩が顕著に変化した領域を抽出する。
具体的には、処理を行う前の画像データ31と、処理を行った後の画像データ32とを比較して、色空間の変化量を算出し、画素毎に比較することで注目領域を抽出する。例えば、三原色である赤、緑、及び青のそれぞれをx軸に赤、y軸に緑、z軸に青の画素値をマッピングすると、三原色の構成によって、三次元空間上にあらゆる色が表現される。以下、三次元空間上にあらゆる色が表現された空間を色空間という。
レタッチ等の画像の加工及び補正を行うと、色が変化し、色空間上の任意の点から別の任意の点へと移動する。この色空間を移動した距離の移動量(色彩変化量)を算出することで、注目領域を抽出する。色彩変化量は、以下の数式によって表される。
ここで、iは、画像データの画素を識別する番号であり、Sは、i番目の画素の色彩変化量である。また、Rは、i番目の画素の処理を行う前の赤色の画素値であり、R は、i番目の画素の処理を行った後の赤色の画素値であり、Gは、i番目の画素の処理を行う前の緑色の画素値であり、G は、i番目の画素の処理を行った後の緑色の画素値である。また、Bは、i番目の画素の処理を行う前の青色の画素値であり、B は、i番目の画素の処理を行った後の青色の画素値である。つまり、本実施形態に係る色彩変化量は、処理を行う前の画像データ及び処理を行った後の画像データにおける色空間の距離の変化量である。なお、本実施形態では、三原色の色空間の移動量を算出する形態について説明した。しかし、これに限定されない。例えば、画素値及び彩度を用いたLab色空間から移動量を算出し、注目領域を抽出してもよい。また、本実施形態に係る色彩変化量は、色空間における移動量である形態について説明した。しかし、これに限定されない。例えば、処理の前後の画像データにおける各原色の画素値の変化量であってもよい。
次に、図4を参照して、抽出した注目領域を表示する情報処理装置10について説明する。図4は、本実施形態に係る注目領域の抽出の説明に供する情報処理装置10が表示する画面の一例を示す模式図である。
情報処理装置10は、図4に示すように、画像データ表示画面40、及び注目領域表示画面41を有する。情報処理装置10は、画像データ表示画面40に表示される色彩変化量が他の箇所より大きい領域を矩形42で囲い、注目領域として抽出し、注目領域表示画面41に表示する。なお、他の箇所より色彩変化量が大きい箇所とは、画像データの中で、レタッチ等の処理によって色彩が顕著に変化した領域を指す。なお、本実施形態に係る注目領域は色彩変化量が大きい箇所である形態について説明する。しかし、これに限定されない。例えば、色彩変化量が予め定められた閾値より大きい箇所を注目領域としてもよいし、色彩変化量の平均値を求め、色彩変化量の平均値より大きい箇所を注目領域としてもよい。
一例として、図4に示すように、複数の注目領域が存在する場合、情報処理装置10は、画像データ表示画面40に表示される複数の注目領域を複数の矩形42で囲んで抽出する。情報処理装置10は、注目領域表示画面41に注目領域として抽出した各々の矩形42を、第一注目領域画面43、及び第二注目領域画面44に表示する。
次に、図5を参照して、抽出した複数の注目領域を含む1つの領域を抽出して、注目領域表示画面41に表示する情報処理装置10について説明する。本実施形態に係る複数の注目領域を含む一つの領域を抽出する説明に供する情報処理装置10が表示する画面の一例を示す模式図である。
情報処理装置10は、図5に示すように、画像データ表示画面40、及び注目領域表示画面41を有する。情報処理装置10は、画像データ表示画面40に表示される複数の注目領域を、1つの矩形45で囲い、抽出して、注目領域表示画面41に表示する。情報処理装置10は、注目領域表示画面41に表示した注目領域を示す情報として、注目領域が表示されている箇所に吹き出し46を表示する。
なお、本実施形態では、注目領域を矩形42及び矩形45で囲むことで、画像データ表示画面40に注目領域を強調して表示する形態について説明した。しかし、これに限定されない。注目領域を円形で囲んで強調表示してもよいし、色調を変えることで、注目領域と、注目領域以外のその他の領域とを区分して表示して、注目領域を強調して表示してもよい。また、本実施形態では、注目領域を示す情報として、吹き出し46を表示する形態について説明した。しかし、これに限定されない。矩形及び円形で囲って強調表示してもよい。
また、本実施形態では、複数の注目領域が存在する場合、ユーザによって、図4の様に複数の画面に表示するか、図5のように一つの画面に表示されるかが選択される形態について説明する。しかし、これに限定されない。複数の画面に表示するか否かは、複数の注目領域同士の距離によって決めてもよい。すなわち、複数の注目領域同士の距離が長ければ長いほど、図5のように複数の注目領域を含む1つの領域で表示しようとすると1つの領域は大きくなり、複数の注目領域それぞれをユーザが見つけにくくなる。そのため、複数の注目領域同士の距離が閾値を超える長さの場合は、図4のように複数の注目領域画面に注目領域をそれぞれ表示し、複数の注目領域同士の距離が閾値以下の長さの場合は、図5のように複数の注目領域を含む1つの領域を表示する。
また、複数の注目領域を1つの領域で表示する場合、領域の大きさが閾値を超える場合は、図4のように複数の注目領域画面に注目領域をそれぞれ表示し、領域の大きさが閾値以下の場合は、図5のように複数の注目領域を含む1つの領域を表示してもよい。
次に、図6を参照して、本実施形態に係る情報処理プログラムの作用について説明する。まず、図6は、本実施形態に係る情報処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から情報処理プログラムを読み出し、実行することによって、図6に示す情報処理が実行される。図6に示す情報処理は、例えば、ユーザによって情報処理プログラムの実行指示が入力された場合、情報処理が実行される。
ステップS101において、CPU11は、画像データが入力されたか否かの判定を行う。画像データが入力された場合(ステップS101:YES)、CPU11は、ステップS102に移行する。一方、画像データが入力されていない場合(ステップS101:NO)、CPU11は、画像データが入力されるまで待機する。
ステップS102において、CPU11は、入力された色彩を補正する前の画像データと、色彩を補正した後の画像データとを取得する。ここで、ユーザによって、画像データの入力と共に入力される複数の画面に表示するか否かの選択結果を取得する。
ステップS103において、CPU11は、色空間における入力された画像データの画素毎の各原色の画素値である色彩情報を取得する。以下では、画像データの各原色の画素値を色彩情報という。
ステップS104において、CPU11は、色彩を補正する前の画像データの色彩情報と、色彩を補正した後の画像データの色彩情報とを比較し、色彩変化量を算出する。
ステップS105において、CPU11は、色彩変化量を用いて、注目領域を選定する。例えば、画像データにおける画素毎の色彩変化量を比較して、他の画素より色彩変化量が大きい画素を抽出し、色彩変化量が大きい画素が集中する領域を注目領域として選定する。なお、注目領域が複数存在する場合、さらに複数の注目領域から選定を行ってもよい。一例として、複数の注目領域から色彩変化量が大きい上位3つの領域を注目領域として、さらに選定してもよい。
ステップS106において、CPU11は、複数の注目領域が存在するか否かの判定を行う。複数の注目領域が存在する場合(ステップS106:YES)、CPU11は、ステップS108に移行する。一方、複数の注目領域が存在しない場合(ステップS106:NO)、CPU11は、ステップS107に移行する。
ステップS107において、CPU11は、注目領域を抽出する。
ステップS108において、CPU11は、複数の注目領域を一つの注目領域として、表示するか否かの判定を行う。複数の注目領域を一つの注目領域として、表示する場合(ステップS108:YES)、CPU11は、ステップS109に移行する。一方、複数の注目領域を一つの注目領域として、表示しない場合(ステップS108:NO)、CPU11は、ステップS110に移行する。
ステップS109において、CPU11は、全ての注目領域を含んだ領域を抽出する。
ステップS110において、CPU11は、複数の注目領域を示す領域をそれぞれ抽出する。
ステップS111において、CPU11は、抽出した注目領域を、注目領域表示画面41に表示する。
以上説明したように、本実施形態によれば、色彩変化量が他の箇所より大きい箇所が抽出される。したがって、画像に対して色彩を補正する処理を行った場合、色彩の変化が大きい箇所が注目領域として表示される。
[第2実施形態]
第1実施形態では、画像データにおける画素毎に色彩変化量を比較する形態について説明した。本実施形態では、画像データを分割し、分割した領域毎に色彩変化量を比較する形態について説明する。なお、本実施形態に係る情報処理装置10のハードウェア構成を示すブロック図(図1参照)、機能的な構成を示すブロック図(図2参照)、及び処理前後の画像データを示す模式図(図3参照)は、第1実施形態と同様であるため、説明を省略する。
図7を参照して、均等に分割した領域から抽出した注目領域を表示する情報処理装置10について説明する。図7は、本実施形態に係る注目領域の抽出の説明に供する情報処理装置10が表示する画面の一例を示す模式図である。なお、図7における図4に示す画像データ表示画面40と同一の構成については、図4と同一の符号を付して、その説明を省略する。
情報処理装置10は、図7に示すように、画像データ表示画面40、及び注目領域表示画面41を有する。画像データ表示画面40は、画像データを均等に分割した領域(以下、「均等分割領域」)51を表示する。注目領域表示画面41は、色彩変化量が最大となる均等分割領域51を注目領域画面52に表示し、注目領域全体を表示する広域注目領域画面53を表示する。
情報処理装置10は、画像データ表示画面40に表示される画像データを均等に分割した領域に分割し、均等分割領域51毎に色彩変化量を算出する。色彩変化量は、以下の数式によって表される。
ここで、nは、分割した領域に含まれる画素の数である。つまり、本実施形態に係る色彩変化量は、処理を行う前の画像データ及び処理を行った後の画像データにおける分割した領域毎の色空間の距離の変化量の総和である。
図7に示すように、情報処理装置10は、均等分割領域51毎に色彩変化量を算出して、色彩変化量が他の均等分割領域51より大きい均等分割領域51を抽出し、抽出した均等分割領域51を拡大して注目領域表示画面41の注目領域画面52に表示する。例えば、情報処理装置10は、色彩変化量が最大である均等分割領域を抽出し、注目領域表示画面41の注目領域画面52に表示する。情報処理装置10は、さらに色彩変化量が大きい領域を抽出し、色彩変化量が大きい領域が複数の均等分割領域に跨っている場合、色彩変化量が大きい領域が跨る複数の均等分割領域を抽出して、注目領域表示画面41の広域注目領域画面53に表示する。なお、本実施形態に係る注目領域は、色彩変化量が最大である分割領域である形態について説明した。しかし、これに限定されない。色彩変化量が予め定められた閾値を超えた分割領域を注目領域として複数抽出してもよい。
次に、図8を参照して、オブジェクト毎に分割した領域から抽出した注目領域を表示する情報処理装置10について説明する。本実施形態に係る注目領域の抽出の説明に供する情報処理装置が表示する画面の一例を示す模式図である。なお、図8における図4及び図7に示す画像データ表示画面40と同一の構成については、図4及び図7と同一の符号を付して、その説明を省略する。
情報処理装置10は、図8に示すように、画像データ表示画面40、及び注目領域表示画面41を有する。情報処理装置10は、画像データ表示画面40は、画像データに含まれる被写体毎に分割した領域(以下、「被写体分割領域」)54を表示する。情報処理装置10は、注目領域表示画面41に、色彩変化量が最大である被写体分割領域54を抽出し、被写体分割領域54を拡大して、色彩が顕著に変化した領域である拡大注目領域画面55を表示する。情報処理装置10は、注目領域表示画面41に表示した注目領域に該当する部分を示す情報として、注目領域が表示されている箇所に吹き出し46を表示する。
例えば、情報処理装置10は、色彩変化量が最大である被写体分割領域54を抽出し、注目領域画面52に表示する。情報処理装置10は、色彩変化量が大きい領域が被写体分割領域54に納まっている場合、色彩変化量が大きい領域を拡大して、拡大注目領域画面55に表示する。また、情報処理装置10は、注目領域画面52に表示した注目領域に対して、吹き出し46を付して表示する。
次に、図9を参照して、本実施形態に係る情報処理プログラムの作用について説明する。図9は、第2実施形態に係る情報処理の一例を示すフローチャートである。CPU11がROM12又はストレージ14から情報処理プログラムを読み出し、実行することによって、図9に示す情報処理が実行される。図9に示す情報処理は、例えば、ユーザによって情報処理プログラムの実行指示が入力された場合、情報処理が実行される。なお、図9における図6に示す情報処理と同一のステップについては、図6と同一の符号を付して、その説明を省略する。
ステップS112において、CPU11は、画像データを均等又は被写体毎に分割する。なお、均等に分割又は被写体毎に分割するかの選択は、画像データを入力すると共に、ユーザによって入力される。
ステップS113において、CPU11は、分割した領域毎の色彩変化量を算出する。
ステップS114において、CPU11は、色彩変化量が最大となる分割した領域に注目領域が納まっているか否かの判定を行う。分割した領域に注目領域が納まっている場合(ステップS114:YES)、CPU11は、ステップS115に移行する。一方、分割した領域に注目領域が納まっていない場合(ステップS114:NO)、CPU11は、ステップS116に移行する。
ステップS115において、CPU11は、分割領域を抽出し、抽出した分割領域に納まっている注目領域を拡大する。
ステップS116において、CPU11は、分割領域を拡張して、注目領域が跨っている複数の分割領域を抽出する。
ステップS117において、CPU11は、抽出した分割領域及び注目領域を表示する。
以上説明したように、本実施形態によれば、画像データを分割して分割領域毎に色彩変化量を算出されることで、より容易に注目領域が抽出される。
その他、上記実施形態で説明した情報処理装置10の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
なお、上記各実施形態において、プロセッサとは、広義的なプロセッサを指し、例えば CPU( Central Processing Unit)等の汎用的なプロセッサや、例えば GPU(Graphics Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、及びプログラマブル論理デバイス等の専用のプロセッサを含むものである。
また、上記各実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
また、上記各実施形態では、情報処理のプログラムがストレージ14に予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
10 情報処理装置
11 CPU
12 ROM
13 RAM
14 ストレージ
15 入力部
16 モニター
17 通信I/F
18 バス
21 取得部
22 抽出部
23 表示部
31 処理を行う前の画像データ
32 処理を行った後の画像データ
40 画像データ表示画面
41 注目領域表示画面
42、45 矩形
43 第一注目領域画面
44 第二注目領域画面
46 均等分割領域
47 吹き出し
52 注目領域画面
53 広域注目領域画面
54 被写体分割領域
55 拡大注目領域画面

Claims (4)

  1. プロセッサを備え、前記プロセッサは、
    画像データに対して行った処理によって変化した色彩の変化量を示す色彩変化量を、前記画像データの中で色彩の変化があった箇所それぞれについて取得し、
    前記画像データに含まれる被写体毎に分割した領域である分割領域に前記画像データを分割し、
    前記画像データの中で、他の箇所より前記色彩変化量が大きい箇所である注目領域が含まれる前記分割領域を抽出して、当該分割領域を拡大して表示する
    情報処理装置。
  2. 前記プロセッサは、前記注目領域が含まれている前記分割領域を拡大して表示するとともに、前記分割領域に含まれる前記注目領域を拡大して表示する請求項に記載の情報処理装置。
  3. 前記プロセッサは、前記注目領域が複数の前記分割領域に跨る場合、前記注目領域が含まれるように複数の前記分割領域を抽出して表示する請求項又は請求項に記載の情報処理装置。
  4. コンピュータに、
    画像データに対して行った処理によって変化した色彩の変化量を示す色彩変化量を、前記画像データの中で色彩の変化があった箇所それぞれについて取得し、
    前記画像データに含まれる被写体毎に分割した領域である分割領域に前記画像データを分割し、
    前記画像データの中で、他の箇所より前記色彩変化量が大きい箇所である注目領域が含まれる前記分割領域を抽出して、当該分割領域を拡大して表示する
    ことを実行させる情報処理プログラム。
JP2019168567A 2019-09-17 2019-09-17 情報処理装置、及び情報処理プログラム Active JP7392341B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019168567A JP7392341B2 (ja) 2019-09-17 2019-09-17 情報処理装置、及び情報処理プログラム
CN202010151100.XA CN112532866B (zh) 2019-09-17 2020-03-06 信息处理装置以及计算机可读存储介质
US16/830,523 US11244187B2 (en) 2019-09-17 2020-03-26 Information processing apparatus and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019168567A JP7392341B2 (ja) 2019-09-17 2019-09-17 情報処理装置、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2021047525A JP2021047525A (ja) 2021-03-25
JP7392341B2 true JP7392341B2 (ja) 2023-12-06

Family

ID=74868043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019168567A Active JP7392341B2 (ja) 2019-09-17 2019-09-17 情報処理装置、及び情報処理プログラム

Country Status (3)

Country Link
US (1) US11244187B2 (ja)
JP (1) JP7392341B2 (ja)
CN (1) CN112532866B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010137467A (ja) 2008-12-12 2010-06-24 Konica Minolta Business Technologies Inc 画像形成装置及び印刷支援方法並びに印刷支援プログラム
JP2010148072A (ja) 2008-12-22 2010-07-01 Canon Inc 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2012142890A (ja) 2011-01-06 2012-07-26 Ricoh Co Ltd 画像処理装置、画像処理プログラム及び画像処理方法
US20150247846A1 (en) 2014-02-26 2015-09-03 Lamdagen Corporation Digital lspr for enhanced assay sensitivity

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4211292B2 (ja) 2002-06-03 2009-01-21 ソニー株式会社 画像処理装置および画像処理方法、プログラム並びにプログラム記録媒体
JP4052128B2 (ja) 2003-01-23 2008-02-27 セイコーエプソン株式会社 画像トリミング装置、画像のトリミング方法、及びプログラム
JP2008092125A (ja) * 2006-09-29 2008-04-17 Canon Software Inc 情報処理装置および褪色補正方法およびプログラムおよび記録媒体
JP2009094902A (ja) * 2007-10-10 2009-04-30 Sharp Corp 画像合成装置、画像合成方法、プログラムおよび記録媒体
JP5006839B2 (ja) 2008-05-27 2012-08-22 富士フイルム株式会社 トリミングルール学習装置および方法並びにプログラム
JP2010062853A (ja) 2008-09-03 2010-03-18 Fujifilm Corp 情報処理装置、方法およびプログラム
JP4626703B2 (ja) * 2008-10-28 2011-02-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
RU2520353C9 (ru) * 2009-03-25 2015-01-27 Сони Компьютер Энтертэйнмент Инк. Устройство обработки информации и способ обработки информации
RU2496253C1 (ru) * 2009-07-21 2013-10-20 Кэнон Кабусики Кайся Устройство обработки изображения и способ обработки изображения для корректировки хроматической аберрации
JP5440366B2 (ja) * 2010-04-30 2014-03-12 カシオ計算機株式会社 画像処理装置及び方法、並びにプログラム
US9668653B2 (en) * 2012-03-15 2017-06-06 Access Business Group International Llc, A Michigan Limited Liability Company Quantification of under-eye skin color
CN104871532B (zh) * 2013-01-25 2017-03-15 富士胶片株式会社 拍摄装置及其动作控制方法
US20160106329A1 (en) * 2014-10-20 2016-04-21 Microsoft Corporation Utilizing different color channels for rgb-image-based differential heart rate detection
US10791938B2 (en) * 2015-06-14 2020-10-06 Facense Ltd. Smartglasses for detecting congestive heart failure
JP6516103B2 (ja) * 2016-06-16 2019-05-22 京セラドキュメントソリューションズ株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US20180070887A1 (en) * 2016-08-29 2018-03-15 Gwangju Institute Of Science And Technology Blood pressure measuring device and blood pressure measuring method using the same
TWI672628B (zh) * 2016-12-08 2019-09-21 日商摩如富股份有限公司 影像處理裝置、方法以及電腦可讀取的記錄媒體
JP6766720B2 (ja) * 2017-03-27 2020-10-14 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US11006038B2 (en) * 2018-05-02 2021-05-11 Qualcomm Incorporated Subject priority based image capture
CN112840233A (zh) * 2018-08-24 2021-05-25 路创技术有限责任公司 占用者检测装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010137467A (ja) 2008-12-12 2010-06-24 Konica Minolta Business Technologies Inc 画像形成装置及び印刷支援方法並びに印刷支援プログラム
JP2010148072A (ja) 2008-12-22 2010-07-01 Canon Inc 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2012142890A (ja) 2011-01-06 2012-07-26 Ricoh Co Ltd 画像処理装置、画像処理プログラム及び画像処理方法
US20150247846A1 (en) 2014-02-26 2015-09-03 Lamdagen Corporation Digital lspr for enhanced assay sensitivity

Also Published As

Publication number Publication date
JP2021047525A (ja) 2021-03-25
US11244187B2 (en) 2022-02-08
CN112532866B (zh) 2024-08-02
US20210081696A1 (en) 2021-03-18
CN112532866A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
JP5700968B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP3690391B2 (ja) 画像編集装置、画像のトリミング方法、及びプログラム
JP6663285B2 (ja) 画像生成方法及び画像生成システム
JP5653104B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4356752B2 (ja) 文書編集装置、プログラムおよび記憶媒体
US9082183B2 (en) Image processing device and image processing method
JP7392341B2 (ja) 情報処理装置、及び情報処理プログラム
JP6056511B2 (ja) 画像処理装置、方法、及びプログラム、並びに撮像装置
EP2811732B1 (en) Image processing apparatus, image processing method, computer-readable storage medium and program
JP7408973B2 (ja) 学習モデル生成装置、画像補正装置、学習モデル生成プログラム、及び画像補正プログラム
JP2010193154A (ja) 画像処理装置および画像処理方法
JP7114807B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP2011053456A (ja) 画像表示方法、プログラム、画像表示装置、及び、この画像表示装置を有する撮像装置
JP2005149439A (ja) 画像処理装置及び画像処理方法
JP5232107B2 (ja) 画像表示方法、プログラム、画像表示装置、及び、撮像装置
EP4207050A1 (en) Image processing apparatus, image processing method, program, and storage medium
JP2018182550A (ja) 画像処理装置
JP5132802B2 (ja) 画像処理方法及び画像処理装置
JP2017034376A (ja) 画像処理装置、画像処理方法、コンピュータプログラム
CN118714271A (zh) 一种图像处理方法、装置和电子设备
JP6639120B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP4380268B2 (ja) 画像領域選択方法及び装置
JP4666071B2 (ja) 文書編集装置、プログラムおよび記憶媒体
JP5761386B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4911240B2 (ja) 文書編集装置、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231024

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231106

R150 Certificate of patent or registration of utility model

Ref document number: 7392341

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150