JP7338328B2 - データ構造、コンピュータプログラム及び画像処理装置 - Google Patents
データ構造、コンピュータプログラム及び画像処理装置 Download PDFInfo
- Publication number
- JP7338328B2 JP7338328B2 JP2019158031A JP2019158031A JP7338328B2 JP 7338328 B2 JP7338328 B2 JP 7338328B2 JP 2019158031 A JP2019158031 A JP 2019158031A JP 2019158031 A JP2019158031 A JP 2019158031A JP 7338328 B2 JP7338328 B2 JP 7338328B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- keyword
- word
- area
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Machine Translation (AREA)
Description
本発明は、データ構造、コンピュータプログラム及び画像処理装置に関する。
従来、画像を検索する画像検索に関する技術が開示されている。例えば、画像がメッセージ情報を有し、メッセージ情報の少なくとも一部を検索条件として指定し、指定された検索条件で画像データベースを検索して、所定値以上の一致度を持つ画像を読み出す技術が開示されている（例えば、特許文献１）。
ところで、検索結果として表示された画像について、単に画像を表示しただけでは、検索条件に一致している箇所が容易に判断しづらい。
そこで、本発明は、画像の内容を分かりやすく表すための処理に用いるデータ構造及び画像処理装置を提供することを目的とする。
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、画像の分類を示す複数のカテゴリと、前記カテゴリに対応付けられている複数の分岐情報であって、前記カテゴリに応じた単語と領域の色データとが対応付けられたコンピュータが取得する領域表示設定データを示す複数の分岐情報と、を含む、データ構造であって、コンピュータが、処理対象の画像から取得した前記カテゴリに基づいて１つの分岐情報を選択し、選択された前記分岐情報が示す、前記処理対象の画像に含まれる要素画像に係るキーワードに一致する前記領域表示設定データの前記単語に対応付けられた前記領域の色データを、前記要素画像を含む前記キーワードに対応した要素画像領域の色データに決定し、前記処理対象の画像に対して決定した前記領域の色データを施した前記要素画像領域を重畳させて表示する処理に用いられる、データ構造である。
第２の発明は、第１の発明のデータ構造において、前記コンピュータが、前記キーワードに一致する前記領域表示設定データの前記単語に対応付けられ、前記処理対象の画像に対して決定した前記領域の色データを施した前記要素画像領域を順番に重畳させて表示する処理に用いられる、前記領域の色データに係る表示の順番情報をさらに含む、データ構造である。
第３の発明は、第２の発明のデータ構造において、前記順番情報は、前記コンピュータが、操作信号を受信したタイミングで、又は、所定時間ごとに、前記処理対象の画像に対して決定した前記領域の色データを施した前記要素画像領域を順番に重畳させて表示する処理に用いられる、データ構造である。
第４の発明は、第１の発明から第３の発明までのいずれかのデータ構造において、前記単語は、前記コンピュータが、前記処理対象の画像に対して決定した前記領域の色データを施した前記要素画像領域と共に重畳させて表示する処理に用いられる、データ構造である。
第５の発明は、処理対象の画像を分析して要素画像を含む矩形領域を抽出し、抽出した前記矩形領域に含まれる前記要素画像の特徴ごとに関連付いた単語を参照して説明文を生成し、生成した説明文から複数の語を抽出し、抽出した語の少なくとも一部をキーワードとして取得するキーワード取得手段と、前記キーワード取得手段によって取得した前記キーワードに対応した前記矩形領域を、キーワード領域として取得するキーワード領域取得手段と、前記キーワード領域取得手段によって取得した前記キーワードからカテゴリを取得するカテゴリ取得手段と、前記カテゴリ取得手段により取得された前記カテゴリと、前記キーワード取得手段により取得した前記キーワードとを用いて、対応する前記キーワード領域の表示態様を決定する態様決定手段と、前記画像に、前記態様決定手段により決定された表示態様の前記キーワード領域を強調して表示する画像編集出力手段と、を備える画像処理装置である。
第１の発明は、画像の分類を示す複数のカテゴリと、前記カテゴリに対応付けられている複数の分岐情報であって、前記カテゴリに応じた単語と領域の色データとが対応付けられたコンピュータが取得する領域表示設定データを示す複数の分岐情報と、を含む、データ構造であって、コンピュータが、処理対象の画像から取得した前記カテゴリに基づいて１つの分岐情報を選択し、選択された前記分岐情報が示す、前記処理対象の画像に含まれる要素画像に係るキーワードに一致する前記領域表示設定データの前記単語に対応付けられた前記領域の色データを、前記要素画像を含む前記キーワードに対応した要素画像領域の色データに決定し、前記処理対象の画像に対して決定した前記領域の色データを施した前記要素画像領域を重畳させて表示する処理に用いられる、データ構造である。
第２の発明は、第１の発明のデータ構造において、前記コンピュータが、前記キーワードに一致する前記領域表示設定データの前記単語に対応付けられ、前記処理対象の画像に対して決定した前記領域の色データを施した前記要素画像領域を順番に重畳させて表示する処理に用いられる、前記領域の色データに係る表示の順番情報をさらに含む、データ構造である。
第３の発明は、第２の発明のデータ構造において、前記順番情報は、前記コンピュータが、操作信号を受信したタイミングで、又は、所定時間ごとに、前記処理対象の画像に対して決定した前記領域の色データを施した前記要素画像領域を順番に重畳させて表示する処理に用いられる、データ構造である。
第４の発明は、第１の発明から第３の発明までのいずれかのデータ構造において、前記単語は、前記コンピュータが、前記処理対象の画像に対して決定した前記領域の色データを施した前記要素画像領域と共に重畳させて表示する処理に用いられる、データ構造である。
第５の発明は、処理対象の画像を分析して要素画像を含む矩形領域を抽出し、抽出した前記矩形領域に含まれる前記要素画像の特徴ごとに関連付いた単語を参照して説明文を生成し、生成した説明文から複数の語を抽出し、抽出した語の少なくとも一部をキーワードとして取得するキーワード取得手段と、前記キーワード取得手段によって取得した前記キーワードに対応した前記矩形領域を、キーワード領域として取得するキーワード領域取得手段と、前記キーワード領域取得手段によって取得した前記キーワードからカテゴリを取得するカテゴリ取得手段と、前記カテゴリ取得手段により取得された前記カテゴリと、前記キーワード取得手段により取得した前記キーワードとを用いて、対応する前記キーワード領域の表示態様を決定する態様決定手段と、前記画像に、前記態様決定手段により決定された表示態様の前記キーワード領域を強調して表示する画像編集出力手段と、を備える画像処理装置である。
本発明によれば、画像の内容を分かりやすく表すための処理に用いるデータ構造及び画像処理装置を提供することができる。
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（第１実施形態）
＜画像処理システム１００＞
図１は、第１実施形態に係る画像処理システム１００の全体概要図及び端末４の機能ブロック図である。
図２は、第１実施形態に係る画像処理装置１の機能ブロック図である。
図３は、第１実施形態に係る画像処理装置１の領域表示設定記憶部３３の例を示す図である。
＜画像処理システム１００＞
図１は、第１実施形態に係る画像処理システム１００の全体概要図及び端末４の機能ブロック図である。
図２は、第１実施形態に係る画像処理装置１の機能ブロック図である。
図３は、第１実施形態に係る画像処理装置１の領域表示設定記憶部３３の例を示す図である。
図１に示す画像処理システム１００は、画像処理装置１と、端末４とを備えたシステムである。画像処理装置１は、端末４から画像データ（処理対象の画像）を受信し、受信した画像データに対して画像認識処理を行って、画像内のオブジェクト（要素画像）に係るキーワードと、オブジェクトを含む範囲であるキーワード領域（要素画像領域）とを取得する。そして、画像処理装置１は、領域表示設定データに基づいてキーワード領域に色付けをする編集を行って、画像を表示させる。そうすることで、画像処理装置１は、画像の内容を表すオブジェクト自身と、その位置とを、端末４のユーザに一見して分かるように提示する。
以下の説明において、画像データは、例えば、美術館や博物館等で展示されている絵画等を、画像データ化したものであるとする。しかし、これは一例であり、画像データは、カメラによる写真データ等であってもよい。
画像処理装置１と端末４とは、通信ネットワークＮを介して通信可能に接続されている。通信ネットワークＮは、例えば、インターネット回線等であり、有線であるか無線であるかを問わない。
画像処理装置１と端末４とは、通信ネットワークＮを介して通信可能に接続されている。通信ネットワークＮは、例えば、インターネット回線等であり、有線であるか無線であるかを問わない。
＜画像処理装置１＞
画像処理装置１は、画像データが示す処理対象の画像に対して画像認識処理をすることにより、画像内の複数のオブジェクトの各々を表す複数のキーワードを取得する。また、画像処理装置１は、各々のオブジェクトを囲む範囲であって各々のオブジェクトを含む矩形領域を、キーワード領域として複数個取得する。さらに、画像処理装置１は、画像データが示す処理対象の画像が示す内容から処理対象の画像のカテゴリを取得する。そして、画像処理装置１は、取得したカテゴリに対応した領域表示設定データを、分岐情報を選択することで選択し、複数のキーワードの各々に対応する領域の色データを決定し、各々のキーワード領域に対して決定した色データによる色付けを行う。その後、画像処理装置１は、複数のキーワード領域を強調表示する。
画像処理装置１は、画像データが示す処理対象の画像に対して画像認識処理をすることにより、画像内の複数のオブジェクトの各々を表す複数のキーワードを取得する。また、画像処理装置１は、各々のオブジェクトを囲む範囲であって各々のオブジェクトを含む矩形領域を、キーワード領域として複数個取得する。さらに、画像処理装置１は、画像データが示す処理対象の画像が示す内容から処理対象の画像のカテゴリを取得する。そして、画像処理装置１は、取得したカテゴリに対応した領域表示設定データを、分岐情報を選択することで選択し、複数のキーワードの各々に対応する領域の色データを決定し、各々のキーワード領域に対して決定した色データによる色付けを行う。その後、画像処理装置１は、複数のキーワード領域を強調表示する。
画像処理装置１は、例えば、サーバである。画像処理装置１は、その他、パーソナルコンピュータ（ＰＣ）等であってもよい。
図２に示すように、画像処理装置１は、制御部１０と、記憶部３０と、通信インタフェース部３９とを備える。
制御部１０は、画像処理装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部３０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
図２に示すように、画像処理装置１は、制御部１０と、記憶部３０と、通信インタフェース部３９とを備える。
制御部１０は、画像処理装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部３０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部１０は、画像受信部１１と、キーワード取得部１２（キーワード取得手段）と、キーワード領域取得部１３（キーワード領域取得手段）と、カテゴリ取得部１４（カテゴリ取得手段）と、態様決定部１５（態様決定手段）と、画像編集部１６（画像編集出力手段）と、画像出力部１７（画像編集出力手段）とを備える。
画像受信部１１は、処理対象の画像データを受け付ける。ここで、画像受信部１１が受け付ける画像データは、例えば、端末４が送信した、絵画を画像化した画像データである。なお、画像処理装置の画像記憶部３２（後述する）に、予め多数の画像データを記憶している場合には、画像受信部１１は、例えば、画像記憶部３２から１つの画像データの指定を受け付けるものであってもよい。
画像受信部１１は、処理対象の画像データを受け付ける。ここで、画像受信部１１が受け付ける画像データは、例えば、端末４が送信した、絵画を画像化した画像データである。なお、画像処理装置の画像記憶部３２（後述する）に、予め多数の画像データを記憶している場合には、画像受信部１１は、例えば、画像記憶部３２から１つの画像データの指定を受け付けるものであってもよい。
キーワード取得部１２は、画像受信部１１が受信した画像データに対して画像認識処理を行い、画像データが示す画像に含まれる複数のオブジェクトの各々に係るキーワードを取得する。ここで、オブジェクトとは、何かしらの物体を意味する。オブジェクトの具体例については、後述で図面と共に説明する。
キーワード領域取得部１３は、画像データが示す画像の一部であり、キーワードに対応するオブジェクトの少なくとも一部を含んだキーワード領域を取得する。キーワード領域取得部１３は、例えば、キーワードが示すオブジェクトを含むようにして囲った矩形領域を、キーワード領域として取得する。ここで、キーワード領域取得部１３は、あるキーワードに対応するオブジェクトが複数ある場合に、複数のオブジェクトのうち少なくとも１つの矩形領域を、キーワード領域として抽出してもよい。また、キーワード領域取得部１３は、キーワードに対応するオブジェクトが複数ある場合に、複数のオブジェクトの各々を含む複数の矩形領域を、キーワード領域として抽出してもよい。
ここで、キーワード取得部１２及びキーワード領域取得部１３による処理は、様々な公知の画像認識処理を用いて行うことができる。
例えば、画像データから画像に関する説明文を生成し、キーワード及びキーワード領域を取得するものであってもよい。制御部１０は、例えば、公知の説明文生成ソフトウェアである“ＤｅｎｓｅＣａｐ”を使用して、画像に関する説明文を生成することができる。
例えば、画像データから画像に関する説明文を生成し、キーワード及びキーワード領域を取得するものであってもよい。制御部１０は、例えば、公知の説明文生成ソフトウェアである“ＤｅｎｓｅＣａｐ”を使用して、画像に関する説明文を生成することができる。
ここで、“ＤｅｎｓｅＣａｐ”を使用した場合には、制御部１０は、画像に含まれるオブジェクトを認識し、オブジェクトを含む矩形領域を抽出する。ここで、制御部１０は、オブジェクトの認識結果としてオブジェクトの認識度合を示す確信度を算出し、閾値以上の確信度の矩形領域を処理対象にしてもよい。そして、制御部１０は、抽出した矩形領域に含まれるオブジェクトの特徴ごとに関連付いた単語を参照してオブジェクトに関する説明文を生成する。ここで、制御部１０は、複数の説明文を生成する。また、“ＤｅｎｓｅＣａｐ”を使用した場合、説明文の言語は、英語である。
“ＤｅｎｓｅＣａｐ”を使用して得た説明文の言語が英語であるので、制御部１０は、英語の説明文を、日本語に翻訳する。制御部１０は、例えば、公知の自動翻訳のソフトウェアを用いて、説明文を翻訳することができる。なお、その他として、制御部１０は、通信ネットワークＮを介して接続された翻訳のウェブサービスを行うサーバ（図示せず）に対して通信をして、翻訳のウェブサービスを行うサーバによって英語から日本語に翻訳してもよい。
なお、“ＤｅｎｓｅＣａｐ”の場合、説明文の生成には、現在の写真等の画像データを使用して学習した学習器を用いている。そのため、“ＤｅｎｓｅＣａｐ”は、学習結果として、画像から現在においてありふれた物を用いた説明文を生成する。他方、本実施形態での例のように、美術館や博物館等の絵画の画像データには、古い時代の絵画を含む。そのため、“ＤｅｎｓｅＣａｐ”では、誤変換が生じる場合がある。例えば、人物が手に持っている聖書を、現在においてありふれた物であるタブレットに、誤って変換する場合がある。よって、その場合には、生成された説明文に含まれるタブレットを、聖書に置き換えたり、絵画がモチーフとしている時代にはない物の説明については、削除したりする必要がある。
その後、制御部１０は、複数の説明文から複数の語を抽出する。具体的には、制御部１０は、例えば、各説明文に対して形態素解析を行うことによって、複数の説明文から複数の語を抽出する。ここで、制御部１０が抽出する語は、例えば、名詞や、名詞句である。
なお、制御部１０は、語を抽出する際に、「彼」や「これ」等の代名詞や、「側」や「製」等の接尾名詞、「中」や「一部」等の副詞可能名詞等を除外するようにしてもよい。
なお、制御部１０は、語を抽出する際に、「彼」や「これ」等の代名詞や、「側」や「製」等の接尾名詞、「中」や「一部」等の副詞可能名詞等を除外するようにしてもよい。
そして、制御部１０は、抽出された複数の語からキーワードを取得する。制御部１０は、例えば、画像から抽出された語の出現頻度に基づいて、語のうちの少なくとも一部（例えば、ｎ語（ｎは２以上の整数））を、キーワードとして取得してもよい。
また、制御部１０は、キーワードに対応するオブジェクトについて少なくとも一部を含んだキーワード領域を抽出する。ここで、制御部１０は、“ＤｅｎｓｅＣａｐ”を用いて取得した矩形領域を、キーワード領域として抽出してもよい。
また、制御部１０は、キーワードに対応するオブジェクトについて少なくとも一部を含んだキーワード領域を抽出する。ここで、制御部１０は、“ＤｅｎｓｅＣａｐ”を用いて取得した矩形領域を、キーワード領域として抽出してもよい。
なお、上述では、“ＤｅｎｓｅＣａｐ”を用いた説明文の生成及び語の抽出について説明したが、この方法に限定するものではない。画像処理装置１は、画像中のオブジェクトを含むキーワード領域を抽出し、オブジェクトを表す語（キーワード）を抽出することができれば、他の公知の画像認識処理方法を用いてもよい。また、例えば、ユーザによる入力に基づいて、端末４からキーワードと、キーワードに対応するオブジェクトを含むキーワード領域とに関するデータを受信することで、制御部１０は、キーワードと、キーワード領域とを取得してもよい。
カテゴリ取得部１４は、画像データが示す処理対象の画像のカテゴリを取得する。ここで、カテゴリは、処理対象の画像が示す分類をいい、例えば、絵画に含む被写体を示すものカテゴリであれば、「風景画」、「人物画」、「肖像画」等をいう。カテゴリは、その他、特許図面や、写真といった利用目的に応じたものであってもよい。
カテゴリ取得部１４は、画像認識処理によって、カテゴリを取得してもよい。例えば、記憶部３０にカテゴリとキーワードとが関連付けられた図示しないカテゴリデータベースを有し、取得したキーワードからカテゴリを取得する。また、処理対象の画像にカテゴリが関連付けられていれば、カテゴリ取得部１４は、関連付けられたカテゴリを取得すればよい。さらに、カテゴリ取得部１４は、例えば、ユーザによる入力に基づいて、端末４からカテゴリに関するデータを受信することで、カテゴリを取得してもよい。
なお、カテゴリ取得部１４が取得するカテゴリは、予め決められたカテゴリの候補の中から取得することが望ましい。そして、カテゴリの候補は、後述する領域表示設定記憶部３３に記憶されている複数の領域表示設定データのカテゴリであることが望ましい。
なお、カテゴリ取得部１４が取得するカテゴリは、予め決められたカテゴリの候補の中から取得することが望ましい。そして、カテゴリの候補は、後述する領域表示設定記憶部３３に記憶されている複数の領域表示設定データのカテゴリであることが望ましい。
態様決定部１５は、キーワード領域取得部１３で取得した各キーワード領域の表示態様を、カテゴリ取得部１４により取得したカテゴリと、キーワード領域取得部１３で取得したキーワードとを用いて、領域表示設定記憶部３３の領域表示設定データ（後述する）に基づいて決定する。ここで、表示態様は、例えば、キーワード領域の色付けである。
画像編集部１６は、態様決定部１５で決定した表示態様を、キーワード領域に反映させることで、キーワード領域を強調させた強調画像を生成する。ここで、生成する強調画像は、複数のキーワード領域の各々について、キーワード領域に対する色付けをした画像である。また、生成する強調画像は、透過性を有するものであってもよい。そのようにすることで、画像に強調画像を重ねた場合であっても、ユーザは、強調画像の下にある画像についても視認できる。
画像出力部１７は、元の画像に強調画像を重畳した編集後画像データを、端末４に対して出力する。このようにすることで、端末４では、元の画像に重ねて強調画像が表示される。
画像編集部１６は、態様決定部１５で決定した表示態様を、キーワード領域に反映させることで、キーワード領域を強調させた強調画像を生成する。ここで、生成する強調画像は、複数のキーワード領域の各々について、キーワード領域に対する色付けをした画像である。また、生成する強調画像は、透過性を有するものであってもよい。そのようにすることで、画像に強調画像を重ねた場合であっても、ユーザは、強調画像の下にある画像についても視認できる。
画像出力部１７は、元の画像に強調画像を重畳した編集後画像データを、端末４に対して出力する。このようにすることで、端末４では、元の画像に重ねて強調画像が表示される。
記憶部３０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するためのハードディスク、半導体メモリ素子等の記憶領域である。
記憶部３０は、プログラム記憶部３１と、画像記憶部３２と、領域表示設定記憶部３３とを備える。
プログラム記憶部３１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部３１は、画像認識処理に関するソフトウェアの他、画像処理プログラム３１ａを記憶している。画像認識処理に関するソフトウェアは、例えば、上述した“ＤｅｎｓｅＣａｐ”等の公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアである。また、画像処理プログラム３１ａは、画像処理装置１の制御部１０が実行する各種機能を行うためのプログラムである。なお、画像処理プログラム３１ａは、公知の画像認識処理に関するソフトウェアを含むものであってもよい。
記憶部３０は、プログラム記憶部３１と、画像記憶部３２と、領域表示設定記憶部３３とを備える。
プログラム記憶部３１は、各種のプログラムを記憶する記憶領域である。プログラム記憶部３１は、画像認識処理に関するソフトウェアの他、画像処理プログラム３１ａを記憶している。画像認識処理に関するソフトウェアは、例えば、上述した“ＤｅｎｓｅＣａｐ”等の公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアである。また、画像処理プログラム３１ａは、画像処理装置１の制御部１０が実行する各種機能を行うためのプログラムである。なお、画像処理プログラム３１ａは、公知の画像認識処理に関するソフトウェアを含むものであってもよい。
画像記憶部３２は、端末４から受信した画像データを含む画像情報と、画像認識処理により取得したキーワードに関する情報とを関連付けて記憶する記憶領域である。キーワードに関する情報とは、キーワードと、そのキーワードに対応するキーワード領域（位置情報）をいう。
領域表示設定記憶部３３は、キーワード領域の表示態様を決定するための領域表示設定データを記憶した記憶領域である。
領域表示設定記憶部３３は、キーワード領域の表示態様を決定するための領域表示設定データを記憶した記憶領域である。
例えば、図３に示す領域表示設定記憶部３３は、カテゴリごとに領域表示設定データを記憶している。
図３の例では、カテゴリが、「風景画用」、「人物画用」、…である複数の領域表示設定データが、領域表示設定記憶部３３に予め用意されて記憶されている。
領域表示設定データは、単語と、表示色とが対応付けられたデータ構造を有する。ここで、単語は、領域を強調表示する対象の語であり、カテゴリごとに予め決められている。また、表示色は、領域の色データであり、単語に対応付けて予め決められている。ここで、表示色は、色だけでなく、濃淡度合い等を含んでもよい。また、異なる単語に対応付けられた色データは、全てが異なる色である必要はなく、一部について同じ色であってもよい。
図３の例では、カテゴリが、「風景画用」、「人物画用」、…である複数の領域表示設定データが、領域表示設定記憶部３３に予め用意されて記憶されている。
領域表示設定データは、単語と、表示色とが対応付けられたデータ構造を有する。ここで、単語は、領域を強調表示する対象の語であり、カテゴリごとに予め決められている。また、表示色は、領域の色データであり、単語に対応付けて予め決められている。ここで、表示色は、色だけでなく、濃淡度合い等を含んでもよい。また、異なる単語に対応付けられた色データは、全てが異なる色である必要はなく、一部について同じ色であってもよい。
通信インタフェース部３９は、通信ネットワークＮを介して、例えば、端末４との間の通信を行うためのインタフェースである。
＜端末４＞
図１に示す端末４は、例えば、タブレットに代表されるコンピュータの機能を併せ持った携帯型の端末である。端末４は、その他、スマートフォンや携帯電話機等の携帯型の端末でもよいし、ＰＣ等の据置型の端末であってもよい。
端末４は、画像処理装置１に対して画像データを送信し、画像処理装置１から受信した編集後画像データを出力する。
端末４は、制御部４０と、記憶部５０と、タッチパネルディスプレイ５７と、通信インタフェース部５９とを備える。
図１に示す端末４は、例えば、タブレットに代表されるコンピュータの機能を併せ持った携帯型の端末である。端末４は、その他、スマートフォンや携帯電話機等の携帯型の端末でもよいし、ＰＣ等の据置型の端末であってもよい。
端末４は、画像処理装置１に対して画像データを送信し、画像処理装置１から受信した編集後画像データを出力する。
端末４は、制御部４０と、記憶部５０と、タッチパネルディスプレイ５７と、通信インタフェース部５９とを備える。
制御部４０は、端末４の全体を制御するＣＰＵである。制御部４０は、記憶部５０に記憶されているＯＳやアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
制御部４０は、処理対象の画像データを、画像処理装置１に対して送信する。また、制御部４０は、画像処理装置１から受信した編集後画像データを、タッチパネルディスプレイ５７に表示させる。
制御部４０は、処理対象の画像データを、画像処理装置１に対して送信する。また、制御部４０は、画像処理装置１から受信した編集後画像データを、タッチパネルディスプレイ５７に表示させる。
記憶部５０は、制御部４０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
タッチパネルディスプレイ５７は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
通信インタフェース部５９は、通信ネットワークＮを介して画像処理装置１との間で通信を行うためのインタフェースである。
タッチパネルディスプレイ５７は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
通信インタフェース部５９は、通信ネットワークＮを介して画像処理装置１との間で通信を行うためのインタフェースである。
ここで、コンピュータとは、制御部、記憶装置等を備えた情報処理装置をいい、画像処理装置１及び端末４は、各々制御部、記憶部等を備えた情報処理装置であり、コンピュータの概念に含まれる。
＜画像処理システム１００の処理＞
次に、処理対象の画像に強調画像を重畳した編集後画像データを生成し、端末４に表示させる処理について説明する。
図４は、第１実施形態に係る画像処理システム１００の画像データ処理を示すフローチャートである。
図５及び図９は、第１実施形態に係る画像処理装置１での処理の具体例を示す図である。
図６は、第１実施形態に係る画像処理装置１の画像認識処理を示すフローチャートである。
図７は、第１実施形態に係る画像処理装置１の画像記憶部３２の例を示す図である。
図８は、第１実施形態に係る画像処理装置１の画像編集処理を示すフローチャートである。
次に、処理対象の画像に強調画像を重畳した編集後画像データを生成し、端末４に表示させる処理について説明する。
図４は、第１実施形態に係る画像処理システム１００の画像データ処理を示すフローチャートである。
図５及び図９は、第１実施形態に係る画像処理装置１での処理の具体例を示す図である。
図６は、第１実施形態に係る画像処理装置１の画像認識処理を示すフローチャートである。
図７は、第１実施形態に係る画像処理装置１の画像記憶部３２の例を示す図である。
図８は、第１実施形態に係る画像処理装置１の画像編集処理を示すフローチャートである。
図４のステップＳ（以下、単に「Ｓ」という。）１０において、端末４の制御部４０は、処理対象の画像データを、画像処理装置１に対して送信する。
図５（Ａ）は、画像処理装置１に対して送信した、処理対象の画像データが示す画像６０の例である。
図４のＳ１１において、画像処理装置１の制御部１０（画像受信部１１）は、処理対象の画像データを受信する。
Ｓ１２において、画像処理装置１の制御部１０は、画像認識処理を行う。
ここで、画像認識処理について、図６に基づき説明する。
図５（Ａ）は、画像処理装置１に対して送信した、処理対象の画像データが示す画像６０の例である。
図４のＳ１１において、画像処理装置１の制御部１０（画像受信部１１）は、処理対象の画像データを受信する。
Ｓ１２において、画像処理装置１の制御部１０は、画像認識処理を行う。
ここで、画像認識処理について、図６に基づき説明する。
図６のＳ２０において、制御部１０（キーワード領域取得部１３）は、画像に含まれるオブジェクトを認識する。オブジェクトの認識は、画像内のオブジェクト（物体）の有無を、例えば、ｐｘ（ピクセル）ごとの色情報の変化の度合い等から判断することで認識する。
Ｓ２１において、制御部１０（キーワード領域取得部１３）は、オブジェクトの確信度を算出する。これは、オブジェクトの認識度合に応じたものであり、例えば、輪郭がぼやけているオブジェクトは、確信度が低い値になる。
Ｓ２２において、制御部１０（キーワード領域取得部１３）は、オブジェクトを含む矩形領域を抽出する。制御部１０（キーワード領域取得部１３）は、例えば、算出した確信度が閾値以上のものについて、矩形領域を抽出する。
Ｓ２１において、制御部１０（キーワード領域取得部１３）は、オブジェクトの確信度を算出する。これは、オブジェクトの認識度合に応じたものであり、例えば、輪郭がぼやけているオブジェクトは、確信度が低い値になる。
Ｓ２２において、制御部１０（キーワード領域取得部１３）は、オブジェクトを含む矩形領域を抽出する。制御部１０（キーワード領域取得部１３）は、例えば、算出した確信度が閾値以上のものについて、矩形領域を抽出する。
Ｓ２３において、制御部１０（キーワード取得部１２）は、矩形領域ごとにその内容を説明する説明文を生成する。そして、制御部１０（キーワード取得部１２）は、生成した説明文を翻訳する。
図５（Ｂ）は、画像６０に対して“ＤｅｎｓｅＣａｐ”を使用した場合の結果画像６１及びキャプション６２の例である。“ＤｅｎｓｅＣａｐ”では、画像６０のオブジェクトを含む矩形領域ごとに文を出力する。矩形領域は、上述したように、オブジェクトごとに抽出するために、画像６０内に重なって複数生成される。よって、矩形領域に対応して、文も複数生成される。なお、画像６０の画素数が６４０ｐｘ（ピクセル）である場合には、“ＤｅｎｓｅＣａｐ”は、約８０個のキャプション６２を生成する。
図５（Ｃ）は、キャプション６２を翻訳した説明文６３の例を示す。
図５（Ｂ）は、画像６０に対して“ＤｅｎｓｅＣａｐ”を使用した場合の結果画像６１及びキャプション６２の例である。“ＤｅｎｓｅＣａｐ”では、画像６０のオブジェクトを含む矩形領域ごとに文を出力する。矩形領域は、上述したように、オブジェクトごとに抽出するために、画像６０内に重なって複数生成される。よって、矩形領域に対応して、文も複数生成される。なお、画像６０の画素数が６４０ｐｘ（ピクセル）である場合には、“ＤｅｎｓｅＣａｐ”は、約８０個のキャプション６２を生成する。
図５（Ｃ）は、キャプション６２を翻訳した説明文６３の例を示す。
図６のＳ２４において、制御部１０（キーワード取得部１２）は、生成した複数の説明文から、語を抽出する。そして、制御部１０（キーワード取得部１２）は、抽出した語の一部を、キーワードとして選定する。その際、制御部１０（キーワード取得部１２）は、出現頻度が一定以上の語を、キーワードとして選定するようにしてもよい。なお、キーワードは、抽出した語の少なくとも一部を含むものであればよく、抽出したものの全てであってもよい。
Ｓ２５において、制御部１０は、キーワードに関する情報と、画像データを含む画像情報とを、画像記憶部３２に記憶させる。キーワードに関する情報は、この例では、選定したキーワードと、キーワードに対応する矩形領域であるキーワード領域の位置情報を含む。なお、矩形領域は、複数の矩形領域を結合したものであってもよい。また、矩形領域は、画像に対して再認識処理をすることによって抽出してもよい。
図７は、説明文６３を形態素解析することによって、名詞を語として抽出したキーワードと、矩形領域の位置情報とを記憶した画像記憶部３２の例を示す。画像記憶部３２は、画像データごとに、キーワードと、キーワード領域を示す位置情報とを対応付けたテーブルである。
その後、制御部１０は、処理を図４に移す。
その後、制御部１０は、処理を図４に移す。
図４に戻り、Ｓ１３において、制御部１０（カテゴリ取得部１４）は、処理対象の画像データについてのカテゴリを取得する。ここで、制御部１０は、カテゴリを、処理対象の画像データを画像認識処理によって得てもよい。また、制御部１０は、端末４のユーザが入力したカテゴリに関するデータを受信することで、カテゴリを得てもよい。図５に示す画像６０の場合には、制御部１０は、カテゴリとして「人物画」を得る。
Ｓ１４において、制御部１０は、画像編集処理を行う。
Ｓ１４において、制御部１０は、画像編集処理を行う。
ここで、画像編集処理について、図８に基づき説明する。
図８のＳ３０において、制御部１０（態様決定部１５）は、取得したカテゴリに一致する領域表示設定データを、領域表示設定記憶部３３から取得する。領域表示設定記憶部３３には、カテゴリ別に複数の領域表示設定データが記憶されている。そこで、制御部１０は、領域表示設定記憶部３３に記憶されている複数の領域表示設定データから、取得したカテゴリに一致するカテゴリの領域表示設定データを取得する。
図８のＳ３０において、制御部１０（態様決定部１５）は、取得したカテゴリに一致する領域表示設定データを、領域表示設定記憶部３３から取得する。領域表示設定記憶部３３には、カテゴリ別に複数の領域表示設定データが記憶されている。そこで、制御部１０は、領域表示設定記憶部３３に記憶されている複数の領域表示設定データから、取得したカテゴリに一致するカテゴリの領域表示設定データを取得する。
Ｓ３１において、制御部１０（態様決定部１５）は、画像記憶部３２に記憶されたキーワードに一致する領域表示設定データの単語を取得する。ここで、制御部１０は、例えば、画像記憶部３２に記憶されたキーワードを、順番に読み取って、読み取ったキーワードに一致する単語の有無を、領域表示設定データを参照して確認してもよい。
Ｓ３２において、制御部１０（態様決定部１５）は、取得した単語に対応する表示色のデータを、キーワード領域の色データに決定する。
Ｓ３３において、制御部１０（画像編集部１６）は、決定した表示色の色データを各々のキーワード領域に施した強調画像を生成する。
Ｓ３４において、制御部１０（画像編集部１６）は、生成した強調画像を、元の画像に重畳させて、編集後画像データを生成する。
Ｓ３３において、制御部１０（画像編集部１６）は、決定した表示色の色データを各々のキーワード領域に施した強調画像を生成する。
Ｓ３４において、制御部１０（画像編集部１６）は、生成した強調画像を、元の画像に重畳させて、編集後画像データを生成する。
図９（Ａ）は、強調画像７０の例を示す。強調画像７０は、キーワード領域７０ａ～７０ｅを含む。また、強調画像７０は、透過性のある画像である。キーワード領域７０ａ及び７０ｂは、キーワード「女性」に対応する領域である。キーワード領域７０ｃは、キーワード「空」に対応する領域である。キーワード領域７０ｄは、キーワード「山」に対応し、キーワード領域７０ｅは、キーワード「植物」に対応する。
ここで、図３で例示する領域表示設定データ（人物画用）では、単語「女性」の表示色は、「赤」である。そこで、制御部１０は、キーワード領域７０ａ及び７０ｂを、赤色の領域にする。また、単語「空」の表示色は「青」であり、単語「山」の表示色は「緑」であり、単語「植物」の表示色は「黄」である。そこで、制御部１０は、キーワード領域７０ｃを、青色の領域にし、キーワード領域７０ｄを、緑色の領域にし、キーワード領域７０ｅを、黄色の領域にする。
また、キーワード領域７０ａと、キーワード領域７０ｄとは、重なっている。このような場合、面積の大きいキーワード領域７０ａが、キーワード領域７０ｄよりも下になるように階層状態で示されてもよい。
また、キーワード領域７０ａと、キーワード領域７０ｄとは、重なっている。このような場合、面積の大きいキーワード領域７０ａが、キーワード領域７０ｄよりも下になるように階層状態で示されてもよい。
図９（Ｂ）は、編集後画像８０の例を示す。編集後画像８０は、画像６０の上に、強調画像７０を重ねたものである。上述したように、強調画像７０は、透過性のある画像であるため、編集後画像８０によっても、強調画像７０の下にある画像６０を見ることができる。
その後、制御部１０は、処理を図４に移す。
その後、制御部１０は、処理を図４に移す。
図４に戻り、Ｓ１５において、画像処理装置１の制御部１０（画像出力部１７）は、編集後画像データを、端末４に送信する。その後、制御部１０は、本処理を終了する。
Ｓ１６において、端末４の制御部４０は、編集後画像データを受信して、タッチパネルディスプレイ５７に出力する。その後、制御部４０は、本処理を終了する。
Ｓ１６において、端末４の制御部４０は、編集後画像データを受信して、タッチパネルディスプレイ５７に出力する。その後、制御部４０は、本処理を終了する。
このような画像処理装置１の処理によって、端末４には、編集後画像が表示される。編集後画像は、処理対象の画像に対して画像の内容を表したキーワードに対応するオブジェクトを強調したものである。編集後画像は、画像に含まれるオブジェクトを含む領域を、色によって強調表示するものであるので、ユーザに、画像の内容を分かりやすく表すことができる。
このように、第１実施形態の画像処理装置１によれば、以下のような効果がある。
（１）画像内のオブジェクトを含むキーワード領域を含む強調画像を生成し、画像に重畳して表示する。よって、画像の内容を一見して分かりやすく表すことができる。
（２）強調画像は、透過性を有するものであるため、重畳した場合であっても元の画像を見ることができる。
（１）画像内のオブジェクトを含むキーワード領域を含む強調画像を生成し、画像に重畳して表示する。よって、画像の内容を一見して分かりやすく表すことができる。
（２）強調画像は、透過性を有するものであるため、重畳した場合であっても元の画像を見ることができる。
（３）画像認識処理によってオブジェクトを含む矩形領域と、キーワードとを取得するので、キーワードは、画像の内容を表すものにできる。
また、“ＤｅｎｓｅＣａｐ”を使用することで、オブジェクトを含む矩形領域や説明文を簡単に生成でき、説明文からキーワードを簡単に選定できる。
（４）画像内のオブジェクトを含むキーワード領域を含む強調画像を、領域表示設定記憶部３３に記憶された領域表示設定データに基づいて生成する。画像処理プログラム３１ａ自体に領域表示設定データを有さないものにしているため、プログラムを改変する必要がない。
また、“ＤｅｎｓｅＣａｐ”を使用することで、オブジェクトを含む矩形領域や説明文を簡単に生成でき、説明文からキーワードを簡単に選定できる。
（４）画像内のオブジェクトを含むキーワード領域を含む強調画像を、領域表示設定記憶部３３に記憶された領域表示設定データに基づいて生成する。画像処理プログラム３１ａ自体に領域表示設定データを有さないものにしているため、プログラムを改変する必要がない。
（５）カテゴリごとの領域表示設定データを予め用意しておき、対象画像のカテゴリに一致するカテゴリの領域表示設定データを使用する。よって、対象画像に含まれるキーワードと、領域表示設定データの単語とは、一致するものが多く含まれ得るものにできる。
また、カテゴリごとに領域表示設定データを用意することで、同じキーワードであっても表示色を異なるものにしたい場合には、異なるカテゴリの領域表示設定データを用いればよいため、使い勝手のよいシステムにできる。
また、カテゴリごとに領域表示設定データを用意することで、同じキーワードであっても表示色を異なるものにしたい場合には、異なるカテゴリの領域表示設定データを用いればよいため、使い勝手のよいシステムにできる。
（６）領域表示設定データは、単語と領域に対する表示色とを対応付けて記憶しており、キーワードに一致する単語に対応付けられた表示色を、キーワード領域の表示色とした強調画像を生成する。よって、予め決められた単語に一致するキーワードに対応したキーワード領域を、分かりやすく見せることができる。
（第２実施形態）
第２実施形態では、キーワード領域の強調表示を、ユーザの操作にしたがってキーワードごとに順番に行うものを説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
第２実施形態では、キーワード領域の強調表示を、ユーザの操作にしたがってキーワードごとに順番に行うものを説明する。なお、以降の説明において、上述した第１実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
図１０は、第２実施形態に係る画像処理システム２００の全体概要図及び画像処理装置２０１の機能ブロック図である。
図１１は、第２実施形態に係る画像処理装置２０１の領域表示設定記憶部２３３の例を示す図である。
図１０に示す画像処理システム２００は、画像処理装置２０１と、端末４とを備える。画像処理装置２０１と、端末４とは、通信ネットワークＮを介して通信可能に接続されている。
図１１は、第２実施形態に係る画像処理装置２０１の領域表示設定記憶部２３３の例を示す図である。
図１０に示す画像処理システム２００は、画像処理装置２０１と、端末４とを備える。画像処理装置２０１と、端末４とは、通信ネットワークＮを介して通信可能に接続されている。
＜画像処理装置２０１＞
画像処理装置２０１は、画像認識処理によって、画像データが示す処理対象の画像から複数のキーワード及びキーワード領域を取得する。そして、画像処理装置２０１は、処理対象の画像のカテゴリに対応した領域表示設定データを選択し、複数のキーワードの各々に対応する領域の色データを決定し、各々のキーワード領域に対して決定した色データによる色付けを行う。その後、画像処理装置２０１は、領域表示設定データの順番にしたがって、キーワード領域を順番に強調表示する。
図１０に示すように、画像処理装置２０１は、制御部２１０と、記憶部２３０と、通信インタフェース部３９とを備える。
画像処理装置２０１は、画像認識処理によって、画像データが示す処理対象の画像から複数のキーワード及びキーワード領域を取得する。そして、画像処理装置２０１は、処理対象の画像のカテゴリに対応した領域表示設定データを選択し、複数のキーワードの各々に対応する領域の色データを決定し、各々のキーワード領域に対して決定した色データによる色付けを行う。その後、画像処理装置２０１は、領域表示設定データの順番にしたがって、キーワード領域を順番に強調表示する。
図１０に示すように、画像処理装置２０１は、制御部２１０と、記憶部２３０と、通信インタフェース部３９とを備える。
制御部２１０は、画像受信部１１と、キーワード取得部１２と、キーワード領域取得部１３と、カテゴリ取得部１４と、態様決定部２１５と、画像編集部２１６と、画像出力部２１７と、操作受付部２１８とを備える。
態様決定部２１５は、キーワード領域取得部１３で取得した各キーワード領域の表示態様を、カテゴリ取得部１４により取得したカテゴリと、キーワード領域取得部１３で取得したキーワードとを用いて、領域表示設定記憶部２３３の領域表示設定データに基づいて決定する。ここで、表示態様は、例えば、キーワード領域に対する順番を含めた色付けである。
画像編集部２１６は、態様決定部２１５で決定した表示態様を、キーワード領域に反映させることで、キーワード領域を強調させた強調画像を生成する。ここで、生成する強調画像は、キーワード領域ごとに、キーワード領域に対する色付けをした画像である。そのため、生成する強調画像は、キーワードの数だけ存在する。また、画像編集部２１６は、強調画像に、強調画像に対応したキーワードの文字列を含ませる。
態様決定部２１５は、キーワード領域取得部１３で取得した各キーワード領域の表示態様を、カテゴリ取得部１４により取得したカテゴリと、キーワード領域取得部１３で取得したキーワードとを用いて、領域表示設定記憶部２３３の領域表示設定データに基づいて決定する。ここで、表示態様は、例えば、キーワード領域に対する順番を含めた色付けである。
画像編集部２１６は、態様決定部２１５で決定した表示態様を、キーワード領域に反映させることで、キーワード領域を強調させた強調画像を生成する。ここで、生成する強調画像は、キーワード領域ごとに、キーワード領域に対する色付けをした画像である。そのため、生成する強調画像は、キーワードの数だけ存在する。また、画像編集部２１６は、強調画像に、強調画像に対応したキーワードの文字列を含ませる。
画像出力部２１７は、元の画像に、領域表示設定記憶部２３３の領域表示設定データの順番（順番情報）として最も上位の順番の強調画像を重畳した編集後画像データを、端末４に対して出力する。このようにすることで、端末４では、元の画像に重ねて強調画像が表示される。強調画像は、キーワードに対応したキーワード領域が色付けされ、かつ、キーワードを文字列として含むものである。
また、画像出力部２１７は、次に説明する操作受付部２１８により受け付けた切替操作に応じて、元の画像に、重畳する強調画像を異なるものにした編集後画像データを、端末４に対して出力する。ここで、画像出力部２１７は、領域表示設定記憶部２３３の領域表示設定データの順番にしたがって重畳する強調画像を変更する。そして、画像出力部２１７が、順番が最も下位の強調画像に変更した編集後画像データを出力した後に、さらに切替操作を受け付けた場合には、画像出力部２１７は、順番が最も上位の強調画像に変更した編集後画像データを、再度端末４に出力してもよい。また、画像出力部２１７は、一旦元の画像の画像データを端末４に対して送信し、その後に、順番が最も上位の強調画像に変更した編集後画像データを端末４に出力してもよい。
操作受付部２１８は、端末４での切替操作を受け付ける。
操作受付部２１８は、端末４での切替操作を受け付ける。
記憶部２３０は、プログラム記憶部２３１と、画像記憶部３２と、領域表示設定記憶部２３３とを備える。
プログラム記憶部２３１は、画像処理装置２０１の制御部２１０が実行する各種機能を行うためのプログラムである画像処理プログラム２３１ａを記憶している。
領域表示設定記憶部２３３は、キーワード領域の表示態様を決定するための領域表示設定データを記憶した記憶領域である。
プログラム記憶部２３１は、画像処理装置２０１の制御部２１０が実行する各種機能を行うためのプログラムである画像処理プログラム２３１ａを記憶している。
領域表示設定記憶部２３３は、キーワード領域の表示態様を決定するための領域表示設定データを記憶した記憶領域である。
例えば、図１１に示す領域表示設定記憶部２３３は、カテゴリごとに、単語と、表示色とを、矢印で示す順番情報と共に記憶している。
ここで、順番情報は、表示をする際の順番を示すものであり、少なくとも単語に対応付けて予め決められている。
ここで、順番情報は、表示をする際の順番を示すものであり、少なくとも単語に対応付けて予め決められている。
＜端末４＞
端末４の制御部４０は、第１実施形態で説明した処理に加えて、タッチパネルディスプレイ５７を介して受け付けた強調画像の切替要求を、画像処理装置２０１に対して送信する処理を行う。
端末４の制御部４０は、第１実施形態で説明した処理に加えて、タッチパネルディスプレイ５７を介して受け付けた強調画像の切替要求を、画像処理装置２０１に対して送信する処理を行う。
＜画像処理システム２００の処理＞
次に、画像に強調画像を重畳して表示させる処理について説明する。
画像データ処理については、第１実施形態（図４）と同様であり、画像データ処理の中で行われる画像認識処理については、第１実施形態（図６）と同様である。
ここでは、第１実施形態と異なる処理である画像編集処理及び切替処理について、順番に説明する。
次に、画像に強調画像を重畳して表示させる処理について説明する。
画像データ処理については、第１実施形態（図４）と同様であり、画像データ処理の中で行われる画像認識処理については、第１実施形態（図６）と同様である。
ここでは、第１実施形態と異なる処理である画像編集処理及び切替処理について、順番に説明する。
図１２は、第２実施形態に係る画像処理装置２０１の画像編集処理を示すフローチャートである。
図１３は、第２実施形態に係る画像処理装置２０１での処理の具体例を示す図である。
図１２のＳ２３０からＳ２３２の処理は、第１実施形態（図８）のＳ３０からＳ３２の処理と同様である。
Ｓ２３３において、制御部２１０（態様決定部２１５、画像編集部２１６）は、決定した表示色の色データをキーワードごとに、キーワードに対応するキーワード領域に施し、キーワードの文字列を含んだ強調画像を生成する。制御部２１０は、本処理によって、キーワードの数だけ強調画像を生成する。
Ｓ２３４において、制御部２１０（画像編集部２１６）は、生成した強調画像のうち、領域表示設定記憶部２３３の領域表示設定データの順番が最も上位である１つの強調画像を、元の画像に重畳させて、編集後画像データを生成する。その後、制御部２１０は、本処理を終了し、画像データ処理のＳ１５（図４参照）に移す。
図１３は、第２実施形態に係る画像処理装置２０１での処理の具体例を示す図である。
図１２のＳ２３０からＳ２３２の処理は、第１実施形態（図８）のＳ３０からＳ３２の処理と同様である。
Ｓ２３３において、制御部２１０（態様決定部２１５、画像編集部２１６）は、決定した表示色の色データをキーワードごとに、キーワードに対応するキーワード領域に施し、キーワードの文字列を含んだ強調画像を生成する。制御部２１０は、本処理によって、キーワードの数だけ強調画像を生成する。
Ｓ２３４において、制御部２１０（画像編集部２１６）は、生成した強調画像のうち、領域表示設定記憶部２３３の領域表示設定データの順番が最も上位である１つの強調画像を、元の画像に重畳させて、編集後画像データを生成する。その後、制御部２１０は、本処理を終了し、画像データ処理のＳ１５（図４参照）に移す。
上記の処理によって、端末４には、例えば、図１３に示す編集後画像２８１が表示される。この例は、図７に示す画像記憶部３２に対して、図１１に示す領域表示設定記憶部２３３のうちの領域表示設定データ（人物画用）を用いた場合である。図７に示す画像記憶部３２には、キーワードとして「女性」、「空」、「山」、「植物」が記憶されている。また、キーワードに一致する領域表示設定データ（人物画用）の単語で、最も上位の順番に出現するものは「女性」である。そのため、端末４には、１つのキーワードである「女性」に対するキーワード領域が色付けされ、「女性」の文字列を含む編集後画像２８１が表示される。
なお、この例では、同じキーワードのキーワード領域が複数ある場合に、複数のキーワード領域が色付けされているが、少なくとも１つのキーワード領域が色付けされたものであってもよい。
なお、この例では、同じキーワードのキーワード領域が複数ある場合に、複数のキーワード領域が色付けされているが、少なくとも１つのキーワード領域が色付けされたものであってもよい。
次に、端末４からの切替操作に基づいて、端末４に表示される画像を切り替える処理について説明する。
図１４は、第２実施形態に係る画像処理装置２０１の切替処理を示すフローチャートである。
Ｓ２４０において、端末４の制御部４０は、ユーザによる切替操作を受け付ける。ここで、ユーザによる切替操作としては、例えば、タッチパネルディスプレイ５７に切替ボタン（図示せず）を表示させておき、切替ボタンに対するタッチ操作であってもよい。また、タッチパネルディスプレイ５７に特に表示がされていない場合に、タッチパネルディスプレイ５７の任意の場所におけるタッチ操作としてもよい。
図１４は、第２実施形態に係る画像処理装置２０１の切替処理を示すフローチャートである。
Ｓ２４０において、端末４の制御部４０は、ユーザによる切替操作を受け付ける。ここで、ユーザによる切替操作としては、例えば、タッチパネルディスプレイ５７に切替ボタン（図示せず）を表示させておき、切替ボタンに対するタッチ操作であってもよい。また、タッチパネルディスプレイ５７に特に表示がされていない場合に、タッチパネルディスプレイ５７の任意の場所におけるタッチ操作としてもよい。
Ｓ２４１において、端末４の制御部４０は、切替操作信号を、画像処理装置２０１に対して送信する。
Ｓ２４２において、画像処理装置２０１の制御部２１０（操作受付部２１８）は、切替操作信号を受信することで、切替操作を受け付ける。
Ｓ２４３において、画像処理装置２０１の制御部２１０（画像出力部２１７）は、端末４に出力する編集後画像データを選定する。制御部２１０は、例えば、端末４に直近で送信した編集後画像データの識別情報を、記憶部２３０に記憶しておく。そうすることで、制御部２１０は、端末４に直近で送信した編集後画像データに係る順番が次になる編集後画像データを、予め生成された編集後画像データから選定する。
Ｓ２４２において、画像処理装置２０１の制御部２１０（操作受付部２１８）は、切替操作信号を受信することで、切替操作を受け付ける。
Ｓ２４３において、画像処理装置２０１の制御部２１０（画像出力部２１７）は、端末４に出力する編集後画像データを選定する。制御部２１０は、例えば、端末４に直近で送信した編集後画像データの識別情報を、記憶部２３０に記憶しておく。そうすることで、制御部２１０は、端末４に直近で送信した編集後画像データに係る順番が次になる編集後画像データを、予め生成された編集後画像データから選定する。
Ｓ２４４において、画像処理装置２０１の制御部２１０（画像出力部２１７）は、選定した編集後画像データを送信する。その後、制御部２１０は、本処理を終了する。
Ｓ２４５において、端末４の制御部４０は、編集後画像データを受信して、タッチパネルディスプレイ５７に出力する。その後、制御部４０は、本処理を終了する。
Ｓ２４５において、端末４の制御部４０は、編集後画像データを受信して、タッチパネルディスプレイ５７に出力する。その後、制御部４０は、本処理を終了する。
上記した例の続きとして、図１３に示す編集後画像２８１が端末４に表示されている状態で、ユーザが切替操作を行う。そうすると、画像処理装置２０１の制御部２１０は、次の順番であるキーワードが「山」である編集後画像データを選定して端末４に送信する（図１４のＳ２４３、Ｓ２４４）。そのため、端末４には、図１３に示す編集後画像２８２が、編集後画像２８１に代わって表示される。ユーザは、切替操作をしたタイミングに応じて、表示される編集後画像データが変更されたことを確認できる。なお、領域表示設定データ（人物画用）の順番は、図１１の領域表示設定記憶部２３３を参照すると、「女性」の次は「顔」である。しかし、画像記憶部３２（図７参照）には、キーワードが「顔」についてのデータが記憶されていない。そのため、制御部２１０は、領域表示設定データ（人物画用）について、さらに次の順番をサーチし、画像記憶部３２（図７参照）に記憶されたキーワードに一致する「山」を選定する。
そして、端末４に、図１３に示す編集後画像２８２が表示されている状態で、さらにユーザが切替操作を行った場合、同様の処理によって、端末４には、図１３に示す編集後画像２８３が、編集後画像２８２に代わって表示される。
そして、端末４に、図１３に示す編集後画像２８２が表示されている状態で、さらにユーザが切替操作を行った場合、同様の処理によって、端末４には、図１３に示す編集後画像２８３が、編集後画像２８２に代わって表示される。
なお、制御部２１０は、画像記憶部３２に記憶されたキーワードに対応する編集後画像データを、切替操作に応じて順番に出力した後、元の画像の画像データを出力するようにしてもよい。また、切替ボタンとは異なる元の画像を表示させるための操作ボタン（図示せず）を用意しておき、ユーザが当該操作ボタンを選択させることで、元の画像と、編集後画像とを切り替えるようにしてもよい。そうすることで、ユーザは、編集後画像を確認後に、元の画像も簡単に確認できる。
このように、第２実施形態の画像処理装置２０１によれば、以下のような効果がある。
（１）画像内のオブジェクトを含むキーワード領域と、オブジェクトを表すキーワードとを含む強調画像を、キーワードごとに生成し、画像に重畳して表示する。よって、キーワードと共にキーワードに関連する画像を強調した態様で表示するので、一見して分かりやすく表すことができる。
（２）キーワードごとの強調画像を、切替操作にしたがって順次変更して表示する。領域表示設定データの順番に表示するため、予め決められた優先順の高い強調画像から順番に示すことができる。よって、どのようなオブジェクトを含む画像であるかを、分かりやすく表すことができる。
（３）強調画像の表示と非表示とを切り替えることができ、強調画像によって画像の内容を分かりやすく示した後に、強調画像を非表示することで、元の画像を見やすくできる。
（１）画像内のオブジェクトを含むキーワード領域と、オブジェクトを表すキーワードとを含む強調画像を、キーワードごとに生成し、画像に重畳して表示する。よって、キーワードと共にキーワードに関連する画像を強調した態様で表示するので、一見して分かりやすく表すことができる。
（２）キーワードごとの強調画像を、切替操作にしたがって順次変更して表示する。領域表示設定データの順番に表示するため、予め決められた優先順の高い強調画像から順番に示すことができる。よって、どのようなオブジェクトを含む画像であるかを、分かりやすく表すことができる。
（３）強調画像の表示と非表示とを切り替えることができ、強調画像によって画像の内容を分かりやすく示した後に、強調画像を非表示することで、元の画像を見やすくできる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
（変形形態）
（１）各実施形態では、強調表示として、キーワード領域の表示色を例に説明したが、これに限定されない。領域表示設定データに、キーワード領域の表示色に代えて、又は、キーワード領域の表示色に加えて、例えば、キーワード領域の枠の線の太さのデータを記憶してもよい。
また、第２実施形態では、キーワードの文字列を表示するものを説明したが、領域表示設定データに、キーワードのフォントの大きさを、例えば、順番に応じて順番の早いほど大きなフォントにしたデータを記憶し、フォントの大きさを変更してもよい。
（１）各実施形態では、強調表示として、キーワード領域の表示色を例に説明したが、これに限定されない。領域表示設定データに、キーワード領域の表示色に代えて、又は、キーワード領域の表示色に加えて、例えば、キーワード領域の枠の線の太さのデータを記憶してもよい。
また、第２実施形態では、キーワードの文字列を表示するものを説明したが、領域表示設定データに、キーワードのフォントの大きさを、例えば、順番に応じて順番の早いほど大きなフォントにしたデータを記憶し、フォントの大きさを変更してもよい。
（２）各実施形態では、カテゴリごとに領域表示設定データを有するものを例に説明したが、これに限定されない。カテゴリに、さらに小分類のサブカテゴリを有して、サブカテゴリを含めて複数の領域表示設定データを有してもよい。サブカテゴリは、絵画の場合には、例えば、年代がある。年代の一例としては、近現代、バロック、ルネサンス等であってもよい。このように、サブカテゴリによって領域表示設定データをさらに細分化することで、ユーザニーズに合わせてよりきめ細かい強調表示をすることができる。
（３）各実施形態では、キーワード領域を矩形領域として説明したが、これに限定されない。キーワードに対応するオブジェクトを含む領域であれば、円形、楕円形、オブジェクトの形状等であってもよい。
（４）各実施形態では、強調画像を透過性の有する画像であるとして元の画像に重ねるものを説明したが、これに限定されない。元の画像に強調した領域を表示するものであればよく、例えば、強調画像と元の画像とを合成した合成画像を生成してもよい。
（５）各実施形態では、画像処理装置の記憶部に、領域表示設定記憶部を備えるものを例に説明したが、これに限定されない。例えば、画像処理装置に対して通信可能に接続された別サーバに、領域表示設定記憶部を備えてもよい。
（４）各実施形態では、強調画像を透過性の有する画像であるとして元の画像に重ねるものを説明したが、これに限定されない。元の画像に強調した領域を表示するものであればよく、例えば、強調画像と元の画像とを合成した合成画像を生成してもよい。
（５）各実施形態では、画像処理装置の記憶部に、領域表示設定記憶部を備えるものを例に説明したが、これに限定されない。例えば、画像処理装置に対して通信可能に接続された別サーバに、領域表示設定記憶部を備えてもよい。
（６）第２実施形態では、ユーザによる端末からの切替操作に応じて、異なる強調画像を含んだ編集後画像データを表示させるものを例に説明したが、これに限定されない。例えば、所定時間が経過したことに応じて、異なる強調画像を含んだ編集後画像データを表示させるものであってもよい。そのようにすれば、自動的に動画のように順次切り替えることができる。
（７）第２実施形態では、処理対象の画像と、強調画像とを重畳した複数の編集後画像データを予め生成し、切替操作を受け付けた場合に、編集後画像データを順番に選定して送信するものを例に説明したが、これに限定されない。切替操作を受け付けたことに応じて、次の順番の編集後画像データを生成して送信してもよい。
（７）第２実施形態では、処理対象の画像と、強調画像とを重畳した複数の編集後画像データを予め生成し、切替操作を受け付けた場合に、編集後画像データを順番に選定して送信するものを例に説明したが、これに限定されない。切替操作を受け付けたことに応じて、次の順番の編集後画像データを生成して送信してもよい。
（８）各実施形態では、美術館や博物館で保有する絵画の画像データを対象とした例を説明したが、これに限定されない。画像化されており、画像の内容を分かりやすく表示したいデータであればよく、例えば、特許図面の画像データであってもよいし、写真等の画像データであってもよい。
（９）各実施形態では、“ＤｅｎｓｅＣａｐ”を用いて処理を行うものを例に説明したが、これに限定されない。画像を分析可能な他の分類器を用いてもよい。
（９）各実施形態では、“ＤｅｎｓｅＣａｐ”を用いて処理を行うものを例に説明したが、これに限定されない。画像を分析可能な他の分類器を用いてもよい。
（１０）各実施形態では、端末から受け付けた画像データに対して画像認識処理等を行って画像の内容を分かりやすく示すものを説明したが、これに限定されない。例えば、画像検索において、抽出された複数の画像の各々に対して、上述した実施形態で用いた処理を適用し、強調画像を画像に重畳表示をさせるものであってもよい。その場合には、各画像の内容を示すキーワード領域を一見して把握できるため、ユーザに、探している画像をより早くかつ正確に見つけやすくすることができる。
１，２０１ 画像処理装置
４ 端末
１０，２１０ 制御部
１２ キーワード取得部
１３ キーワード領域取得部
１４ カテゴリ取得部
１５ 態様決定部
１６，２１６ 画像編集部
１７，２１７ 画像出力部
３０，２３０ 記憶部
３１ａ，２３１ａ 画像処理プログラム
３２ 画像記憶部
３３，２３３ 領域表示設定記憶部
６０ 画像
７０ 強調画像
８０，２８１，２８２，２８３ 編集後画像
１００，２００ 画像処理システム
２１８ 操作受付部
４ 端末
１０，２１０ 制御部
１２ キーワード取得部
１３ キーワード領域取得部
１４ カテゴリ取得部
１５ 態様決定部
１６，２１６ 画像編集部
１７，２１７ 画像出力部
３０，２３０ 記憶部
３１ａ，２３１ａ 画像処理プログラム
３２ 画像記憶部
３３，２３３ 領域表示設定記憶部
６０ 画像
７０ 強調画像
８０，２８１，２８２，２８３ 編集後画像
１００，２００ 画像処理システム
２１８ 操作受付部
Claims (5)
- 制御部及び記憶部を備えるコンピュータで用いられ、前記記憶部に記憶される領域表示設定データのデータ構造であって、
画像の分類を示すカテゴリと、
単語と、
領域の色データと、
前記単語及び前記領域の色データに対応付けられている順番情報であって、表示をする際の順番を示す順番情報と、
を含み、
前記制御部が、
処理対象の画像から取得した前記カテゴリ及び前記順番情報に基づいて１つの単語を選択し、
選択された前記単語に一致する前記処理対象の画像に含まれる要素画像に係るキーワードの有無を確認し、
確認の結果、前記単語に一致した前記キーワードを有する場合に、前記単語に対応付けられた前記領域の色データを前記要素画像を含む前記キーワードに対応した要素画像領域に施した強調画像を、前記処理対象の画像に重畳して表示した後に、選択した前記単語に対応付けられている前記順番情報に応じて前記単語の次の単語を選択する
処理に用いられる、データ構造。 - 請求項１に記載のデータ構造において、
前記制御部が、操作信号を受信したタイミングで、又は、所定時間ごとに、前記単語に対応付けられた前記領域の色データを前記要素画像領域に施した強調画像を、前記処理対象の画像に重畳して表示する処理に用いられる、
データ構造。 - 請求項１又は請求項２に記載のデータ構造において、
前記制御部が、前記単語に対応付けられた前記領域の色データを前記要素画像領域に施した強調画像と共に、前記単語を前記処理対象の画像に重畳して表示する処理に用いられる、
データ構造。 - 画像の分類を示すカテゴリと、単語と、領域の色データと、前記単語及び前記領域の色データに対応付けられている順番情報であって、表示をする際の順番を示す順番情報と、を含む領域表示設定データを記憶する記憶部を有するコンピュータに、
処理対象の画像から取得した前記カテゴリ及び前記記憶部に記憶された前記領域表示設定データの前記順番情報に基づいて１つの単語を選択し、
選択された前記単語に一致する前記処理対象の画像に含まれる要素画像に係るキーワードの有無を確認し、
確認の結果、前記単語に一致した前記キーワードを有する場合に、前記単語に対応付けられた前記領域の色データを前記要素画像を含む前記キーワードに対応した要素画像領域に施した強調画像を、前記処理対象の画像に重畳して表示した後に、選択した前記単語に対応付けられている前記順番情報に応じて前記単語の次の単語を選択する
処理を実行させるコンピュータプログラム。 - 画像の分類を示すカテゴリと、単語と、領域の色データと、前記単語及び前記領域の色データに対応付けられている順番情報であって、表示をする際の順番を示す順番情報と、を含む領域表示設定データを記憶する記憶部と、
処理対象の画像を分析して要素画像を含む矩形領域を抽出し、抽出した前記矩形領域に含まれる前記要素画像の特徴ごとに関連付いた単語を参照して説明文を生成し、生成した説明文から複数の語を抽出し、抽出した語の少なくとも一部をキーワードとして取得するキーワード取得手段と、
前記キーワード取得手段によって取得した前記キーワードに対応した前記矩形領域を、キーワード領域として取得するキーワード領域取得手段と、
前記キーワード領域取得手段によって取得した前記キーワードからカテゴリを取得するカテゴリ取得手段と、
前記カテゴリ取得手段が取得した前記カテゴリ及び前記記憶部に記憶された前記領域表示設定データの前記順番情報に基づいて１つの単語を選択する手段と、
選択された前記単語に一致する前記処理対象の画像に含まれる要素画像に係るキーワードの有無を確認する手段と、
確認の結果、前記単語に一致した前記キーワードを有する場合に、前記単語に対応付けられた前記領域の色データを前記要素画像を含む前記キーワードに対応した要素画像領域に施した強調画像を、前記処理対象の画像に重畳して表示した後に、選択した前記単語に対応付けられている前記順番情報に応じて前記単語の次の単語を選択する手段と、
を備える画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019158031A JP7338328B2 (ja) | 2019-08-30 | 2019-08-30 | データ構造、コンピュータプログラム及び画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019158031A JP7338328B2 (ja) | 2019-08-30 | 2019-08-30 | データ構造、コンピュータプログラム及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021036388A JP2021036388A (ja) | 2021-03-04 |
| JP7338328B2 true JP7338328B2 (ja) | 2023-09-05 |
Family
ID=74716665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019158031A Active JP7338328B2 (ja) | 2019-08-30 | 2019-08-30 | データ構造、コンピュータプログラム及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7338328B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023228276A1 (ja) * | 2022-05-24 | 2023-11-30 | 日本電信電話株式会社 | 画像処理装置、方法およびプログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004240750A (ja) | 2003-02-06 | 2004-08-26 | Canon Inc | 画像検索装置 |
| JP2019053461A (ja) | 2017-09-14 | 2019-04-04 | 大日本印刷株式会社 | 画像処理装置、プログラム及び画像データ |
-
2019
- 2019-08-30 JP JP2019158031A patent/JP7338328B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004240750A (ja) | 2003-02-06 | 2004-08-26 | Canon Inc | 画像検索装置 |
| JP2019053461A (ja) | 2017-09-14 | 2019-04-04 | 大日本印刷株式会社 | 画像処理装置、プログラム及び画像データ |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021036388A (ja) | 2021-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4047885B2 (ja) | 機械翻訳装置、機械翻訳方法および機械翻訳プログラム | |
| JP2011070412A (ja) | 画像検索装置および画像検索方法 | |
| JPH11175527A (ja) | 出力制御装置及び出力制御方法 | |
| EP2570937A1 (en) | Data search device, data search method and program | |
| JP2008192055A (ja) | コンテンツ検索方法、およびコンテンツ検索装置 | |
| JPH1125098A (ja) | 情報処理装置、リンク先ファイルの取得方法および記憶媒体 | |
| EP2806336A1 (en) | Text prediction in a text input associated with an image | |
| KR20090068380A (ko) | 개선된 이동 통신 단말 | |
| KR20220084915A (ko) | 클라우드 기반 문법 교정 서비스 제공 시스템 | |
| CN113255377A (zh) | 一种翻译方法、装置、电子设备及存储介质 | |
| CN115509413A (zh) | 显示方法、装置、词典笔、电子设备和存储介质 | |
| JP7338328B2 (ja) | データ構造、コンピュータプログラム及び画像処理装置 | |
| JP5484113B2 (ja) | 文書画像関連情報提供装置、及び文書画像関連情報取得システム | |
| JP7098897B2 (ja) | 画像処理装置、プログラム及び画像データ | |
| CN117421413A (zh) | 一种问答对生成方法、装置及电子设备 | |
| JP2017220179A (ja) | コンテンツ処理装置、コンテンツ処理方法及びプログラム | |
| JP6836147B2 (ja) | 画像関連付け装置、画像検索装置、画像検索システム及びプログラム | |
| CN105787032B (zh) | 网页快照的生成方法及装置 | |
| US11010978B2 (en) | Method and system for generating augmented reality interactive content | |
| JP2006244510A (ja) | 出力制御装置 | |
| JP6593559B1 (ja) | 画像処理装置、プログラム及びデータ構造 | |
| JP6114090B2 (ja) | 機械翻訳装置、機械翻訳方法およびプログラム | |
| JP7418761B2 (ja) | 画像と文字との混在文章を生成する装置 | |
| JP2011054006A (ja) | 画像のキーワード決定システム | |
| JP5298484B2 (ja) | 文書処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220628 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230609 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230613 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230713 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230807 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7338328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |