JP6593559B1 - 画像処理装置、プログラム及びデータ構造 - Google Patents
画像処理装置、プログラム及びデータ構造 Download PDFInfo
- Publication number
- JP6593559B1 JP6593559B1 JP2019009030A JP2019009030A JP6593559B1 JP 6593559 B1 JP6593559 B1 JP 6593559B1 JP 2019009030 A JP2019009030 A JP 2019009030A JP 2019009030 A JP2019009030 A JP 2019009030A JP 6593559 B1 JP6593559 B1 JP 6593559B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- keyword
- area
- image processing
- score
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
第1の発明は、キーワードと、画像情報とを対応付けて記憶する画像記憶部と、画像から前記キーワードに対応する要素画像のキーワード領域を抽出する領域抽出手段と、前記画像に、前記領域抽出手段により抽出した前記キーワード領域を強調して表示する画像出力手段と、を備える画像処理装置である。
第2の発明は、第1の発明の画像処理装置において、前記領域抽出手段により抽出した前記キーワード領域を強調した強調画像を生成する強調画像生成手段を備え、前記強調画像は、透過性を有する画像であり、前記画像出力手段は、前記強調画像を、前記画像に重畳して表示させる、画像処理装置である。
第3の発明は、第1の発明又は第2の発明の画像処理装置において、強調した前記キーワード領域を表示するか否かを切り替える切替手段を備える、画像処理装置である。
第4の発明は、第1の発明から第3の発明までのいずれかの画像処理装置において、前記画像を分析して前記要素画像を含む矩形領域を抽出し、抽出した前記矩形領域に含まれる前記要素画像の特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、前記説明文生成手段により生成した説明文から複数の語を抽出する語抽出手段と、前記語抽出手段により抽出した語の少なくとも一部をキーワードとして選定するキーワード選定手段と、前記キーワード選定手段によって選定したキーワードと、前記画像を含む前記画像情報とを対応付けて前記画像記憶部に記憶する関連付け手段と、を備え、前記領域抽出手段は、前記キーワードに対応した前記矩形領域を、前記キーワード領域として抽出する、画像処理装置である。
第5の発明は、第4の発明の画像処理装置において、前記キーワード選定手段によって選定したキーワードに対してスコアを付与するスコア付与手段と、前記スコア付与手段により付与された前記スコアに応じて、対応する前記キーワード領域の表示態様を決定する表示態様決定手段と、を備え、前記画像出力手段は、前記画像に、前記表示態様決定手段により決定された表示態様の前記キーワード領域を強調して表示する、画像処理装置である。
第6の発明は、第4の発明の画像処理装置において、前記キーワード選定手段によって選定したキーワードに対してスコアを付与するスコア付与手段と、対象語と、領域表示設定データとを対応付けて記憶する領域表示設定記憶部と、前記キーワード選定手段によって選定したキーワードと、前記スコア付与手段により付与された前記キーワードの前記スコアから得られる優先順位とに基づいて、前記領域表示設定記憶部を参照して、前記キーワード領域の表示態様を決定する表示態様決定手段と、を備え、前記画像出力手段は、前記画像に、前記表示態様決定手段により決定された表示態様の前記キーワード領域を強調して表示する、画像処理装置である。
第7の発明は、第6の発明の画像処理装置において、前記領域表示設定データは、領域の色データを含み、前記キーワード選定手段によって選定したキーワードと、前記スコア付与手段により付与された前記キーワードの前記スコアから得られる優先順位とに基づいて、前記領域表示設定記憶部を参照して得られた前記領域の色データが類似であるか否かを判定する類似色判定手段を備え、前記表示態様決定手段は、前記類似色判定手段により類似であると判定された前記領域の色データに対して異なる濃淡度の重み付けを付与して、前記キーワード領域の表示態様を決定する、画像処理装置である。
第8の発明は、第5の発明から第7の発明までのいずれかの画像処理装置において、前記スコア付与手段は、前記キーワードの出現頻度に基づいて前記スコアを付与する、画像処理装置である。
第9の発明は、第5の発明から第7の発明までのいずれかの画像処理装置において、前記スコア付与手段は、前記キーワード領域の前記画像に占める割合に応じて前記スコアを付与する、画像処理装置である。
第10の発明は、第5の発明から第7の発明までのいずれかの画像処理装置において、前記スコア付与手段は、前記説明文生成手段において画像を分析する際に用いた、前記要素画像の認識結果である確信度に応じて前記スコアを付与する、画像処理装置である。
第11の発明は、第5の発明から第7の発明までのいずれかの画像処理装置において、前記スコア付与手段は、自然言語処理による意味解析結果に基づいて前記スコアを付与する、画像処理装置である。
第12の発明は、第5の発明から第7の発明までのいずれかの画像処理装置において、複数の画像を記憶した画像データベースに対して通信可能に接続されており、前記スコア付与手段は、前記画像データベースに記憶された前記複数の画像との前記キーワードの相対出現頻度に基づいて、前記スコアを付与する、画像処理装置である。
第13の発明は、第1の発明から第12の発明までのいずれかの画像処理装置において、前記画像出力手段は、前記キーワード領域に、前記キーワードを表示する、画像処理装置である。
第14の発明は、第1の発明から第13の発明までのいずれかの画像処理装置としてコンピュータを機能させるためのプログラムである。
第15の発明は、対象語と、領域の色データと、領域の濃淡度データであって、処理対象の画像から選定されたキーワードの優先順に決定され、前記キーワードを前記対象語として前記キーワードに対応した領域の表示に用いられる、前記領域の色データに対応した領域の濃淡度データと、を含む、領域表示設定データのデータ構造である。
第16の発明は、第15の発明の領域表示設定データのデータ構造において、前記濃淡度データは、処理対象の画像から選定されたキーワードの優先順によって決定された他の領域の色データに基づき類似色か否かが判定された際に、類似色である場合に乗じる濃淡度の重みデータをさらに含む、領域表示設定データのデータ構造である。
第17の発明は、第15の発明又は第16の発明の領域表示設定データのデータ構造において、文字サイズデータであって、処理対象の画像から選定された前記キーワードの優先順に決定され、前記キーワードを前記対象語として前記キーワードに対応した領域に表示する前記キーワードに用いられる、前記文字サイズデータと、をさらに含む、領域表示設定データのデータ構造である。
第18の発明は、複数の要素画像からなる画像の情報と、前記要素画像同士の比較結果から優先順位を決定し、前記優先順位に基づいて階層状に生成した前記要素画像に対応する要素領域情報と、を備えた画像データである。
第19の発明は、第18の発明の画像データにおいて、前記要素領域情報は、前記要素画像の領域の大きさに基づいて決定した優先順位により複数の要素画像の領域が階層に表示される、画像データである。
第20の発明は、第18の発明又は第19の発明の画像データにおいて、前記要素領域情報は、前記要素画像の領域を指示した際に表示される、画像データである。
第21の発明は、第18の発明から第20の発明までのいずれかの画像データにおいて、前記要素領域情報は、前記要素画像を認識して生成した前記要素画像の領域が表示される、画像データである。
(第1実施形態)
<画像処理システム100>
図1は、第1実施形態に係る画像処理システム100の全体概要図及び端末4の機能ブロック図である。
図2は、第1実施形態に係る画像処理装置1の機能ブロック図である。
以下の説明において、画像データは、例えば、美術館や博物館等で展示されている絵画等を、画像データ化したものであるとする。しかし、これは一例であり、画像データは、カメラによる写真データ等であってもよい。
画像処理装置1と、端末4とは、通信ネットワークNを介して通信可能に接続されている。通信ネットワークNは、例えば、インターネット回線等であり、有線であるか無線であるかを問わない。
画像処理装置1は、画像データが示す画像を分析して、画像内のオブジェクトを表す複数の語を抽出し、キーワードを選定する。そして画像処理装置1は、キーワードに関する情報と、画像データを含む画像情報とを関連付けて、画像記憶部32に記憶させる。また、画像処理装置1は、選定したキーワードに対するスコアを付与し、付与されたスコアに応じて決定した表示態様で、画像内のキーワード領域を強調表示する編集を行う。
図2に示すように、画像処理装置1は、制御部10と、記憶部30と、通信インタフェース部39とを備える。
制御部10は、画像処理装置1の全体を制御する中央処理装置(CPU)である。制御部10は、記憶部30に記憶されているオペレーティングシステム(OS)やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
画像受信部11は、処理対象の画像データを受け付ける。画像受信部11は、例えば、端末4が送信した、絵画を画像化した画像データを受け付ける。
説明文生成部12は、例えば、公知の説明文生成ソフトウェアである“DenseCap”を使用して、画像に関する説明文を生成する。
ここで、“DenseCap”を使用した場合には、説明文生成部12は、画像に含まれるオブジェクトを認識し、オブジェクトを含む矩形領域を抽出する。ここで、オブジェクトとは、何かしらの物体を意味する。また、説明文生成部12は、オブジェクトの認識結果としてオブジェクトの認識度合を示す確信度を算出する。そして、説明文生成部12は、抽出した矩形領域に含まれるオブジェクトの特徴ごとに関連付いた単語を参照してオブジェクトに関する説明文を生成する。ここで、説明文生成部12は、複数の説明文を生成する。また、“DenseCap”を使用した場合、説明文の言語は、英語である。
なお、語抽出部13は、語を抽出する際に、「彼」や「これ」等の代名詞や、「側」や「製」等の接尾名詞、「中」や「一部」等の副詞可能名詞等を除外するようにしてもよい。
また、上述では、“DenseCap”を用いた説明文の生成及び語の抽出を説明したが、これに限定するものではない。画像中のオブジェクトを含む領域を抽出し、オブジェクトを表す語が抽出されるものであれば、他の方法を用いてもよい。
領域抽出部15は、キーワードに対応するオブジェクトの少なくとも一部を含んだキーワード領域を抽出する。ここで、領域抽出部15は、キーワードに対応するオブジェクトのうち少なくとも1つの矩形領域を、キーワード領域として抽出してもよい。
関連付け部16は、キーワードに関連する情報と、画像データを含む画像情報とを関連付けて画像記憶部32に記憶させる。ここで、キーワードに関連する情報としては、例えば、キーワード、キーワードに対応するキーワード領域、次に説明するスコア等を含む。また、画像情報は、画像データの他、画像の特徴量等を含んでよい。
スコア付与部17は、例えば、画像を分析した結果得られたキーワードの出現頻度に基づいて、スコアを算出することができる。なお、スコア付与部17は、キーワードの出現頻度以外のものでスコアを算出してもよい。スコア付与部17は、例えば、画像データの面積に対してキーワード領域の面積が占める割合である占有率に応じて、スコアを算出してもよい。また、スコア付与部17は、例えば、“DenseCap”によって画像を分析する際に得たオブジェクトの確信度に対応した値を、キーワードに対するスコアとして算出してもよい。さらに、スコア付与部17は、例えば、自然言語処理による意味解析結果に基づいて、スコアを算出してもよい。さらにまた、スコア付与部17は、例えば、上述の方法により算出した複数のスコアを用いてもよい。
画像編集部19は、キーワード領域の表示態様に基づいて、キーワード領域を強調した強調画像(要素領域情報)を生成する。ここで、生成する強調画像は、透過性を有するものであってもよい。そのようにすることで、画像に強調画像を重ねた場合であっても、ユーザは、強調画像の下にある画像についても視認できる。
画像出力部20は、元の画像に強調画像を重畳した編集後画像データを、端末4に対して出力する。このようにすることで、端末4では、元の画像に重ねて強調画像が表示される。
切替部21は、端末4での切替操作に応じて、強調画像の表示及び非表示を切り替える。
記憶部30は、プログラム記憶部31と、画像記憶部32とを備える。
プログラム記憶部31は、各種のプログラムを記憶する記憶領域である。プログラム記憶部31は、上述した“DenceCap”等の公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアの他、画像処理プログラム31aを記憶している。画像処理プログラム31aは、画像処理装置1の制御部10が実行する各種機能を行うためのプログラムである。なお、画像処理プログラム31aは、公知の説明文生成ソフトウェアや、公知の自動翻訳ソフトウェアを含むものであってもよい。
通信インタフェース部39は、通信ネットワークNを介して、例えば、端末4との間の通信を行うためのインタフェースである。
図1に示す端末4は、例えば、タブレットに代表されるコンピュータの機能を併せ持った携帯型の端末である。端末4は、その他、スマートフォンや携帯電話機等の携帯型の端末でもよいし、PC等の据置型の端末であってもよい。
端末4は、画像処理装置1に対して画像データを送信し、画像処理装置1から受信した編集後画像データを表示させる。
端末4は、制御部40と、記憶部50と、タッチパネルディスプレイ57と、通信インタフェース部59とを備える。
制御部40は、処理対象の画像データを、画像処理装置1に対して送信する。
また、制御部40は、画像処理装置1から受信した編集後画像データを、タッチパネルディスプレイ57に表示させる。
さらに、制御部40は、強調画像の表示及び非表示の切替要求を、画像処理装置1に対して送信する。
タッチパネルディスプレイ57は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
通信インタフェース部59は、通信ネットワークNを介して画像処理装置1との間で通信を行うためのインタフェースである。
次に、画像に強調画像を重畳して表示させる処理について説明する。
図3は、第1実施形態に係る画像処理システム100の画像データ処理を示すフローチャートである。
図4、図6及び図8は、第1実施形態に係る画像処理装置1での処理の具体例を示す図である。
図5は、第1実施形態に係る画像処理装置1の画像分析処理を示すフローチャートである。
図7は、第1実施形態に係る画像処理装置1の画像編集処理を示すフローチャートである。
図4(A)は、画像処理装置1に対して送信した、処理対象の画像データが示す画像60の例である。
図3のS11において、画像処理装置1の制御部10(画像受信部11)は、処理対象の画像データを受信する。
S12において、制御部10は、画像分析処理を行う。
ここで、画像分析処理について、図5に基づき説明する。
S21において、制御部10(説明文生成部12)は、オブジェクトの確信度を算出する。これは、オブジェクトの認識度合に応じたものであり、例えば、輪郭がぼやけているオブジェクトは、確信度が低い値になる。
S22において、制御部10(説明文生成部12、領域抽出部15)は、オブジェクトを含む矩形領域を抽出する。
図4(B)は、画像60に対して“DenseCap”を使用した場合の結果画像61及びキャプション62の例である。“DenseCap”では、画像60の矩形領域ごとに文を出力する。矩形領域は、上述したように、オブジェクトごとに抽出するために、画像60内に重なって複数生成される。よって、矩形領域に対応して、文も複数生成される。なお、画像60の画素数が640px(ピクセル)である場合には、“DenseCap”は、約80個のキャプション62を生成する。
図4(C)は、キャプション62を翻訳した説明文63の例を示す。
図6(A)は、説明文63を形態素解析することによって、名詞を語として抽出した名詞頻度テーブル64の例を示す。名詞頻度テーブル64は、抽出した名詞と、その出現頻度とを対応付けたテーブルである。
図5のS25において、制御部10(関連付け部16)は、キーワードに関する情報と、画像データを含む画像情報とを、画像記憶部32に記憶させる。キーワードに関する情報は、この例では、選定したキーワードと、キーワードに対応する矩形領域の情報を含む。そして、矩形領域の情報に示される矩形領域は、キーワードに対応した少なくとも1つであってもよい。また、矩形領域は、複数の矩形領域を結合したものであってもよい。さらに、矩形領域は、画像を、再認識処理をすることによって抽出してもよい。その後、制御部10は、処理を図3に移す。
ここで、画像編集処理について、図7に基づき説明する。
図7のS30において、制御部10(領域抽出部15)は、選定したキーワード及びキーワードが示すキーワード領域を抽出する。具体的には、制御部10は、画像記憶部32を参照し、選定したキーワードと矩形領域とを抽出する。
S31において、制御部10(スコア付与部17)は、キーワードに対するスコアを付与する。制御部10は、キーワードの出現頻度に対応するようにスコアを付与してもよい。また、制御部10は、画像の面積に対するキーワード領域の占有率に応じて、スコアを付与してもよい。さらに、制御部10は、キーワード領域に対応付けられたオブジェクトの確信度に対応したスコアを付与してもよい。さらにまた、制御部10は、上述したスコアを複数用いて、スコアを付与してもよい。そして、制御部10は、付与したスコアを、画像記憶部32に記憶させる。
図6(B)は、キーワードスコアテーブル65の例を示す。キーワードスコアテーブル65は、キーワードと、算出されたスコアとを対応付けたテーブルである。このキーワードスコアテーブル65は、画像記憶部32のデータの一部である。
そして、制御部10は、例えば、スコアに基づいてキーワード領域の色の濃淡を変化させる場合に、スコアがより高い方が、より濃い色になるように表示態様を決定してもよい。また、制御部10は、例えば、スコアに基づいて、キーワード領域を囲む囲い線の太さを変化させてもよく、スコアが高い方が、より太い線になるように表示態様を決定してもよい。
さらに、制御部10は、例えば、スコアに基づいて、キーワード領域に表示するキーワードの表示態様を決定する。制御部10は、キーワードのフォントの大きさを変化させてもよく、スコアが高い方が、より大きなフォントの文字になるように表示態様を決定してもよい。
S34において、制御部10(画像編集部19)は、生成した強調画像を、元の画像に重畳させて、編集後画像データを生成する。
図8(A)は、強調画像70の例を示す。強調画像70は、キーワード領域70a〜70eを含む。また、強調画像70は、透過性のある画像である。キーワード領域70a及び70bは、キーワード「女性」に対応する領域である。キーワード領域70cは、キーワード「空」に対応する領域である。キーワード領域70dは、キーワード「山々」に対応し、キーワード領域70eは、キーワード「植物」に対応する。ここで、キーワードスコアテーブル65(図6(B)参照)によれば、キーワード「女性」に対するスコアが最も高い。よって、キーワード「女性」に対応するキーワード領域70a及び70bは、他のキーワード領域70c〜70eと比較して、キーワード領域の色の濃淡が、より濃い色によって表現されている。また、キーワード領域70a及び70bのキーワードの文字フォントは、他のキーワード領域の文字フォントよりも大きな文字で表されている。
また、キーワード領域70aと、キーワード領域70dとは、重なっている。このような場合、面積の大きいキーワード領域70aが、キーワード領域70dよりも下になるように階層状態で示されてもよい。
その後、制御部10は、処理を図3に移す。
S15において、端末4の制御部40は、編集後画像データを受信して、タッチパネルディスプレイ57に出力する。その後、制御部40は、本処理を終了する。
(1)画像内のオブジェクトを含むキーワード領域と、オブジェクトを表すキーワードとを含む強調画像を生成し、画像に重畳して表示する。よって、画像の内容を一見して分かりやすく表すことができる。
(2)強調画像は、透過性を有するものであるため、重畳した場合であっても元の画像を見ることができる。
(3)強調画像の表示及び非表示を切り替えることができるので、強調画像によって画像の内容を分かりやすく示した後に、強調画像を非表示することで、元の画像を見やすくできる。
また、“DenceCap”を使用することで、オブジェクトを含む矩形領域や説明文を簡単に生成でき、説明文からキーワードを簡単に選定できる。
(5)キーワードに対してスコアを付与し、スコアに応じてキーワード領域の表示態様を決定する。よって、表示態様によって、画像の内容を分かりやすく示すことができる。また、表示態様によって、キーワードと、画像におけるキーワードの重要度を分かりやすく示すことができる。
(7)キーワード領域の画像の面積に対する占有率に応じてスコアを算出するので、面積比の高いキーワード領域を、画像の内容を表す重要なものとして、表示態様を決定できる。
(8)画像を分析して説明文を生成する際に用いた、画像内のオブジェクトの認識度合いを示す認識確信度に応じてスコアを算出する。よって、認識確信度の高いオブジェクトを含むキーワード領域を、画像の内容を表す重要なものとして、表示態様を決定できる。
第2実施形態では、キーワード領域の表示態様を決定するためのデータを、プログラムの外に保持し、キーワード領域の表示態様を決定するためのデータを用いて、キーワードの優先順位にしたがって表示態様を決定するものを説明する。なお、以降の説明において、上述した第1実施形態と同様の機能を果たす部分には、同一の符号又は末尾に同一の符号を付して、重複する説明を適宜省略する。
図10は、第2実施形態に係る画像処理装置201の領域表示設定記憶部233の例を示す図である。
図9に示す画像処理システム200は、画像処理装置201と、端末4とを備える。画像処理装置201と、端末4とは、通信ネットワークNを介して通信可能に接続されている。
画像処理装置201は、画像データが示す画像を分析して、画像内のオブジェクトを表す複数の語を抽出し、キーワードを選定する。そして画像処理装置201は、キーワードに関する情報と、画像データを含む画像情報とを関連付けて、画像記憶部32に記憶させる。また、画像処理装置201は、選定したキーワードに対するスコアを付与し、付与されたスコアによってキーワードの優先順位を決定する。そして、画像処理装置201は、領域表示設定記憶部233を参照し、優先順位を用いて、画像内のキーワード領域の表示色や濃淡度を決定し、画像に重ね合わせて表示する。
図9に示すように、画像処理装置201は、制御部210と、記憶部230と、通信インタフェース部39とを備える。
態様決定部218は、スコア付与部17が付与したスコアに基づいて、キーワードの優先順位を決定する。そして、態様決定部218は、領域表示設定記憶部233を参照して、優先順に、キーワード領域の表示態様を決定する。
画像編集部219は、表示態様が決定されたキーワード領域を強調した強調画像を生成する。
画像出力部220は、画像編集部219が生成した強調画像を、元の画像に重畳して端末4に出力する。
プログラム記憶部231は、画像処理装置201の制御部210が実行する各種機能を行うためのプログラムである画像処理プログラム231aを記憶している。
領域表示設定記憶部233は、キーワード領域の表示態様を決定するためのデータを記憶した記憶領域である。
ここで、対象語は、領域表示を強調する対象の語であり、予め決められたものである。
表示色は、領域の色データであり、対象語に対応付けて予め決められている。
領域の濃淡度は、優先順位に対する基準値の割合で算出されるデータである。ここで、基準値は、例えば、100であり、優先順位が高いと濃淡度が高く、濃い。
文字サイズは、優先順位に対する基準値の割合で算出されるデータである。ここで、基準値は、例えば、20ptであり、優先順位が高い方が、文字サイズが大きい。
次に、画像に強調画像を重畳して表示させる処理について説明する。
画像データ処理については、第1実施形態(図3)と同様であり、画像データ処理の中で行われる画像分析処理については、第1実施形態(図5)と同様である。
ここでは、第1実施形態と異なる処理である画像編集処理について説明する。
図11は、第2実施形態に係る画像処理装置201の画像編集処理を示すフローチャートである。
S232において、制御部210(態様決定部218)は、付与されたスコアから優先順位を決定する。制御部210は、例えば、優先順位を、1位から順番にm位(mは、2以上の整数)まで決定する。
S233において、制御部210は、変数nに1をセットする。
S234において、制御部210は、優先順位がn位のキーワードを取得する。この画像編集処理が最初に行われる場合には、変数nには1がセットされているので、優先順位が1位のキーワードが取得される。
例えば、優先順位が1位のキーワードが「女性」である場合、図10に示す領域表示設定記憶部233を参照すると、対象語であるキーワード「女性」の表示色は「赤」である。また、領域の濃淡度データは、100/1=100であり、文字サイズデータは、20/1=20(pt)である。よって、制御部210は、キーワード「女性」に対応する領域の表示色を「赤」とし、濃淡度データを「100」とし、文字サイズデータを「20pt」に決定する。
S237において、制御部210(画像編集部219)は、生成した強調画像を、元の画像に重畳させる。
S238において、制御部210は、変数nに1を加算する。
S239において、制御部210は、変数nが整数mより大きくなったか否かを判断する。変数nが整数mより大きくなった場合(S239:YES)には、制御部210は、本処理を終了し、処理を図3のS14に移す。他方、変数nが整数mより大きくなっていない場合(S239:NO)には、制御部210は、処理をS234に移し、次の優先順位のキーワードに対する処理を行う。
画像内のオブジェクトを含むキーワード領域と、オブジェクトを表すキーワードとを含む強調画像を、領域表示設定記憶部233に記憶された領域表示設定データに基づいて生成する。設定データが、画像処理プログラム231a自体に有するわけではないため、プログラムを改変する必要がない。そして、領域表示設定記憶部233に記憶された領域表示設定データを変更すれば、強調画像の表示態様を変えられるため、使い勝手のよいシステムにできる。
例えば、絵画等の美術品を撮影した画像の場合と、監視カメラから得た画像の場合では、同じキーワードであっても、色等の表示態様を変えたい場合がある。そのような場合であっても、領域表示設定記憶部233の領域表示設定データを変えればよく、簡単である。
第2実施形態にした領域表示設定記憶部233を用いた場合であって、例えば、1位からm位までの間に同色や類似色があると、異なるキーワードであるのにもかかわらず、似たような近い色で示されるため判別しにくい場合がある。
そこで、画像処理装置は、上述した領域表示設定記憶部233に代えて、例えば、図12に示す領域表示設定記憶部333を用いてもよい。
図12に示す領域表示設定記憶部333は、対象語と、表示色と、領域の濃淡度と、文字サイズとを対応付けて記憶している。
ここで、基準値は、例えば、100である。また、類似色の判定は、例えば、表色系を使用して色を数値化することで判定できる。表色系は、例えば、RGB表色系やXYZ表色系等の様々な表現方法があるが、いずれのものを用いてもよい。さらに、重みgは、0から1までの数値であり、類似度が高いほど、重みを低くする等、類似度に対応付けたものであってもよい。
(1)各実施形態では、端末から受け付けた画像データに対して画像分析及び編集を行って、画像の内容を表すものを分かりやすく示すものを説明したが、これに限定されない。例えば、画像検索時に、抽出された各画像に対して、各実施形態で用いた処理を適用し、強調画像を画像に重畳表示をさせるものであってもよい。その場合には、各画像の内容を示すキーワードとその位置とを一見して把握できるため、ユーザは、探している画像をより早くかつ正確に見つけることができる。
また、自然言語処理による意味解析の結果を用いてスコアを算出してもよい。例えば、「○○な女性」という説明文の場合に、途中の名詞ではなく、係り受けの受け元に修飾されている名詞を重要なものとしてスコアを高く付与したり、外部辞書を用いて固有名詞等のスコアを高く付与したりする。そのようにすることで、画像の内容をより表したキーワードを、高いスコアで算出でき、対応するキーワード領域を強調表示できる。
(4)各実施形態では、キーワード領域を矩形領域として説明したが、これに限定されない。キーワードに対応するオブジェクトを含む領域であれば、円形、楕円形、オブジェクトの形状等であってもよい。
(5)各実施形態では、キーワード領域が重なっている場合であっても、透過性を有するもののために同一平面上に表現するようなものを例に説明したが、これに限定されない。例えば、透過性を有するか否かにかかわらず、スコアによって階層状に形成してもよい。
(7)第1実施形態では、強調表示の対象にしたものを全て含んだ強調画像を生成して出力するものとして説明したが、これに限定されない。例えば、画像が表示されている状態で、例えば、ユーザによりオブジェクトに対するタッチ入力がされた等によりオブジェクトの選択を受け付けた場合に、選択されたオブジェクトに対応するキーワード領域のみを強調して出力してもよい。また、選択されたオブジェクトに対応するキーワードが複数のキーワード領域に対応付けられている場合には、複数のキーワード領域を強調して出力してもよい。
また、第2実施形態の他の実施例として、領域表示設定記憶部に含む領域の濃淡度を、既に選定された表示色に類似色があるか否かを判定し、類似色がない場合には、優先順位に対する基準値の割合で算出され、類似色がある場合には、優先順位に対する基準値の割合に、選定された類似色に対する重みgを乗じて算出されるデータとした。しかし、類似色であるか否かの判定を、類似色判定手段として画像処理プログラムに有し、類似色であると判定された場合に重みgを乗じるように、領域表示設定記憶部を構成してもよい。
さらに、第2実施形態の他の実施例では、領域の濃淡度について類似色に対する重みを乗じるものを説明したが、さらに、文字サイズにも重みを適用してもよい。
(10)各実施形態では、“DenceCap”を用いて処理を行うものを例に説明したが、これに限定されない。画像を分析可能な他の分類器を用いてもよい。
4 端末
10,210 制御部
12 説明文生成部
13 語抽出部
14 キーワード選定部
15 領域抽出部
16 関連付け部
17 スコア付与部
18,218 態様決定部
19,219 画像編集部
20,220 画像出力部
21 切替部
30,230 記憶部
31a,231a 画像処理プログラム
32 画像記憶部
60 画像
70 強調画像
80 編集後画像
100,200 画像処理システム
233,333 領域表示設定記憶部
Claims (14)
- 処理対象の画像を分析して要素画像を含む矩形領域を抽出し、抽出した前記矩形領域に含まれる前記要素画像の特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、
前記説明文生成手段により生成した説明文から複数の語を抽出する語抽出手段と、
前記語抽出手段により抽出した語の少なくとも一部をキーワードとして選定するキーワード選定手段と、
前記キーワード選定手段によって選定した前記キーワードに対応した前記矩形領域を、キーワード領域として抽出する領域抽出手段と、
前記キーワード選定手段によって選定した前記キーワードに対してスコアを付与するスコア付与手段と、
前記スコア付与手段により付与された前記スコアに応じて、対応する前記キーワード領域の表示態様を決定する表示態様決定手段と、
前記画像に、前記表示態様決定手段により決定された表示態様の前記キーワード領域を強調して表示する画像出力手段と、
を備える画像処理装置。 - 処理対象の画像を分析して要素画像を含む矩形領域を抽出し、抽出した前記矩形領域に含まれる前記要素画像の特徴ごとに関連付いた単語を参照して説明文を生成する説明文生成手段と、
前記説明文生成手段により生成した説明文から複数の語を抽出する語抽出手段と、
前記語抽出手段により抽出した語の少なくとも一部をキーワードとして選定するキーワード選定手段と、
前記キーワード選定手段によって選定した前記キーワードに対応した前記矩形領域を、キーワード領域として抽出する領域抽出手段と、
前記キーワード選定手段によって選定した前記キーワードに対してスコアを付与するスコア付与手段と、
対象語と、優先順位に基づく表示態様に係る情報とを含む領域表示設定データを記憶する領域表示設定記憶部と、
前記キーワード選定手段によって選定したキーワードと、前記スコア付与手段により付与された前記キーワードの前記スコアから決定される前記キーワードの優先順位とに基づいて、前記領域表示設定記憶部を参照して前記キーワード領域の表示態様を決定する表示態様決定手段と、
前記画像に、前記表示態様決定手段により決定された表示態様の前記キーワード領域を強調して表示する画像出力手段と、
を備える画像処理装置。 - 請求項2に記載の画像処理装置において、
前記領域表示設定データは、領域の色データを含み、
前記キーワード選定手段によって選定したキーワードと、前記スコア付与手段により付与された前記キーワードの前記スコアから決定される前記キーワードの優先順位とに基づいて、前記領域表示設定記憶部を参照して得られた、複数の前記キーワードに係る前記領域の色データが類似であるか否かを判定する類似色判定手段を備え、
前記表示態様決定手段は、前記類似色判定手段により類似であると判定された前記領域の色データに対して異なる濃淡度の重み付けを付与して、前記キーワード領域の表示態様を決定する、
画像処理装置。 - 請求項1から請求項3までのいずれかに記載の画像処理装置において、
前記キーワード選定手段によって選定した前記キーワードと、前記キーワードに対応し抽出した前記矩形領域である前記キーワード領域と、前記画像を含む画像情報とを対応付けて画像記憶部に記憶する関連付け手段を備える、
画像処理装置。 - 請求項1から請求項4までのいずれかに記載の画像処理装置において、
前記領域抽出手段により抽出した前記キーワード領域を強調した強調画像を生成する強調画像生成手段を備え、
前記強調画像は、透過性を有する画像であり、
前記画像出力手段は、前記強調画像を、前記画像に重畳して表示させる、
画像処理装置。 - 請求項1から請求項5までのいずれかに記載の画像処理装置において、
強調した前記キーワード領域を表示するか否かを切り替える切替手段を備える、
画像処理装置。 - 請求項1から請求項6までのいずれかに記載の画像処理装置において、
前記スコア付与手段は、前記キーワードの出現頻度に基づいて前記スコアを付与する、
画像処理装置。 - 請求項1から請求項6までのいずれかに記載の画像処理装置において、
前記スコア付与手段は、前記キーワード領域の前記画像に占める割合に応じて前記スコアを付与する、
画像処理装置。 - 請求項1から請求項6までのいずれかに記載の画像処理装置において、
前記スコア付与手段は、前記説明文生成手段において画像を分析する際に用いた、前記要素画像の認識結果である確信度に応じて前記スコアを付与する、
画像処理装置。 - 請求項1から請求項6までのいずれかに記載の画像処理装置において、
前記スコア付与手段は、自然言語処理による意味解析結果に基づいて前記スコアを付与する、
画像処理装置。 - 請求項1から請求項6までのいずれかに記載の画像処理装置において、
複数の画像を記憶した画像データベースに対して通信可能に接続されており、
前記スコア付与手段は、前記画像データベースに記憶された前記複数の画像との前記キーワードの相対出現頻度に基づいて、前記スコアを付与する、
画像処理装置。 - 請求項1から請求項11までのいずれかに記載の画像処理装置において、
前記画像出力手段は、前記キーワード領域に、前記キーワードを表示する、
画像処理装置。 - 請求項1から請求項12までのいずれかに記載の画像処理装置としてコンピュータを機能させるためのプログラム。
- コンピュータに、それぞれが対応付けられた対象語と、領域の色データと、前記領域の色に係る濃淡度データと、類似色である場合に乗じる前記濃淡度データに対する重みデータとを記憶させ、
処理対象の画像を分析して要素画像を含む矩形領域を抽出し、抽出した前記矩形領域に含まれる前記要素画像の特徴ごとに関連付いた単語を参照して説明文を生成し、生成した説明文から複数の語を抽出し、抽出した語の少なくとも一部をキーワードとして選定し、選定した前記キーワードに対応した前記矩形領域をキーワード領域として抽出し、選定した前記キーワードに対してスコアを付与し、付与した前記キーワードの前記スコアから前記キーワードの優先順位を決定する処理を実行させた後に、
前記対応づけられたデータを参照することで、選定した前記キーワードと同一の対象語に対応付けられた前記領域の色データと、選定した前記キーワードと同一の前記対象語に対応付けられた前記領域の色に係る濃淡度データであって、前記キーワードの優先順位に基づいて決定される前記領域の色に係る濃淡度データと、前記キーワードの優先順位と類似色である場合に乗じる濃淡度の重みデータと、を抽出して、前記キーワードの表示態様を決定し、前記キーワードの表示態様に基づいて前記キーワード領域の強調画像を生成し、生成した前記強調画像を、前記処理対象の画像に含まれる前記キーワード領域に重畳させて表示する処理を実行させる際に、
処理対象の画像から選定されたキーワードの優先順位によって決定された他の領域の色データに基づき類似色か否かを判定する処理を、コンピュータに実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019009030A JP6593559B1 (ja) | 2019-01-23 | 2019-01-23 | 画像処理装置、プログラム及びデータ構造 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019009030A JP6593559B1 (ja) | 2019-01-23 | 2019-01-23 | 画像処理装置、プログラム及びデータ構造 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6593559B1 true JP6593559B1 (ja) | 2019-10-23 |
JP2020119168A JP2020119168A (ja) | 2020-08-06 |
Family
ID=68314067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019009030A Active JP6593559B1 (ja) | 2019-01-23 | 2019-01-23 | 画像処理装置、プログラム及びデータ構造 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6593559B1 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5213506B2 (ja) * | 2008-04-25 | 2013-06-19 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
JP2013101450A (ja) * | 2011-11-08 | 2013-05-23 | Sony Corp | 情報処理装置及び方法、並びにプログラム |
US9396546B2 (en) * | 2014-01-21 | 2016-07-19 | Adobe Systems Incorporated | Labeling objects in image scenes |
JP6836147B2 (ja) * | 2017-01-10 | 2021-02-24 | 大日本印刷株式会社 | 画像関連付け装置、画像検索装置、画像検索システム及びプログラム |
-
2019
- 2019-01-23 JP JP2019009030A patent/JP6593559B1/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020119168A (ja) | 2020-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4583218B2 (ja) | 対象コンテンツを評価する方法、コンピュータ・プログラム、システム | |
JP5274305B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP5733907B2 (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
RU2437152C2 (ru) | Устройство обработки изображений, способ и компьютерная программа обработки изображений | |
JP5528121B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10650186B2 (en) | Device, system and method for displaying sectioned documents | |
KR20170014353A (ko) | 음성 기반의 화면 내비게이션 장치 및 방법 | |
CN107943924B (zh) | 一种自动生成网页主题的方法、存储介质和电子设备 | |
CN115238214A (zh) | 展示方法、装置、计算机设备、存储介质及程序产品 | |
JP2024064941A (ja) | 表示方法、装置、ペン型電子辞書、電子機器及び記憶媒体 | |
CN104424166B (zh) | 文本处理装置和文本显示系统 | |
JP7098897B2 (ja) | 画像処理装置、プログラム及び画像データ | |
JP2008040753A (ja) | 画像処理装置、方法、プログラムおよび記録媒体 | |
JP2008242693A (ja) | データ処理装置、データ処理方法、及びプログラム | |
JP6593559B1 (ja) | 画像処理装置、プログラム及びデータ構造 | |
JP7338328B2 (ja) | データ構造、コンピュータプログラム及び画像処理装置 | |
CN109445900B (zh) | 用于图片显示的翻译方法和装置 | |
JP2013152564A (ja) | 文書処理装置及び文書処理方法 | |
JP5895828B2 (ja) | 情報処理装置及びプログラム | |
KR20230104491A (ko) | 웹 페이지의 이미지 변환 방법, 장치 및 시스템 | |
JP2012190314A (ja) | 画像処理装置およびプログラム | |
US10049107B2 (en) | Non-transitory computer readable medium and information processing apparatus and method | |
US20210182477A1 (en) | Information processing apparatus and non-transitory computer readable medium storing program | |
JP2006244510A (ja) | 出力制御装置 | |
JP7383882B2 (ja) | 情報処理装置、及び情報処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190123 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190123 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190625 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190813 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6593559 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |