JP7091267B2 - 重要点検出装置、重要点検出方法、及び重要点検出プログラム - Google Patents

Description

本発明は、画像から重要点を検出する重要点検出装置、重要点検出方法、及び重要点検出プログラムに関する。

従来、画像から重要点を検出する方法が知られている（例えば、特許文献１参照）。特許文献１に記載の方法は、画像のトリミング手法に関し、画像内の明暗のコントラストが高い部分を重要点として検出し、画像のトリミングを行う。
また、その他の重要点の検出方法として、画像内の顔認識を行い、顔画像を重要点として検出する技術も知られている。

Twitter,Inc「画像を最適かつ自動的にトリミングするニューラルネットワークのご紹介」、[online]、[平成３０年１２月１７日検索]、インターネット<URL:https://blog.twitter.com/official/ja_jp/topics/product/2018/0125ML-CR.html >

しかしながら、画像のコントラストの明暗がはっきりしている部分をその画像の重要点とする場合、ユーザにとって、重要視されていない部分が重要点とされる場合がある。例えば、画像内のコントラストの明暗がはっきりしている部分とは異なる位置に、少しぼやけたイラストがあり、多くのユーザにそのイラストが注目される場合もあり、このような場合、従来の技術では、重要点と認識することができないとの課題があった。

本発明は、ユーザが求める画像内の重要点を適切に検出できる重要点検出装置、重要点検出方法、及び重要点検出プログラムを提供することを目的とする。

本発明の重要点検出装置は、画像に対して一部を拡大表示させる拡大操作を取得する操作取得部と、前記拡大操作による拡大位置に基づいて、画像における重要点を検出する重要点検出部と、を備えることを特徴とする。

本発明は、ユーザが実施した拡大操作における画像の拡大位置に基づいて、画像における重要点を検出する。このため、例えば、画像内のコントラストの明暗やエッジ線の密度に基づいて画像内の重要点を検出する場合に比べ、ユーザが意図する重要点を適切に検出することができる。

第一実施形態の重要点検出装置であるサーバ装置を含む画像公開システムの概略構成を示す図。 第一実施形態のサーバ装置の概略構成を示すブロック図。 第一実施形態の画像公開方法を示すフローチャート。 画像コンテンツの一例を示す図。 表示部に表示された元画像、及び拡大操作を行った際の拡大画像の一例を示す図。 図５の元画像に対する重要点の検出例を示す図。 第二実施形態で検出される重要点及び重要領域の一例を示す図。 第三実施形態のサーバ装置の概略構成を示すブロック図。 第四実施形態のユーザ端末の概略構成を示すブロック図。 第四実施形態の重要点検出方法を示すフローチャート。

［第一実施形態］
以下、本発明の第一実施形態について説明する。
図１は、本実施形態の重要点検出装置であるサーバ装置１０を含む画像公開システム１の概略構成を示す図である。
本実施形態では、図１に示すように、画像公開システム１は、サーバ装置１０と、サーバ装置１０に通信可能に接続されるユーザ端末２０とを備えて構成されている。この画像公開システム１では、ユーザが操作するユーザ端末２０から、サーバ装置１０に画像をアップロード（投稿）することで、サーバ装置１０は、その画像を他のユーザがユーザ端末２０から閲覧できるように公開する。
そして、サーバ装置１０は、複数のユーザ端末２０から送信される画像に対する拡大操作に基づいて、その画像において、複数のユーザが注目している部分、つまり重要点を検出する。
そして、サーバ装置１０は、検出された重要点に基づいて種々の処理を実施する。本実施形態では、一例として、検出された重要点を中心としたトリミング処理、及び重要点に基づいたキャプション付加処理、及び画像圧縮処理を実施する例を示す。
以下、このような画像公開システム１の各構成について詳細に説明する。

［サーバ装置１０の構成］
図２は、サーバ装置１０の概略構成を示すブロック図である。
サーバ装置１０は、コンピューターにより構成された重要点検出装置であり、ハードウェア構成として、通信部１１と、記憶部１２と、制御部１３と、等を含んで構成されている。
通信部１１は、インターネットに接続されており、インターネットを介してユーザ端末２０等の外部装置と通信する。

記憶部１２は、例えばメモリ、ハードディスク等により構成された情報記録装置であり、サーバ装置１０の全体動作を制御するためのＯＳ（Operating System）や、重要点検出プログラムを含む各種プログラム、各種データが記憶される。
また、この記憶部１２には、ユーザ情報を記憶するユーザデータベース（ユーザＤＢ１２１）と、画像データベース（画像ＤＢ１２２）とが設けられている。なお、ここでは、サーバ装置１０の記憶部１２に、ユーザＤＢ１２１、及び画像ＤＢ１２２が設けられる例を示すが、サーバ装置１０とネットワークを介して通信可能に接続された他のデータサーバに、これらのデータベースが設けられる構成としてもよい。

ユーザＤＢ１２１は、画像公開システム１を利用する各ユーザに関するユーザ情報が記録されている。ユーザ情報は、ユーザを識別するユーザＩＤ、ユーザ固有情報、ユーザ属性情報等が記録されている。
ユーザ固有情報は、個々のユーザに特有の情報であり、例えば、ユーザの氏名やハンドルネーム等の名称情報や、メールアドレス等の連絡先情報等、ユーザを特定可能な個人情報が含まれる。
ユーザ属性情報は、例えば、ユーザの性別、ユーザの居住地域、ユーザの年齢層、ユーザの職業、ユーザの趣味や好み等のユーザ属性を示す情報が含まれている。つまり、ユーザ属性情報には、複数のユーザを分類することが可能な様々なユーザ属性が記録されている。

画像ＤＢ１２２には、ユーザから送信される画像が記録される。
また、画像ＤＢ１２２には、各画像に関連付けて、画像付帯情報が記録されている。
画像付帯情報には、送信元情報、拡縮履歴、重要点情報、サムネイル画像、キャプション情報、紹介情報等が含まれる。
送信元情報は、画像をサーバ装置１０に送信したユーザに関する情報で、例えばユーザＩＤが記録される。
拡縮履歴は、画像を閲覧したユーザが画像に対して実施した拡縮履歴であり、具体的には、画像の一部を拡大する拡大操作を行った際の操作情報が蓄積されている。蓄積される操作情報には、例えば、拡大操作によって拡大された画像の中心（拡大点）が記録されている。
重要点情報は、拡大操作に基づいて検出された画像における重要点や重要領域が記録されている。これらの重要点や重要領域についての詳細は後述する。
サムネイル画像は、画像の所定領域を切り取る、いわゆるトリミング処理が実施された後の画像が記録されている。
キャプション情報は、画像に対するキャプションである。
紹介情報は、画像とともに表示させるテキスト情報であり、ユーザにより登録される。

［制御部１３の構成］
制御部１３は、ＣＰＵ（Central Processing Unit）等の演算回路、ＲＡＭ（Random Access Memory）等の記憶回路により構成される。制御部１３は、記憶部１２等に記憶されているプログラムをＲＡＭに展開し、ＲＡＭに展開されたプログラムとの協働で、各種処理を実行する。
そして、制御部１３は、記憶部１２に記憶された情報処理プログラムを読み取り実行することで、図２に示すように、画像取得部１３１、コンテンツ送信部１３２、操作取得部１３３、重要点検出部１３４、ユーザ情報取得部１３５、画像処理部１３６、及び重要対象特定部１３７として機能する。

画像取得部１３１は、ユーザ端末２０から画像が送信されると、送信された画像を画像ＤＢ１２２に登録する。
コンテンツ送信部１３２は、画像ＤＢ１２２に登録された画像をユーザが閲覧するための画像コンテンツを生成し、ユーザ端末２０に送信する。

操作取得部１３３は、ユーザ端末２０から送信された画像に対する操作情報を取得する。
重要点検出部１３４は、拡縮履歴に蓄積された操作情報に基づいて、画像においてユーザが注目する部分、つまり重要点を検出する。
ユーザ情報取得部１３５は、ユーザ端末２０からユーザ情報を取得し、ユーザ情報として登録する。

画像処理部１３６は、重要点に基づいて画像を処理する。この画像処理部１３６は、トリミング処理部１３６Ａ、及び画像圧縮部１３６Ｂを含む。
トリミング処理部１３６Ａは、画像内の重要点を中心とした所定領域を切り出すトリミング処理を実施する。
画像圧縮部１３６Ｂは、画像における重要点を含む所定領域を第一解像度（高解像度）とし、その他の領域を第一解像度より低い第二解像度（低解像度）として画像を圧縮する。
重要対象特定部１３７は、画像を解析し、画像内の重要点に存在する対象物を特定する。
各機能構成の詳細な動作の説明は後述する。

［ユーザ端末２０の構成］
次に、ユーザ端末２０の構成について説明する。
ユーザ端末２０は、ユーザが保有するコンピューターであり、例えばスマートフォンやタブレット端末、パーソナルコンピューター等により構成される。図１に示すように、ユーザ端末２０は、各種情報を表示させる表示部２１、各種情報を入力操作するための入力操作部２２、撮像対象を撮像する端末カメラ２３、インターネットを介してサーバ装置１０等を通信する端末通信部２４、各種情報を記憶する端末記憶部２５、及びユーザ端末２０を制御する端末制御部２６等を含んで構成される。

端末記憶部２５は、画像公開システム１を利用して画像を閲覧するための端末側プログラムが記録されている。また、ユーザが、端末カメラ２３等を用いて取得した画像が記録されていてもよい。

端末制御部２６は、端末記憶部２５に記憶された端末側プログラムを読み込み実行することで、表示制御部２６１、操作送信部２６２、及び登録送信部２６３等として機能する。
表示制御部２６１は、コンテンツや画像等を、表示部２１に表示させる。
操作送信部２６２は、ユーザ操作によって、画像に対する拡大操作が実施された際に、画像内の拡大位置の座標を含む操作情報をサーバ装置１０に送信する。
登録送信部２６３は、ユーザが撮像した画像や、画像を紹介する紹介情報等をサーバ装置１０に送信する。

［画像公開方法］
次に、本実施形態の画像公開システム１における、重要点検出方法（重要点検出処理）を含む画像公開方法について説明する。
図３は、本実施形態の画像公開方法を示すフローチャートである。
本実施形態の画像公開システム１では、画像送信元のユーザがユーザ端末２０を操作して、画像と、画像を紹介する紹介情報（テキストデータ）とをサーバ装置１０に送信する。
これにより、サーバ装置１０の画像取得部１３１は、画像送信元のユーザＩＤと紹介情報とを含む画像付帯情報を生成し、画像と画像付帯情報とを画像ＤＢ１２２に記録する（ステップＳ１１）。

画像の閲覧を希望するユーザが、ユーザ端末２０を操作して、画像の閲覧要求をサーバ装置１０に送信すると（ステップＳ２１）、サーバ装置１０のコンテンツ送信部１３２は、画像コンテンツをユーザ端末２０に送信する（ステップＳ１２）。
ユーザ端末２０の表示制御部２６１は、画像コンテンツを受信すると、表示部２１に表示させる（ステップＳ２２）。

図４は、画像コンテンツ３０の一例を示す図である。
図４に示す画像コンテンツ３０は、例えば、サムネイル画像３２が配置された記事欄３１が、複数配置されたコンテンツである。
各記事欄３１には、紹介情報に基づいたテキストが表示される紹介表示部３１Ａや、他のユーザからのコメントが表示されるコメント表示部３１Ｂ、他のユーザの評価結果が表示される評価表示部３１Ｃ等が設けられていてもよい。
記事欄３１に配置されるサムネイル画像３２は、画像に関連付けられた画像付帯情報に記録されているサムネイル画像である。
各記事欄３１は、例えばサーバ装置１０に登録された画像の記事が新着順で表示されてもよく、ユーザが設定入力したキーワードに基づいて検索された記事がキーワードへの類似度順（検索スコア順）に表示されていてもよく、ユーザ属性に基づいたお勧め順で各記事が表示されてもよい。

ユーザ端末２０において、表示部２１に表示された画像コンテンツ３０に対して、いずれかのサムネイル画像３２を選択する旨のユーザ操作が入力されると、ユーザ端末２０は、選択されたサムネイル画像３２の詳細画像を要求する画像要求をサーバ装置１０に送信する（ステップＳ２３）。

サーバ装置１０のコンテンツ送信部１３２は、画像要求を受信すると、選択されたサムネイル画像３２に対応した画像を、画像ＤＢ１２２から読み出して、ユーザ端末２０に送信する（ステップＳ１３）。これにより、ユーザ端末２０の表示制御部２６１は、受信した画像を表示部２１に表示させる（ステップＳ２４）。

また、ユーザ操作によって、画像に対して拡大操作が入力されると（ステップＳ２５）、表示制御部２６１は、画像における拡大点の座標を特定し、各拡大点を中心とした所定範囲を拡大表示させる（ステップＳ２６）。
図５は、表示部２１に表示された元画像、及び拡大操作を行った際の拡大画像の一例を示す図である。
ユーザが、表示部２１に表示された画像の一部を中心にピンチアウト等の拡大操作を行うと、拡大中心の画像内における座標が拡大点Ｐとして検出される。これにより、表示制御部２６１は、拡大点Ｐを画面中心として、操作量に応じた拡大率の拡大画像が表示される。なお、拡大操作としては、タッチパネルにおけるピンチアウト操作や、マウスにおけるマウスホイール操作等が挙げられる。

この後、操作送信部２６２は、検出された拡大点Ｐを含む操作情報をサーバ装置１０に送信する（ステップＳ２７）。操作情報としては、拡大点Ｐに加え、画像の拡大率または拡大操作により表示された拡大領域が含まれていてもよい。
なお、図３では、ステップＳ２７の後、ユーザ端末２０の処理が終了しているが、ユーザ操作に基づいて、各種処理を実施する。例えば、ピンチイン操作が実施されることで拡大画像から元画像を表示させたり、表示遷移前に戻る旨の入力操作により画像コンテンツ３０を表示させたりする。

サーバ装置１０の操作取得部１３３は、ユーザ端末２０から操作情報を受信すると、表示部２１に表示されている画像に対応した画像付帯情報の拡縮履歴に、拡大点Ｐを中心に拡大操作を行った旨の操作情報と、操作情報を受信した日時とを蓄積する（ステップＳ１４）。なお、操作取得部１３３は、拡大点Ｐに加え、拡大率または拡大操作により表示された拡大領域を、拡縮履歴に記録してもよい。

次に、重要点検出部１３４は、拡縮履歴として蓄積された操作情報に基づいて、画像における重要点を検出する（ステップＳ１５）。
重要点の検出は、複数のユーザ端末２０から送信された拡大点Ｐの位置のばらつきに基づいて重要点を検出する。
図６は、図５の元画像に対する重要点の検出例を示す図である。
重要点検出部１３４は、例えば、蓄積された各拡大点Ｐについて、所定の距離内に存在する他の拡大点Ｐの数をカウントする。また、重要点検出部１３４は、所定の距離内に存在する他の拡大点Ｐの数が所定数以上である拡大点Ｐを候補点Ｑとして抽出する。ここで、互いの距離が所定距離内となる候補点Ｑの集合は、画像内の同一の対象物に対する拡大操作と見なすことができる。したがって、重要点検出部１３４は、その候補点Ｑの集合を含む領域を重要領域Ｒとし、重要領域Ｒの中心点（重心点）を重要点Ｘとして検出する。
なお、重要領域Ｒは、図６に示すように矩形領域であってもよいが、円形領域であってもよく、任意の形状の領域であってもよく、重要点Ｘを含む対象物のエッジ線により囲われる領域であってもよい。また、重要領域Ｒを検出し、その重要領域Ｒの中心を重要点Ｘとしたが、例えば、互いの距離が所定距離内となる候補点Ｑの平均位置を重要点Ｘとして検出してもよい。また、重要領域Ｒは、重要点Ｘを中心とした所定の領域（例えば矩形領域等）であってもよい。
そして、重要点検出部１３４は、検出した重要点Ｘから、候補点Ｑの数が最大となる重要点Ｘ及び重要領域Ｒを、最重要点Ｘ１及び最重要領域Ｒ１として検出する。図６に示す例では、３つの重要点Ｘが検出される例であり、いずれも所定数のユーザが拡大操作によって注目した部分である。また、候補点Ｑが最も多い重要領域Ｒを最重要領域Ｒ１とし、最重要領域Ｒ１に対応する重要点Ｘを最重要点Ｘ１として検出する。

この後、重要対象特定部１３７は、検出した重要点に基づいて画像のキャプションを設定する（ステップＳ１６）。
具体的には、重要対象特定部１３７は、検出した最重要領域Ｒ１に含まれる対象物を画像認識処理により認識し、キャプションを設定する。画像認識処理は、公知の技術を利用することができ、例えば、記憶部１２に、複数のサンプルの画像特徴量を記録しておく。そして、重要対象特定部１３７は、最重要領域Ｒ１に含まれる対象物の特徴量を検出し、その特徴量に最も近い画像特徴量を有するサンプルを検索して、最重要領域Ｒ１に含まれる対象物とする。あるいは、ＡＩを用いた画像認識処理により、対象物を認識してもよい。
そして、重要対象特定部１３７は、認識した対象物を画像付帯情報のキャプション情報に記録する。本実施形態では、重要対象特定部１３７は、最重要領域Ｒ１に対する対象物を特定したが、他の重要領域Ｒに対する対象物をさらに認識し、キャプション情報として記録してもよい。

また、画像処理部１３６は、最重要点Ｘ１を含むサムネイル画像を生成する。
具体的には、トリミング処理部１３６Ａは、トリミング処理を実施して、元画像から最重要点Ｘ１を含むサムネイル画像を切り出す（ステップＳ１７）。サムネイル画像のアスペクト比や画像寸法は、予め決められた設定値を用いればよい。図６において、一点鎖線の枠は、サムネイル画像の画像枠（サムネイル枠Ｗ）を示している。図６の例では、サムネイル枠Ｗが、最重要領域Ｒ１より大きい。この場合、トリミング処理部１３６Ａは、図６に示すように、最重要領域Ｒ１を中心に配置したサムネイル枠Ｗで、画像を切り出す。なお、サムネイル枠Ｗよりも最重要領域Ｒ１が大きい場合、最重要領域Ｒ１をサムネイル枠Ｗの画像寸法まで縮小してサムネイル画像としてもよい。

また、図６の例では、サムネイル枠Ｗには、最重要領域Ｒ１と、最重要領域Ｒ１以外の領域とが含まれる。この場合、画像圧縮部１３６Ｂは、最重要領域Ｒ１を第一解像度（例えば元画像と同じ解像度）とし、それ以外の画像領域を、第一解像度よりも低い第二解像度として画像圧縮処理を実施する（ステップＳ１８）。これにより、単に元画像の一部を切り出した画像をサムネイル画像とする場合に比べて、サムネイル画像のファイルサイズを小さくできる。また、サムネイル枠Ｗの全体を低解像度とすると、最重要領域Ｒ１の解像度が低下し、画像が見にくくなる場合もあるが、最重要領域Ｒ１は、他の領域よりも高解像度に維持されるので、画像の見にくさも抑制される。

画像処理部１３６は、以上により作成したサムネイル画像を画像付帯情報に記録する（ステップＳ１９）。これにより、次にユーザ端末２０に画像コンテンツ３０を送信する際に、最重要点Ｘ１に対応したサムネイル画像３２が掲載された画像コンテンツ３０を送信できる。

［本実施形態の作用効果］
本実施形態の画像公開システム１のサーバ装置１０は、画像に対して一部を拡大表示させる拡大操作を含む操作情報を取得する操作取得部１３３と、拡大操作による拡大点Ｐに基づいて、画像における重要点を検出する重要点検出部１３４と、を備える。
この場合、ユーザが実施した拡大操作に基づく拡大点Ｐに基づいた重要点が検出される。つまり、画像において拡大操作される部分は、ユーザにとって注目度が高い部分を意味する。したがって、この部分を重要点とすることで、例えば、画像内のコントラストの明暗やエッジ線の密度に基づいて画像内の重要点を検出する場合に比べ、ユーザが注目する重要点を適切に検出することができる。

本実施形態では、操作取得部１３３は、画像に対する拡大操作の操作情報を拡縮履歴に蓄積し、重要点検出部１３４は、蓄積された操作情報に基づいて重要点を検出する。これにより、１回の拡大操作に基づいて画像の重要点を検出する場合に比べて、重要点を精度よく検出することができる。

この際、操作取得部１３３は、複数のユーザが実施した拡大操作の操作情報を取得して拡縮履歴に蓄積し、重要点検出部１３４は、複数のユーザの操作情報に基づいた画像の重要点を検出する。
複数のユーザ端末２０から送信される操作情報に基づいて重要点を決定することで、１人のユーザからの操作情報のみを用いて重要点を決定する場合に比べて、多くのデータを迅速に収集することができ、画像を取得してから重要点の検出が実施可能となるまでの期間を短縮できる。また、複数のユーザの操作情報に基づいた重要点を検出することで、その画像に対して多くのユーザが注目している部分を重要点として検出することができる。特に、画像をインターネット上に公開する画像公開システム１において、ユーザが興味を引く画像を見つけやすくなり、ユーザの満足度が向上する。
また、画像の送信元のユーザ（画像投稿者）にとっても、自分が公開した画像に対して、他のユーザが画像のどの部分に注目しているかを確認することができ、画像投稿のモチベーションの向上を促すことができる。

本実施形態のサーバ装置１０では、トリミング処理部１３６Ａは、重要点Ｘを中心とした重要領域Ｒを含む所定領域をサムネイル画像として切り出す。
これにより、画像コンテンツ３０に、多くのユーザに注目された部分を表示したサムネイル画像３２を掲載させることができる。

本実施形態では、重要対象特定部１３７は、重要点Ｘに対する画像認識処理を実施して、重要点Ｘを含む対象物のキャプション情報を登録する。これにより、ユーザは、他の多くのユーザが画像のどの部分に注目しているかのみならず、注目している対象物が何であるかをキャプション情報によって知ることができる。

本実施形態では、画像圧縮部１３６Ｂは、画像の重要点Ｘを中心とした重要領域Ｒを第一解像度とし、その他の領域を第一解像度よりも低い第二解像度として画像を圧縮したサムネイル画像を生成する。これにより、各サムネイル画像において、重要領域Ｒの画質を落とさず、ファイルサイズのみを小さくできる。
なお、本実施形態では、画像コンテンツ３０に掲載するサムネイル画像を画像圧縮する例を示したが、その他の画像を対象としてもよい。例えば、ステップＳ１３において画像を送信する際に、画像圧縮部１３６Ｂが、重要領域Ｒを高解像度とし、その他を低解像度とした画像圧縮を行い、コンテンツ送信部１３２が画像圧縮後の画像をユーザ端末２０に送信してもよい。

［第二実施形態］
次に、第二実施形態について説明する。
第一実施形態では、所定領域内の候補点Ｑが最大となる重要点Ｘ、つまり、より多くのユーザにより拡大操作が行われている部分を最重要点Ｘ１とした。これに対して、第二実施形態では、ユーザ属性毎に重要点を設定する点で、上記第一実施形態と相違する。
なお、以降の説明にあたり、既に説明した事項については同符号を付し、その説明を省略または簡略化する。

第二実施形態では、ユーザ端末２０は、画像に対する拡大操作が実施された際、ステップＳ２７で操作情報に加えて、ユーザＩＤを送信する。また、サーバ装置１０は、ステップＳ１４において、拡大操作を実施したユーザのユーザＩＤと、操作情報とを拡縮履歴に記録する。
そして、重要点検出部１３４は、ステップＳ１５において、第一実施形態と同様に、最重要点Ｘ１を検出するとともに、拡大操作を行ったユーザのユーザ属性に応じて、各重要点Ｘに対してユーザ属性を関連付ける。
例えば、重要点検出部１３４は、第一実施形態と同様に複数の候補点Ｑを抽出した後、重要点Ｘ及び重要領域Ｒを検出し、そのうち、候補点Ｑが最も多い最重要点Ｘ１及び最重要領域Ｒ１を検出する。これに加え、本実施形態では、ユーザＤＢ１２１から、各候補点Ｑに対応するユーザＩＤのユーザ情報を抽出し、重要領域Ｒに含まれる複数の候補点Ｑに対応するユーザ属性において、所定ユーザ属性が所定割合以上含まれている場合、その重要領域Ｒ及び重要点Ｘに対して、当該所定ユーザ属性を関連付ける。

図７は、本実施形態において、検出される重要点Ｘ及び重要領域Ｒの一例を示す図である。図７に示す例では、重要点Ｘ２に対して、ユーザ属性「男性」「２０代」が関連付けられ、重要点Ｘ３に対して、ユーザ属性「趣味：飛行機」が関連付けられている。また、１つのユーザ属性に複数の重要点Ｘや重要領域Ｒが検出される場合、ぞれぞれのユーザ属性に対して最重要点や最重要領域が検出されてもよい。

また、本実施形態では、ステップＳ１６からステップＳ１９において、ステップＳ１５で検出された最重要点Ｘ１、及びユーザ属性に対応した重要点Ｘ２，Ｘ３に対して、それぞれ、サムネイル画像を生成し、各サムネイル画像にユーザ属性を関連付けて画像付帯情報に記録する。

そして、本実施形態では、ユーザ端末２０は、ステップＳ２１において閲覧要求に加えてユーザＩＤを送信する。サーバ装置１０において閲覧要求が受信されると、コンテンツ送信部１３２は、閲覧要求とともに送信されたユーザＩＤに対応するユーザ情報に記録されたユーザ属性を特定する。さらに、コンテンツ送信部１３２は、特定したユーザ属性に対応したサムネイル画像を画像付帯情報から読み出し、サムネイル画像３２として画像コンテンツ３０に掲載してユーザ端末２０に送信する。

以上のような本実施形態では、記憶部１２がユーザ属性を含むユーザ情報が記録されるユーザＤＢ１２１を備える。そして、重要点検出部１３４は、各重要点に対し、主に拡大操作を実施したユーザのユーザ属性を関連付ける。
このため、画像を閲覧するユーザのユーザ属性に応じて、画像の重要点を変動させることができる。これにより、例えば画像コンテンツ３０において、画像を閲覧するユーザにとっての注目度が高いと予測される部分をサムネイル画像３２に表示させることができ、各画像に対してユーザが興味を持つ可能性が高くなるとともに、ユーザが興味のある画像を見つけやすくなる。

また、サーバ装置１０は、画像の送信元のユーザに対して、ユーザ毎の画像の重要点を送信してもよい。この場合、送信元のユーザは、どのようなユーザ属性のユーザが、どの点に注目しているかを認識することができ、例えば、送信元のユーザがターゲットとしたいユーザ属性に対して注目度が上がる画像をサーバ装置１０に登録する等、画像投稿のモチベーション向上を促すことができる。

［第三実施形態］
次に、第三実施形態について説明する。
第一実施形態では、複数のユーザが画像に対して拡大操作を実施した後、互いに近接する拡大点Ｐの数が所定数以上となる場合に候補点Ｑとして、重要領域Ｒや重要点Ｘを検出する。この場合、少なくとも前記所定数以上の操作情報が必要となるので、サーバ装置１０に送信された直後の画像に対して重要点を検出することができない。これに対して、第三実施形態では、送信された直後の画像に対して重要点を検出できる点で第一実施形態と相違する。

図８は、第三実施形態のサーバ装置１０Ａの概略構成を示すブロック図である。
本実施形態のサーバ装置１０Ａは、第一実施形態と略同様の構成を有し、制御部１３は、記憶部１２に記録された重要点検出プログラムを読み出し実行することで、さらに、モデル生成部１３８として機能する。
モデル生成部１３８は、入力した画像に対して、その画像に対する重要点を出力する重要点検出モデルを生成する。

本実施形態では、ステップＳ１４により、画像に対する操作情報が得られると、その画像と、操作情報（つまり、拡大操作による拡大点）とを教師データとして記憶部１２に蓄積する。なお、教師データとしては、操作情報を送信したユーザのユーザ属性がさらに含まれてもよい。
そして、モデル生成部１３８は、教師データを用い、ＡＩを用いた機械学習により、画像、または画像及びユーザ属性を入力とし、重要点を出力とした重要点検出モデルを生成する。つまり、重要点検出モデルは、画像の画像特徴量と、当該画像に対する多数の教師データに基づいた拡大点（つまり、ユーザが注目した点）とに基づいて、画像に対して多くのユーザが注目する位置である重要点を推定する。

このような本実施形態のサーバ装置１０Ａでは、ステップＳ１１において、ユーザ端末２０から新しい画像を受信すると、重要点検出部１３４は、その画像を重要点検出モデルに入力することで、当該画像に対する重要点を検出する。
また、ユーザ属性を含む教師データを用い、画像及びユーザ属性を入力することで、重要点を出力する重要点検出モデルを生成している場合、ユーザ属性に対応した重要点を検出することも可能となる。

このため、ステップＳ１１で、画像ＤＢ１２２で登録されたばかりの画像に対しても重要点を設定することができ、ステップＳ１６からステップＳ１９の処理、つまり、キャプションの設定や、トリミング処理及び画像圧縮力を用いたサムネイル画像の生成が可能となる。
例えば、コンテンツ送信部１３２は、ステップＳ１１で取得したばかりの画像のサムネイル画像３２が掲載された画像コンテンツ３０を送信する場合でも、重要点に基づいたサムネイル画像３２を画像コンテンツ３０に掲載することができる。

［第四実施形態］
次に、第四実施形態について説明する。
上記第一実施形態から第三実施形態では、サーバ装置１０またはサーバ装置１０Ａを、本発明の重要点検出装置として機能させる例を示した。これに対して、ユーザが所有するユーザ装置が重要点検出装置として機能してもよい。

図９は、第四実施形態のユーザ端末２０Ａの概略構成を示すブロック図である。
本実施形態では、端末記憶部２５に画像ＤＢ２５１が設けられ、画像と画像付帯情報が記録される。なお、画像付帯情報としては、拡縮履歴、重要点情報、キャプション情報が含まれていればよい。
また、端末記憶部２５には、重要点検出プログラムが記録されており、端末制御部２６は、重要点検出プログラムを読み込み実行することで、表示制御部２６１、画像取得部２６４、操作取得部２６５、モデル生成部２６６、重要点検出部２６７、画像処理部２６８、及び重要対象特定部２６９等として機能する。

画像取得部２６４は、端末カメラ２３により撮像された画像や、インターネット上に公開されている画像等を取得する。
操作取得部２６５は、表示制御部２６１により表示された画像に対するユーザの拡大操作等の操作情報を取得する。
モデル生成部２６６は、ユーザの画像に対する拡大操作の履歴に基づいて、画像を入力とし、重要点を出力とした重要点検出モデルを生成する。
重要点検出部２６７は、画像取得部２６４により画像が取得されると、その画像を重要点検出モデルに入力することで、画像における重要点を検出する。

画像処理部２６８は、第一実施形態と同様、トリミング処理部２６８Ａや画像圧縮部２６８Ｂを有する。トリミング処理部２６８Ａ及び画像圧縮部２６８Ｂは、第一実施形態と同様であり、画像のトリミング処理、及び画像の圧縮処理を実施する。

重要対象特定部２６９は、第一実施形態と同様、画像に対して検出された重要点Ｘに対する画像認識処理を実施し、重要領域Ｒに含まれる対象物を特定し、キャプション情報を更新する。

図１０は、ユーザ端末２０Ａにおける重要点検出方法を示すフローチャートである。
本実施形態における画像の重要点検出方法は、第三実施形態と略同様の手法により実施される。
ユーザ端末２０Ａにおいて、ユーザ操作によって、所定の画像を表示させる旨の入力操作が実施されると、表示制御部２６１は、表示部２１に画像を表示させる（ステップＳ３１）。そして、表示された画像に対してユーザ操作によって、所定の拡大点を中心とした拡大操作が実施されると、操作取得部２６５は、操作情報を取得し（ステップＳ３２）、画像付帯情報の拡縮履歴に、操作情報（拡大操作及び拡大点）を記録して蓄積する（ステップＳ３３）。
そして、モデル生成部２６６は、画像ＤＢ２５１に記録される画像（または画像の特徴量）と拡大操作における拡大点との組み合わせを教師データとして、重要点検出モデルを生成する（ステップＳ３４）。

この後、ユーザ端末２０Ａの画像取得部２６４は、ユーザにより、外部機器やインターネットを介した画像を取得する旨の入力操作が実施された場合、あるいは、端末カメラ２３による撮像処理が実施された場合に、画像を取得する（ステップＳ３５）。
画像が取得されると、重要点検出部２６７は、取得された画像を重要点検出モデルに入力し、重要点を検出する（ステップＳ３６）。これにより、ユーザ端末２０Ａが取得した直後の画像に対しても、画像の重要点を検出することができる。

また、ユーザが画像を用いて各種処理を実施する際、ユーザによって画像内の特定の位置を重要点とする旨の操作がない限り、ステップＳ３６で検出された重要点Ｘに基づいた各種処理を実施する。
例えば、ユーザが、画像をインターネット上の所定の外部サーバにアップロードする際、ユーザによる画像のトリミング処理が実施されなかった場合に、トリミング処理部２６８Ａは、自動でトリミング処理を実施する。この際、第一実施形態と同様、検出された重要点Ｘ（重要領域Ｒ）を含む所定範囲を切り出す処理を実施する。また、重要対象特定部２６９は、重要点Ｘに対する画像認識処理を実施し、重要点Ｘを含む対象物を特定してキャプション情報として記録してもよい。
あるいは、ユーザが画像に対するトリミング処理を実施する際に、画像に対するトリミング枠のデフォルト位置が、重要領域Ｒを中心とした領域に設定されていてもよい。
また、ユーザが、画像を圧縮する旨の入力操作を実施した場合、画像圧縮部２６８Ｂは、第一実施形態と同様、重要点Ｘを含む重要領域Ｒの解像度を第一解像度（高解像度）とし、その他の領域の解像度を第一解像度よりも低い第二解像度として、画像を圧縮する。

上記のような本実施形態のユーザ端末２０Ａでは、重要点検出部２６７は、ユーザ端末２０Ａを操作するユーザが着目する位置を重要点として検出することができる。
この場合、例えば図４に示すような画像コンテンツ３０を表示させる際に、複数の画像のサムネイル画像３２を、ユーザ端末２０Ａを操作するユーザに対応した重要点に応じたサムネイル画像とすることもできる。

［変形例］
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形をも含むものであり、以下にその一部を変形例として示す。
［変形例１］
上記実施形態では、拡大操作を行った際の拡大点に基づいて、重要点を検出する例を示したが、これに限定されない。つまり、本発明の拡大位置とは、拡大操作を実施した際の中心点である拡大点のみを指すものではなく、拡大操作を行った際の拡大率や拡大後の表示領域（拡大領域）であってもよく、これらの拡大率や拡大領域に基づいて重要点や重要領域が検出されてもよい。
この場合も上記各実施形態と略同様の処理により重要点や重要領域を検出することができる。例えば、第一実施形態において、ユーザ端末２０から送信される操作情報に拡大領域が含まれる場合、複数のユーザが閲覧した拡大領域を拡縮履歴に蓄積する。そして、蓄積した拡大領域のうち、所定数の拡大領域において、互いに重なり合う領域が存在する場合に、その領域を重要領域Ｒとして検出し、その重要領域Ｒの中心位置または重心位置を重要点Ｘとして検出する。

［変形例２］
上記実施形態では、複数のユーザからの拡大操作、または、ユーザ端末２０Ａを操作するユーザの拡大操作を蓄積して重要点を検出する例を示した。これに対して、拡大操作が蓄積されず、新たに取得された拡大操作によって、重要点Ｘや重要領域Ｒの位置を修正する構成としてもよい。
例えば、操作取得部１３３が画像に対する最初の拡大操作の操作情報を取得した場合、重要点検出部１３４は、その得られた拡大点を重要点とする。次に、操作取得部１３３が拡大操作の操作情報を取得すると、重要点検出部１３４は、先に設定された重要点と新たに得られた拡大点とを比較し、所定の距離範囲内である場合は、先に設定された重要点と新たに得られた拡大点との平均位置を次の重要点とする。重要点と拡大点とが所定の距離範囲より離れている場合、新たな重要点として検出してもよい。この場合、拡縮履歴に操作情報が蓄積されていなくてもよく、また、重要点の検出においても多数の操作情報を処理しない分、判定処理に係る処理負荷を軽減できる。

[変形例３]
第三実施形態及び第四実施形態では、画像と、その画像に対する操作情報（拡大操作の拡大位置）とを教師データとし、重要点検出モデルを生成したが、これに限定されない。
例えば、モデル生成部１３８は、画像と、その画像に対して検出された重要点とを教師データとして、重要点検出モデルを生成してもよい。

［変形例４］
第一から第三実施形態において、サーバ装置１０がコンピューターにより構成されて、画像取得部１３１、コンテンツ送信部１３２、操作取得部１３３、重要点検出部１３４、ユーザ情報取得部１３５、画像処理部１３６、重要対象特定部１３７、及びモデル生成部１３８等として機能する例を示した。ここで、サーバ装置１０を構成するコンピューターの数は特に限定されない。例えば、１台のコンピューターによってサーバ装置１０が構成されてもよく、複数のコンピューターをネットワークで接続して構築されるクラウドサーバをサーバ装置１０としてもよい。

１…画像公開システム、１０，１０Ａ…サーバ装置（重要点検出装置）、１２…記憶部、１３…制御部、２０…ユーザ端末、２０Ａ…ユーザ端末（重要点検出装置）、２１…表示部、２２…入力操作部、２５…端末記憶部、２６…端末制御部、１３１，２６４…画像取得部、１３２…コンテンツ送信部、１３３，２６５…操作取得部、１３４，２６７…重要点検出部、１３５…ユーザ情報取得部、１３６，２６８…画像処理部、１３６Ａ，２６８Ａ…トリミング処理部、１３６Ｂ，２６８Ｂ…画像圧縮部、１３７，２６９…重要対象特定部、１３８，２６６…モデル生成部、２６１…表示制御部、２６２…操作送信部、２６３…登録送信部、１２１…ユーザＤＢ、１２２，２５１…画像ＤＢ、Ｐ…拡大点、Ｑ…候補点、Ｒ…重要領域、Ｒ１…最重要領域、Ｗ…サムネイル枠、Ｘ…重要点、Ｘ１…最重要点。

Claims (8)

1. 画像の一部を拡大表示させる拡大操作に係る情報であって、前記拡大操作による拡大位置を含む操作情報を受信する操作取得部と、
   前記拡大操作による前記拡大位置に基づいて、前記画像の重要点を検出する重要点検出部と、
   を備え、
   前記操作取得部は、複数のユーザが実施した前記拡大操作に係る前記操作情報を取得し、
   前記重要点検出部は、複数の前記ユーザが実施した前記拡大操作の前記拡大位置のばらつきに基づいて、前記画像の前記重要点を検出する
   ことを特徴とする重要点検出装置。
2. 請求項１に記載の重要点検出装置において、
   前記操作取得部は、前記画像に対する前記操作情報を蓄積し、
   前記重要点検出部は、蓄積された前記操作情報の前記拡大位置に基づいて、前記画像の前記重要点を検出する
   ことを特徴とする重要点検出装置。
3. 請求項１または請求項２に記載の重要点検出装置において、
   前記ユーザに関するユーザ属性を含むユーザ情報が記録されるユーザデータベースを備え、
   前記重要点検出部は、所定ユーザ属性を有する複数の前記ユーザが実施した前記拡大操作の前記拡大位置に基づいて検出された前記重要点に対して、前記所定ユーザ属性を関連付ける
   ことを特徴とする重要点検出装置。
4. 請求項１から請求項３のいずれか１項に記載の重要点検出装置において、
   前記画像に対し、前記重要点を中心とした範囲を切り出すトリミング処理部を備える
   ことを特徴とする重要点検出装置。
5. 請求項１から請求項４のいずれか１項に記載の重要点検出装置において、
   前記画像を解析し、前記重要点を含む対象物を特定する重要対象特定部を備える
   ことを特徴とする重要点検出装置。
6. 請求項１から請求項４のいずれか１項に記載の重要点検出装置において、
   前記画像の前記重要点を中心とした所定領域を第一解像度とし、その他の領域を前記第一解像度よりも低い第二解像度として前記画像を圧縮する画像圧縮部を備える
   ことを特徴とする重要点検出装置。
7. コンピューターにより画像内の重要点を検出する重要点検出方法であって、
   前記コンピューターは、操作取得部、及び重要点検出部として機能し、
   前記操作取得部が、画像の一部を拡大表示させる拡大操作に係る情報であって、前記拡大操作による拡大位置を含む操作情報を受信する操作取得ステップと、
   前記重要点検出部が、前記拡大操作による前記拡大位置に基づいて、前記画像の重要点を検出する重要点検出ステップと、を実施し、
   前記操作取得ステップは、複数のユーザが実施した前記拡大操作に係る前記操作情報を取得し、
   前記重要点検出ステップは、複数の前記ユーザが実施した前記拡大操作の前記拡大位置のばらつきに基づいて、前記画像の前記重要点を検出する
   ことを特徴とする重要点検出方法。
8. コンピューターにより読み取り実行可能な重要点検出プログラムであって、
   前記コンピューターを、請求項１から請求項６のいずれか１項に記載の重要点検出装置として機能させる
   ことを特徴とする重要点検出プログラム。

Images