JP6580625B2 - 画像処理装置、画像編集装置、およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像編集装置、およびプログラムに関する。

従来、デジタルカメラなどで撮像した写真をプリントする際に、写真の周囲の余白などの不要部分を自動的にカットするトリミング手法が提案されている。また、トリミング範囲をユーザ操作で指定させる手法も提案されている。例えば、特許文献１では、写真をプリントして出力する際のサイズに基づいて最小のトリミング範囲を求め、このトリミング範囲のサイズまたは位置に対する変更指示をユーザから受け付けることでトリミング範囲を決定する手法が提案されている。

特開２００４−０４０６３４号公報

しかしながら、従来のトリミング手法では、トリミング範囲が利用者の意向によらず自動的に決定される結果、必要な部分までカットされてしまう場合があった。例えば、トリミング範囲の形が正方形に予め決まっている場合において、縦長または横長の画像がトリミングされた結果、必要な部分までカットされてしまう場合があった。また、ユーザ操作でトリミング範囲自体を指定する操作が行われることもあるが、トリミング範囲を指定するのは煩雑な処理である。また、例えば、ユーザが写真を入稿するようなサービスにおいて、入稿時にトリミング範囲の形やサイズが決まっていない場合には、トリミング範囲の指定を行うことが困難な場合があった。

本発明は、このような事情を考慮してなされたものであり、画像のトリミングの際における利用者が残したい領域の指定を直観的な操作で受け付けることが可能な画像処理装置、画像編集装置、およびプログラムを提供することを目的の一つとする。

本発明の一態様は、画像を表示する表示部と、前記表示部に表示された画像において、前記画像のトリミングが行われる際に利用者が残したい領域を指定するための領域指定情報の入力を受け付ける受付部と、前記受付部によって受け付けられた領域指定情報を前記画像に付与する付与部と、を備える画像処理装置である。

本発明の一態様によれば、画像のトリミングの際における利用者が残したい領域の指定を直観的な操作で受け付けることが可能である。

第１実施形態に係る画像処理システムの全体構成を示す図である。 第１実施形態に係る端末装置の機能構成を示す機能ブロック図である。 第１実施形態に係る画像編集装置の機能構成を示す機能ブロック図である。 第１実施形態に係る端末装置の処理の流れを示すフローチャートである。 第１実施形態に係る端末装置の表示部に表示された入力画面の一例を示す図である。 第１実施形態に係る端末装置の表示部に表示された入力画面の他の例を示す図である。 第１実施形態に係る端末装置の表示部に表示された入力画面の他の例を示す図である。 第１実施形態に係る端末装置の表示部に表示された入力画面の他の例を示す図である。 第１実施形態に係る端末装置の表示部に表示された入力画面の他の例を示す図である。 第１実施形態に係る端末装置の表示部に表示された入力画面の他の例を示す図である。 第１実施形態に係る端末装置の表示部に表示された入力画面の他の例を示す図である。 第１実施形態に係る端末装置の表示部に表示された入力画面の他の例を示す図である。 第１実施形態に係る画像編集装置の処理の流れを示すフローチャートである。 第１実施形態においてトリミング範囲が決定される様子を示す図である。 図１４に示すトリミング範囲に応じて編集処理が施された編集済画像を示す図である。 第２実施形態に係る画像編集装置の機能構成を示す機能ブロック図である。 第２実施形態に係る端末装置の処理の流れを示すフローチャートである。 第２実施形態に係る端末装置の表示部に表示された入力画面の一例を示す図である。 第２実施形態に係る端末装置の表示部に表示された入力画面の一例を示す図である。 第３実施形態に係る画像編集装置の機能構成を示す機能ブロック図である。 第３実施形態に係る端末装置の処理の流れを示すフローチャートである。 第３実施形態に係る端末装置の表示部に表示された入力画面の一例を示す図である。 第４実施形態に係る画像編集装置の機能構成を示す機能ブロック図である。 第４実施形態に係る端末装置の処理の流れを示すフローチャートである。

以下、図面を参照して、本発明の画像処理装置、画像編集装置、およびプログラムの実施形態について説明する。

＜１．第１実施形態＞
以下、本発明の第１実施形態について説明する。第１実施形態の端末装置（画像処理装置の一例）は、ユーザ（利用者）の操作に応じて、画像のトリミングが行われる際にユーザが残したい領域（トリミングによってカットされることを希望しない領域）を指定するための情報（以下、「領域指定情報」と呼ぶ）を画像に付与する。端末装置は、この領域指定情報を付与した画像（以下、「領域指定済画像」と呼ぶ）を、ネットワークを介して、画像編集装置に送信する。以下、第１実施形態について詳細に説明する。

＜１−１．システム構成＞
図１は、第１実施形態に係る画像処理システム１の全体構成を示す図である。画像処理システム１は、例えば、端末装置３（画像処理装置の一例）と、画像編集装置５とを備える。端末装置３および画像編集装置５は、ネットワークＮＷを介して通信する。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、プロバイダ装置、無線基地局、専用回線などのうち一部または全部を含む。

端末装置３は、ユーザによって使用される、スマートフォンなどの携帯電話、タブレット端末、パーソナルコンピュータ、ＰＤＡ（Personal Digital Assistant）などのコンピュータ装置である。端末装置３は、処理対象とする画像を表示させながら、領域指定情報の入力を受け付ける。領域指定情報の入力は、後述するように種々の態様で受け付けられる。領域指定情報の入力は、例えば、画像の少なくとも１つの点（以下、「重点」と呼ぶ）を指定する操作に基づく入力、画像の少なくとも１つの範囲（以下、「重点の範囲」と呼ぶ）を囲む操作に基づく入力などがある。端末装置３は、領域指定情報を付与する。端末装置３は、領域指定済画像を、ネットワークＮＷを介して、画像編集装置５に送信する。なお、複数の端末装置３がネットワークＮＷに接続されてよい。以下においては、端末装置３がスマートフォンなどの携帯電話である例について説明する。

画像編集装置５は、端末装置３から受信した領域指定済画像を編集するコンピュータ装置である。画像編集装置５は、領域指定済画像に含まれる領域指定情報に基づいて、領域指定済画像のトリミングなどを行う。

図２は、第１実施形態に係る端末装置３の機能構成を示す機能ブロック図である。端末装置３は、例えば、通信部１０と、表示部１２（表示部の一例）と、受付部１４（受付部の一例）と、撮像部１６と、画像処理部１８（付与部の一例）と、記憶部２０とを備える。通信部１０は、ネットワークＮＷを介して、画像編集装置５と通信する。

表示部１２は、画像に対する領域指定情報の入力画面などを表示する。表示部１２は、例えば、ディスプレイなどである。表示部１２が、タッチパネル対応のディスプレイである場合、表示部１２は、受付部１４の機能を備えてもよい。

受付部１４は、ユーザからの操作入力を受け付ける。受付部１４は、領域指定情報の入力を受け付ける。受付部１４は、例えば、タッチパネル、操作ボタン、キーボード、マウスなどである。

撮像部１６は、対象物の静止画（写真）または動画を撮像する。撮像部１６は、カメラなどである。撮像部１６は、撮像した静止画または動画の画像Ｄを記憶部２０に記憶させる。

画像処理部１８は、上述の表示部１２および受付部１４の制御を行うとともに、受付部１４を介して入力された領域指定情報を画像に付与して領域指定済画像を生成する。画像処理部１８は、通信部１０を介して、領域指定済画像を画像編集装置５に送信する。画像処理部１８は、生成した領域指定済画像を記憶部２０に記憶させてもよい。

記憶部２０は、例えば、撮像部１６によって撮像された静止画または動画の画像、画像処理部１８によって生成された領域指定済画像などを記憶する。

図３は、第１実施形態に係る画像編集装置５の機能構成を示す機能ブロック図である。画像編集装置５は、例えば、通信部３０（取得部の一例）と、編集部３２（編集部の一例）と、記憶部３４とを備える。通信部３０は、ネットワークＮＷを介して、端末装置３と通信する。

編集部３２は、端末装置３から受信した領域指定済画像を編集する。編集部３２は、領域指定済画像に含まれる領域指定情報に基づいて、領域指定済画像に対するトリミングなどを行う。トリミングの詳細については後述する。記憶部３４は、例えば、編集部３２によって編集された画像（以下、「編集済画像ＥＤ」と呼ぶ）を記憶する。

端末装置３の画像処理部１８および画像編集装置５の編集部３２は、ＣＰＵなどのプロセッサが、プログラムメモリなどに記憶されたプログラムを実行することで実現される。なお、これらの機能部は、プロセッサがプログラムを実行するのと同様の機能を有するＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、およびＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアが協働することにより実現されてもよい。

端末装置３の記憶部２０および画像編集装置５の記憶部３４は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）フラッシュメモリ、ＳＤカード、レジスタ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。また、記憶部３４の一部または全部は、ＮＡＳ（Network Attached Storage）や外部のストレージサーバなど、画像編集装置５がアクセス可能な外部装置であってもよい。

＜１−２．端末装置の処理＞
以下において、第１実施形態に係る端末装置３の処理について説明する。図４は、第１実施形態に係る端末装置３の処理の流れを示すフローチャートである。ここで、端末装置３の記憶部２０には、処理対象とする画像Ｄ（例えば、撮像部１６によって撮像された画像の画像や、デジタルカメラ等の外部機器によって撮像され端末装置３に保存された画像等）が記憶されているものとする。

まず、画像処理部１８は、受付部１４を介して、ユーザから処理対象とする画像の選択指示を受け付ける（ステップＳ１０１）。画像処理部１８は、例えば、処理対象とする画像の選択指示の受付画面を表示部１２に表示させ、ユーザがこの受付画面に表示された誘導に従う操作を行うことで選択指示を受け付ける。

次に、画像処理部１８は、受付部１４を介して受け付けたユーザの選択指示に応じて、表示部１２に、選択された画像における領域指定情報の入力を受け付ける入力画面を表示させる（ステップＳ１０３）。

図５は、第１実施形態に係る端末装置３の表示部１２に表示された入力画面Ｐ１の一例を示す図である。図示するように、入力画面Ｐ１には、例えば、選択された画像ＰＴ１と、ユーザに領域指定情報の入力を促すメッセージＭＳ１とが表示されている。画像ＰＴ１には、人物Ｈと、店舗Ｓ（Ａ店）とが含まれている。

次に、受付部１４は、ユーザの操作に基づいて、領域指定情報の入力を受け付ける（ステップＳ１０５）。図５に示す例では、画像ＰＴ１において「店舗Ｓ」上の点（重点Ｔ１）がユーザの指Ｆによってタップされている。すなわち、受付部１４は、画像ＰＴ１の少なくとも１つの点を指定する操作に基づいて、領域指定情報の入力を受け付ける。

次に、画像処理部１８は、上述のように指Ｆによってタップされた店舗Ｓ上の重点Ｔ１の情報を画像ＰＴ１に付与し、領域指定済画像を生成する（ステップＳ１０７）。

次に、画像処理部１８は、生成した領域指定済画像を、通信部１０を介して、画像編集装置５に送信する（ステップＳ１０９）。以上により、本フローチャートの処理を終了する。

なお、ユーザによる領域指定情報の入力の方法は、上述のような１点の重点を指定する方法に限られない。例えば、図６に示すように、ユーザが複数の重点（例えば、２つの重点Ｔ１およびＴ２）をタップすることで、複数の重点の指定を受け付けるようにしてもよい。この場合、複数の重点の各々に重要度が設定されるようにしてもよい。すなわち、受付部１４は、画像の少なくとも１つの点と、この点の重要度とを指定する操作に基づいて、重要度に応じて領域を指定する領域指定情報の入力を受け付けてよい。例えば、第１の重点Ｔ１を必須で残す重要度が高い部分とし、第２の重点Ｔ２を可能であれば残す重要度が低い部分に指定するような、重要度の段階的な指定を可能としてよい。

また、図７に示すように、ユーザが少なくとも１つの範囲を囲む（円、楕円、矩形等）タッチ操作により、重点の範囲Ｓの指定を受け付けるようにしてもよい。また、図８に示すように、ユーザが少なくとも１つの範囲を塗りつぶすタッチ操作により重点の範囲Ｓの指定を受け付けるようにしてもよい。また、ピンチアウト操作により重点の範囲の指定を受け付けるようにしてもよい。また、一旦、重点の範囲が指定された後、さらなるタッチ操作により重点の範囲の大きさ、形状の変更を受け付けるようにしてもよい。

また、図９に示すように、ユーザが画像ＰＴ１上の始点Ｔ３をタッチし、指ＦをＤ方向にスライドさせることで、スライドされた軌跡の両端を対角点とする矩形の重点の範囲の指定を受け付けるようにしてもよい。また、図１０に示すように、ユーザが画像ＰＴ１上の始点Ｔ４および終点Ｔ５の２つの点をタップすることで、始点Ｔ４および終点Ｔ５を対角点とする矩形の重点の範囲の指定を受け付けるようにしてもよい。

また、ユーザのタッチ操作により、複数の重点の範囲の指定を受け付けるようにしてもよい。この場合、複数の重点の範囲の各々に重要度が設定されるようにしてもよい。すなわち、受付部１４は、画像の少なくとも１つの範囲と、この範囲の重要度とを指定する操作に基づいて、重要度に応じて領域を指定する領域指定情報の入力を受け付けてよい。例えば、第１の重点の範囲を必須で残す重要度が高い範囲とし、第２の重点の範囲を可能であれば残す重要度が低い範囲に指定するような、重要度の段階的な指定を可能としてよい。第２の範囲が、第１の範囲を含むような指定を可能としてもよい。

また、画像処理装置３が、画像における物体の輪郭を認識する認識部（図示しない）をさらに備え、物体の輪郭を認識することで、ユーザがタップした物体の全体が重点の範囲として指定されてもよい。例えば、図１１に示すように、画像ＰＴ２に人物Ｈの顔および上半身が含まれている場合に、ユーザが、顔上の点Ｔ６をタップすることで、顔全体が重点として指定されてよい。或いは、図１２に示すように、画像ＰＴ２に人物Ｈの顔および上半身が含まれている場合に、ユーザが、顔上の点Ｔ６をタップすることで、顔および上半身の全体が重点として指定されてよい。すなわち、受付部１４は、画像における物体上の点を指定する操作に基づいて、認識部によって認識された物体の輪郭の範囲を指定する領域指定情報の入力を受け付けてよい。

また、ユーザが、顔上の点Ｔ６を１回タップすることで、顔が重点の範囲として指定され、さらに、顔上の点を再度タップすることで、顔および上半身が重点の範囲として指定されるようにしてもよい。すなわち、受付部１４は、画像における物体上の点を複数回指定する操作に基づいて、認識部によって認識された物体の輪郭の範囲が段階的に広げまたは狭められた領域指定情報の入力を受け付けてよい。

＜１−３．画像編集装置の処理＞
以下において、第１実施形態に係る画像編集装置５の処理について説明する。図１３は、第１実施形態に係る画像編集装置５の処理の流れを示すフローチャートである。

まず、通信部３０は、ネットワークＮＷを介して、端末装置３から送信された領域指定済画像を受信する（ステップＳ２０１）。

次に、編集部３２は、領域指定済画像に含まれる領域指定情報に基づいて、トリミング範囲を決定する（ステップＳ２０３）。図１４は、第１実施形態においてトリミング範囲ＴＲが決定される様子を示す図である。図１４に示す例では、ユーザによって指定された重点Ｔ１を中心として、所定の辺長の矩形（例えば、正方形）の範囲がトリミング範囲ＴＲとして決定されている。なお、画像編集装置５がオペレータによる操作を受け付ける受付部（図示しない）を備え、この受付部を介して受け付けたオペレータの操作に応じて、トリミング範囲ＴＲが決定されてもよい。

次に、編集部３２は、決定したトリミング範囲ＴＲ以外の部分をカットして、編集済画像ＥＤを生成する（ステップＳ２０５）。図１５は、図１４に示すトリミング範囲ＴＲに基づいて編集処理が施された編集済画像ＰＴ３を示す図である。図示するように、編集済画像ＰＴ３においては、ユーザによって指定された重点Ｔ１と対応する店舗Ｓ（Ａ店）の部分が残されている。一方、ユーザによって重点として指定されなかった人物Ｈは大部分がカットされているが、このカットされた人物Ｈの部分はユーザがトリミングにおいて残すことを希望しなかった不要な部分であるため問題が生じない。以上により、本フローチャートの処理を終了する。

なお、上記においては、重点Ｔ１を中心とした所定の辺長の矩形範囲がトリミング範囲として決定される例を説明したが、トリミング範囲の形状、大きさ等はトリミングの目的に応じて任意に設定される。すなわち、ユーザによって指定された重点Ｔ１の近傍の領域がカットされないようなトリミングであれば、任意の処理を行ってよい。

また、図６に示す例のように、複数の重点が指定されている場合には、例えば、複数の重点の各々を中心とした所定の辺長の矩形範囲を少なくとも含む範囲をトリミングしてよい。また、図７から１２に示す例のように、重点の範囲が指定されている場合には、その範囲を少なくとも含む範囲をトリミングしてよい。

以上説明した第１実施形態の端末装置３によれば、画像のトリミングの際における利用者が残したい領域の指定を直観的な操作で受け付けることが可能である。また、この領域の指定は、簡易的な操作（例えば１アクション）で完了することが可能である。そして、この指定された領域の情報に基づいて目的に応じたトリミングを行うことが可能となる。これにより、ユーザが残すことを希望した画像の重要な領域がカットされることを防ぐことができる。また、ユーザが写真を入稿するようなサービスにおいて、入稿時にトリミング範囲の形やサイズが決まっていない場合であっても、後のトリミングにおいて画像の重要な領域がカットされることを防ぐことができる。

＜２．第２実施形態＞
以下、第２実施形態について説明する。第１実施形態と比較して、第２実施形態の画像編集システム１は、端末装置が、ユーザの視線方向を検知することで画像における重点を推定する点が異なる。このため、構成などについては第１実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。また、画像編集装置５の処理については、第１実施形態と同様であるため、詳細な説明を省略する。

＜２−１．システム構成＞
図１６は、第２実施形態に係る端末装置３Ａの機能構成を示す機能ブロック図である。第１実施形態の端末装置３と比較して、端末装置３Ａは、ユーザの視線方向を検知することで画像における重点を推定する第１推定部２２をさらに備える。

第１推定部２２は、例えばカメラである撮像部１６を介して、ユーザの視線方向を検知し、画像における重点を推定する。第１推定部２２は、例えば、アイトラッキング技術を利用して、ユーザの目に赤外線を当てつつ撮像部１６によってユーザの眼球の動きを撮像することで、ユーザの視線方向を検知する。

＜２−２．端末装置の処理＞
以下において、第２実施形態に係る端末装置３Ａの処理について説明する。図１７は、第２実施形態に係る端末装置３Ａの処理の流れを示すフローチャートである。ここで、端末装置３Ａの記憶部２０には、処理対象とする画像Ｄが記憶されているものとする。

まず、画像処理部１８は、受付部１４を介して、ユーザから処理対象とする画像の選択指示を受け付ける（ステップＳ３０１）。

次に、画像処理部１８は、受付部１４を介して受け付けたユーザの選択指示に応じて、表示部１２に、選択された画像における領域指定情報の入力を受け付ける入力画面を表示させる（ステップＳ３０３）。

図１８は、第２実施形態に係る端末装置３Ａの表示部１２に表示された入力画面Ｐ２の一例を示す図である。図示するように、入力画面Ｐ２には、例えば、選択された画像ＰＴ１と、ユーザに重点を見るように促すメッセージＭＳ２とが表示されている。画像ＰＴ１には、人物Ｈと、店舗Ｓ（Ａ店）とが含まれている。

次に、第１推定部２２は、カメラである撮像部１６を介して、ユーザの視線方向を検知する（ステップＳ３０５）。

次に、第１推定部２２は、検知したユーザの視線方向に位置する画像上の点が重点であると推定し、この点を重点の候補Ｃとして表示部１２に表示させる（ステップＳ３０７）。なお、第１推定部２２は、推定した点を中心とした所定の範囲を重点の範囲の候補として表示部１２に表示させてもよい。

図１８に示す例では、画像ＰＴ１において、検知したユーザの視線方向に位置する店舗Ｓ（Ａ店）上の点Ｔ７が重点と推定されている。また、図１９に示す例では、この推定された点Ｔ７が重点の候補Ｃとして表示部１２に表示されている。

次に、受付部１４は、ユーザの操作に基づいて、領域指定情報の入力を受け付ける（ステップＳ３０９）。図１９に示す例において、ユーザは、重点の候補Ｃを重点として指定して問題無いと判断する場合には「ＯＫ」ボタンをタップし、重点の候補Ｃの修正が必要であると判断する場合には「修正する」ボタンをタップし、適宜修正指示を行う。

次に、受付部１４が領域指定情報の入力を受け付けた場合、画像処理部１８は、画像ＰＴ１に指定された重点の情報を付与し、領域指定済画像を生成する（ステップＳ３１１）。

次に、画像処理部１８は、生成した領域指定済画像を、通信部１０を介して、画像編集装置５に送信する（ステップＳ３１３）。以上により、本フローチャートの処理を終了する。

以上説明した第２実施形態の端末装置３Ａによれば、画像のトリミングの際における利用者が残したい領域の指定を直観的な操作で受け付けることが可能である。また、ユーザの視線方向を検知して重点の候補を自動的に生成してユーザに提示することで、ユーザは簡易的な操作で領域の指定を行うことができる。

＜３．第３実施形態＞
以下、第３実施形態について説明する。第１実施形態と比較して、第３実施形態の画像編集システム１は、端末装置が、画像の種類等を識別して重点を推定する点が異なる。このため、構成などについては第１実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。また、画像編集装置５の処理については、第１実施形態と同様であるため、詳細な説明を省略する。

＜３−１．システム構成＞
図２０は、第３実施形態に係る端末装置３Ｂの機能構成を示す機能ブロック図である。第１実施形態の端末装置３と比較して、端末装置３Ｂはユーザによって指定された画像の種類を識別することで画像における重点を推定する第２推定部２４をさらに備える。

第２推定部２４は、ニューラルネットワークなどを用いたディープラーニング技術を採用して、画像の種類と、重点との関係を学習したモデルＭを生成する。第２推定部２４は、このモデルＭを用いて、指定された画像の種類を識別し、重点となりうる領域を推定する。なお、第２推定部２４は、画像に関連付けされたカテゴリーの情報（トピックの情報）、画像の提供者の属性（セグメント）を示す情報（年代、性別、ユーザの識別情報等）が得られている場合には、これらの情報も画像に関連付けして学習してよい。すなわち、同じトピックに紐付けられた複数の写真から共通の特徴を抽出して重点としてよい。

＜３−２．端末装置の処理＞
以下において、第３実施形態に係る端末装置３Ｂの処理について説明する。図２１は、第３実施形態に係る端末装置３Ｂの処理の流れを示すフローチャートである。ここで、端末装置３Ｂの記憶部２０には、処理対象とする画像Ｄ、および画像の種類と重点との関係を学習することにより生成されたモデルＭが記憶されているものとする。

まず、端末装置３の画像処理部１８は、受付部１４を介して、ユーザから処理対象とする画像の選択指示を受け付ける（ステップＳ４０１）。

次に、第２推定部２４は、記憶部２０に記憶されたモデルＭを用いて、選択された画像の種類を判別して、判別した画像の種類に応じた重点を推定して、この点を重点の候補Ｃとして表示部１２に表示させる（ステップＳ４０３）。なお、第２推定部２４は、推定した点を中心とした所定の範囲を重点の範囲の候補として表示部１２に表示させてもよい。

図２２は、第３実施形態に係る端末装置３Ｂの表示部１２に表示された入力画面Ｐ３の一例を示す図である。図示するように、入力画面Ｐ３に表示された画像ＰＴ３には、人物Ｈと、自動車Ｖとが含まれている。この場合、第２推定部２４は、モデルＭを用いて、この自動車Ｖを含む画像ＰＴ３を、自動車を含む画像と識別する。

ここで、例えば、モデルＭにおいて自動車を含む画像では自動車が重点として指定される傾向があることが定義されている場合（第２推定部２４が、学習段階において、自動車を含む画像では自動車が重点として指定される傾向があることを学習している場合）、第２推定部２４は、この画像ＰＴ３の重点が自動車上の点と推定し、この点を重点の候補Ｃとして表示部１２に表示させる。なお、第２推定部２４は、推定した点を中心とした所定の範囲を重点の範囲の候補として表示部１２に表示させてもよい。

その他、例えば、選択された画像が花火大会の画像である場合には、第２推定部２４は、画像における花火上の点を重点の候補と決定してよい。また、例えば、選択された画像が擬人化されたキャラクターを含む画像である場合には、第２推定部２４は、画像におけるキャラクター上の点を重点の候補と決定してよい。また、例えば、選択された画像が魚と魚を釣り上げた人物を含む魚釣りの画像である場合には、第２推定部２４は、画像における魚と人物とを含む範囲を重点の範囲の候補と決定してよい。なお、ユーザが指定した画像のカテゴリーの情報や、ユーザの特性を示す情報が得られている場合には、第２推定部２４は、これらの情報も重点の候補の決定する際に使用してよい。

次に、受付部１４は、ユーザの操作に基づいて、領域指定情報の入力を受け付ける（ステップＳ４０５）。図２２に示す例において、ユーザは、重点の候補Ｃを重点として指定して問題無いと判断する場合には「ＯＫ」ボタンをタップし、重点の候補Ｃの修正が必要であると判断する場合には「修正する」ボタンをタップして、適宜修正指示を行う。

次に、受付部１４が領域指定情報の入力を受け付けた場合、画像処理部１８は、画像ＰＴ３に指定された重点の情報を付与し、領域指定済画像を生成する（ステップＳ４０７）。

次に、画像処理部１８は、生成した領域指定済画像を、通信部１０を介して、画像編集装置５に送信する（ステップＳ４０９）。以上により、本フローチャートの処理を終了する。

以上説明した第３実施形態の端末装置３Ｂによれば、画像のトリミングの際における利用者が残したい領域の指定を直観的な操作で受け付けることが可能である。また、画像の種類等を識別して重点の候補を自動的に生成してユーザに提示することで、ユーザは簡易的な操作で領域の指定を行うことができる。

＜４．第４実施形態＞
以下、第４実施形態について説明する。第１実施形態と比較して、第４実施形態の画像編集システム１は、端末装置が、画像の編集処理を行う点が異なる。このため、構成などについては第１実施形態で説明した図および関連する記載を援用し、詳細な説明を省略する。

＜４−１．システム構成＞
図２３は、第４実施形態に係る端末装置３Ｃの機能構成を示す機能ブロック図である。第１実施形態の端末装置３と比較して、端末装置３Ｃは領域指定済画像を編集する編集部２６をさらに備える。

編集部２６は、画像処理部１８によって生成された領域指定済画像を編集する。編集部２６は、領域指定済画像に含まれる領域指定情報に基づいて、領域指定済画像に対するトリミングなどを行う。

＜４−２．端末装置の処理＞
以下において、第４実施形態に係る端末装置３Ｃの処理について説明する。図２４は、第４実施形態に係る端末装置３Ｃの処理の流れを示すフローチャートである。ここで、端末装置３Ｃの記憶部２０には、処理対象とする画像Ｄが記憶されているものとする。

まず、端末装置３Ｃの画像処理部１８は、受付部１４を介して、ユーザから処理対象とする画像の選択指示を受け付ける（ステップＳ５０１）。

次に、画像処理部１８は、受付部１４を介して受け付けたユーザの選択指示に応じて、表示部１２に、選択された画像における領域指定情報の入力を受け付ける入力画面を表示させる（ステップＳ５０３）。

次に、受付部１４は、ユーザの操作に基づいて、領域指定情報の入力を受け付ける（ステップＳ５０５）。

次に、画像処理部１８は、画像に指定された重点の情報を付与し、領域指定済画像を生成する（ステップＳ５０７）。

次に、編集部２６は、領域指定済画像に含まれる領域指定情報に基づいて、トリミング範囲を決定する（ステップＳ５０９）。編集部２６は、例えば、ユーザによって指定された重点Ｔ１を中心として、所定の辺長の矩形範囲をトリミング範囲ＴＲとして決定する。

次に、編集部２６は、決定したトリミング範囲以外の領域をカットして、編集済画像ＥＤを生成する（ステップＳ５１１）。以上により、本フローチャートの処理を終了する。

以上説明した第４実施形態の端末装置３Ｃによれば、画像のトリミングの際における利用者が残したい領域の指定を直観的な操作で受け付けることが可能である。そして、端末装置３Ｃにおいて、目的に応じたトリミングを行うことが可能となる。このように生成された編集済画像は、端末装置３Ｃ内での処理に使用されてよい。編集済画像は、例えば、端末装置３Ｃの表示部１２に表示される各種アプリのアイコン用の画像等に使用されてよい。

以上説明したように、実施形態の画像処理装置は、画像を表示する表示部と、前記表示部に表示された画像において、前記画像のトリミングが行われる際に利用者が残したい領域を指定するための領域指定情報の入力を受け付ける受付部と、前記受付部によって受け付けられた領域指定情報を前記画像に付与する付与部と、を備える。これによって、実施形態の画像処理装置は、画像のトリミングの際における利用者が残したい領域の指定を直観的な操作で受け付けることが可能である。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何など限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１…情報編集システム
３、３Ａ、３Ｂ、３Ｃ…端末装置
５…画像編集装置
１０…通信部
１２…表示部
１４…受付部
１６…撮像部
１８…画像処理部
２０…記憶部
２２…第１推定部
２４…第２推定部
２６…編集部
３０…通信部
３２…編集部
３４…記憶部

Claims (21)

1. 複数の領域が含まれる画像を表示する表示部と、
   前記表示部に表示された画像において、前記画像のトリミングが行われる際に利用者が残したい領域を指定するための領域指定情報の入力を受け付ける受付部と、
   前記受付部によって受け付けられた領域指定情報を前記画像に付与する付与部と、
   を備え、
   前記受付部は、前記画像の少なくとも１つの点または範囲と、前記点または範囲の重要度とを指定する操作に基づいて、前記重要度に応じて前記領域を指定する領域指定情報の入力を受け付ける、
   画像処理装置。
2. 複数の領域が含まれる画像を表示する表示部と、
   前記表示部に表示された画像において、前記画像のトリミングが行われる際に利用者が残したい領域を指定するための領域指定情報の入力を受け付ける受付部と、
   前記受付部によって受け付けられた領域指定情報を前記画像に付与する付与部と、
   を備え、
   前記受付部は、前記画像の複数の点を指定する操作に基づいて、前記複数の点の各々を中心とする所定の辺長の矩形範囲を少なくとも含む範囲が含まれるように前記領域を指定する領域指定情報の入力を受け付ける、
   画像処理装置。
3. 前記受付部は、前記画像の少なくとも１つの点を指定する操作に基づいて、前記点が少なくとも前記領域に含まれるように前記領域を指定する領域指定情報の入力を受け付ける、
   請求項１に記載の画像処理装置。
4. 前記受付部は、前記画像の少なくとも１つの範囲を囲む操作に基づいて、囲まれた前記範囲が少なくとも前記領域に含まれるように前記領域を指定する領域指定情報の入力を受け付ける、
   請求項１または２に記載の画像処理装置。
5. 前記受付部は、前記画像の少なくとも１つの範囲を塗りつぶす操作に基づいて、塗りつぶされた前記範囲が少なくとも前記領域に含まれるように前記領域を指定する領域指定情報の入力を受け付ける、
   請求項１または２に記載の画像処理装置。
6. 前記受付部は、前記画像の１つの点をタッチしてスライドさせる操作に基づいて、スライドされた軌跡の両端を対角点とする矩形範囲が少なくとも前記領域に含まれるように前記領域を指定する領域指定情報の入力を受け付ける、
   請求項１または２に記載の画像処理装置。
7. 前記受付部は、前記画像の２つの点を指定する操作に基づいて、前記２つの点を対角点とする矩形範囲が少なくとも前記領域に含まれるように前記領域を指定する領域指定情報の入力を受け付ける、
   請求項１または２に記載の画像処理装置。
8. 前記画像における物体の輪郭を認識する認識部をさらに備え、
   前記受付部は、前記画像における物体上の点を指定する操作に基づいて、前記認識部によって認識された前記物体の輪郭の範囲が少なくとも前記領域に含まれるように前記領域を指定する領域指定情報の入力を受け付ける、
   請求項１または２に記載の画像処理装置。
9. 前記受付部は、前記画像における物体上の点を複数回指定する操作に基づいて、前記認識部によって認識された前記物体の輪郭の範囲が段階的に広げまたは狭められた領域指定情報の入力を受け付ける、
   請求項８に記載の画像処理装置。
10. 前記利用者の視線方向を検知する検知部と、
    前記検知部によって検知された視線方向に基づいて、前記利用者が残したい領域を推定する推定部と、
    をさらに備える、
    請求項１または２に記載の画像処理装置。
11. 前記画像の種類を識別し、前記識別した画像の種類に基づいて、前記利用者が残したい領域を推定する推定部をさらに備える、
    請求項１または２に記載の画像処理装置。
12. 前記領域指定情報に基づいて、前記画像における前記領域を少なくとも含む範囲をトリミングする編集部をさらに備える、
    請求項１から１１のいずれか一項に記載の画像処理装置。
13. 前記領域指定情報に基づいて、前記画像における前記点を中心とする所定の辺長の矩形範囲をトリミングする編集部をさらに備える、
    請求項３に記載の画像処理装置。
14. 前記領域指定情報に基づいて、前記画像における前記範囲を少なくとも含む所定範囲をトリミングする編集部をさらに備える、
    請求項１または２に記載の画像処理装置。
15. 請求項１〜１４のいずれか一項に記載の前記画像処理装置のより処理された前記領域指定情報が付与された前記画像を取得する取得部と、
    前記取得部によって取得された前記領域指定情報に基づいて、前記画像における前記領域を少なくとも含む範囲をトリミングする編集部と、
    を備える画像編集装置。
16. 前記編集部は、前記領域指定情報において指定された前記画像の少なくとも１つの点を中心とする所定の辺長の矩形範囲をトリミングする、
    請求項１５に記載の画像編集装置。
17. 前記編集部は、前記領域指定情報において指定された前記画像の複数の点の各々を中心とする所定の辺長の矩形範囲を少なくとも含む範囲をトリミングする、
    請求項１６に記載の画像編集装置。
18. 前記編集部は、前記領域指定情報において指定された前記画像の少なくとも１つの範囲を含む所定範囲をトリミングする、
    請求項１５に記載の画像編集装置。
19. コンピュータに、
    複数の領域が含まれる画像を表示させ、
    前記表示させた前記画像において、前記画像のトリミングが行われる際に利用者が残したい領域を指定するための領域指定情報の入力を受け付けさせ、
    前記受け付けさせた前記領域指定情報を前記画像に付与させ、
    前記画像の少なくとも１つの点または範囲と、前記点または範囲の重要度とを指定する操作に基づいて、前記重要度に応じて前記領域を指定する領域指定情報の入力を受け付けさせる、
    プログラム。
20. コンピュータに、
    複数の領域が含まれる画像を表示させ、
    前記表示させた前記画像において、前記画像のトリミングが行われる際に利用者が残したい領域を指定するための領域指定情報の入力を受け付けさせ、
    前記受け付けさせた前記領域指定情報を前記画像に付与させ、
    前記画像の複数の点を指定する操作に基づいて、前記複数の点の各々を中心とする所定の辺長の矩形範囲を少なくとも含む範囲が含まれるように前記領域を指定する領域指定情報の入力を受け付けさせる、
    プログラム。
21. コンピュータに、
    請求項１９または２０に記載のプログラムにより処理された前記領域指定情報が付与された前記画像と、前記画像のトリミングが行われる際に利用者が残したい領域を指定するための領域指定情報とを取得させ、
    前記取得させた前記領域指定情報に基づいて、前記画像における前記領域を少なくとも含む範囲をトリミングさせる、
    編集プログラム。

Images