JP5769516B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、マルチタッチ操作により、入力操作を行う画像処理に関する。

近年、表示画面と一体に構成したタッチパネルを操作入力部とし、画面上に表示したグラフィカルユーザーインターフェース（ＧＵＩ）部材をタッチ操作させる情報処理装置が普及している。特に、デジタルカメラや携帯電話等の小型の情報処理装置はハード操作部材を配置するエリアが限られるため、ＧＵＩ部材の表示切り替えによって多くの操作項目に対応できるタッチパネルが多く利用されている。
近年ではマルチタッチ操作可能な機器が増加し、特許文献１で提案されているようなタッチパネルを複数の指でタッチした状態での回転操作により、地図を回転させる操作がある。具体的には検出したユーザーによる回転操作の回転角度で地図を回転することで実現している。

特開２００８−１５８８４２号公報

一方、画像処理により所望の画像を得るためには、画像処理の内容を画面上で確認しながら、画像処理の種類の選択・処理量の調整を、所望の領域に対して一連の操作で簡便に行う必要がある。
しかしながら、従来技術では、画像処理の種類の選択と処理量の調整を一連の操作で行うことができないという課題があった。
本発明は上記課題を鑑みてなされたものであり、マルチタッチ操作により、画像処理の種類の選択と処理量の調整の操作性を向上させることを目的とする。

上記の目的を達成する、本発明の画像処理装置は、表示画面上の第一のタッチを含む２点のタッチを認識する認識手段と、前記認識した２点のタッチの距離に基づいて、画像処理の種類を選択する選択手段と、前記２点のタッチのうち、１点のタッチを回転の中心とし、もう一方のタッチの移動により得られる回転角度より、処理量を取得する取得手段と、前記表示画面上に表示されている画像の部分領域のうち、前記第一のタッチの位置が含まれる領域に対して、前記選択手段によって選択された種類の画像処理を、前記取得手段に取得された処理量で行う画像処理手段を有することを特徴とする。

本発明によれば、マルチタッチ操作により、画像処理の種類の選択と処理量の調整の操作性が向上する。

画像処理装置１００のブロック図。 変形例におけるＳ４０３の詳細フローチャート。 補助表示例を示す図。 ２点間距離と画像処理の種類の対応表。 画像処理装置１００におけるフローチャート。 回転操作の説明図。 なぞり操作で領域を分割する例の説明図。

＜実施形態１＞
以下、図面を参照して、本発明の実施形態を説明する。

図１は、本実施形態における画像処理装置１００のブロック図である。画像処理装置１００は、表示部１１、タッチパネル部１２、表示制御部１３、保持部１４、算出部１５、操作認識部１６、画像処理部１７有する。

表示制御部１３は、画像処理部１７で画像処理が行われた画像や、保持部１４で保持している画像を、表示部１１へ表示制御を行う。操作認識部１６は、タッチパネル部１２上で操作されたタッチや回転操作などの認識を行う。算出部１５は、操作認識部１６で認識した第一のタッチと第二のタッチとの間の距離の算出を行う。ここで、操作認識部１６が、最初にタッチを検出した点を、第一のタッチ点とし、２番目にタッチを検出した点を、第二のタッチ点とする。また、算出部１５は、操作認識部１６で認識した回転操作の回転角度を算出する。画像処理部１７は、表示部１１に表示された画像を領域ごとに分割したり、距離に基づいて画像処理の種類を特定したり、回転操作の角度に基づいて画像処理を行ったりする。保持部１４は、画像や、後述する対応表などを保持している。

本実施形態では、表示部１１とタッチパネル部１２は、タッチパネルディスプレイとして一体に構成される。また、タッチパネル部１２は、マルチタッチが可能なパネルであるとする。

図５は、画像処理装置１００におけるフローチャートである。

ステップＳ５０２において、表示制御部１３は、保持部１４より画像データを読み出し、表示部１１上に表示する。ステップＳ５０３において、操作認識部１６が、ユーザーによる第一のタッチを認識する。ステップＳ５０４において、画像処理部１７が、表示画面上に表示されている画像データを２以上の領域に分割する。ステップＳ５０５において、画像処理部１７は、ステップＳ５０４で分割された領域のうち、第一のタッチ点が含まれる領域を、画像処理を実施する領域として設定する。ステップＳ５０６において、表示制御部１３がユーザーによる第一のタッチが含まれる領域と含まれない領域をユーザーが識別可能となるように表示制御を行う。ステップＳ５０７において、操作認識部１６が、ユーザーによる第二のタッチを認識する。このとき、ユーザーによる第一のタッチがなされたままの状態で、第二のタッチがなされた場合に、第二のタッチが認識されたとする。

ステップＳ５０８において、算出部１５が、第一のタッチ点と第二のタッチ点との距離を算出する。ステップＳ５０９において、画像処理部１７は、２点間距離と後述する対応表に基づき、画像処理の種類を選択する。

図４は、２点間距離と選択する画像処理の種類の対応表である。本実施形態では、画像処理の種類として、色調調整で扱う色成分を例として、説明する。また、２点間距離とは、第一のタッチの点Ａと第二のタッチの点Ｂとの距離である。図４の対応表により、画像処理部１７は、２点間距離ＡＢが０＜ＡＢ≦３ｃｍのときは青色成分（Ｂ）、３＜ＡＢ≦６ｃｍのときは緑色成分（Ｇ）、６ｃｍ＜ＡＢのときは赤色成分（Ｒ）を画像処理の種類として選択する。２点間距離の小さい方から青色成分（Ｂ）、緑色成分（Ｇ）、赤色成分（Ｒ）が割りあてられており、可視光線の波長域が短い方から青色成分（Ｂ）、緑色成分（Ｇ）、赤色成分（Ｒ）という順序と一致している。そのため、ユーザーは赤色成分（Ｒ）の色調調整を行う場合は、２点間距離を大きくすれば良いと類推しやすく、直感的に機能を使い分けることが可能である。

ステップＳ５１０において、操作認識部１６が、ユーザーによる回転操作を認識する。回転操作を認識した場合は、ステップＳ５１１において、算出部１５が、回転操作の回転角度を算出して、取得する。回転角度とは、２点のタッチのうち、１点のタッチを回転の中心とし、もう一方のタッチの移動により得られる角度である。

ステップＳ５１２において、画像処理部１７は、回転角度から、画像処理の処理量を求め、ステップＳ５０９で選択した画像処理を、実行する。このとき、ステップＳ５０５で設定された領域に対して、求めた処理量、画像処理を行う。ここで、画像処理を実行する際の処理量は、「回転角度×１度あたりの処理量」で求める。また、右回りへの回転の場合は、プラスに画像処理を施し、左回りへの回転の場合は、マイナスに画像処理を施す。尚、１度あたりの処理量は、保持部１４に保持されている。

ステップＳ５１３において、表示制御部１３は、画像処理実施後の画像を表示部１１上に表示する。ステップＳ５１４において、画像処理部１７は、ユーザーによる第一のタッチ、第二のタッチが略同時に解消されてから一定時間経過するなどの所定の終了条件を充足するか判定する。終了条件を充足すると判定された場合は、ステップＳ５１５において、画像処理部１７は、画像処理実施後の画像を保持部１４に記憶し、フローを終了する。

図６は、回転操作の説明図である。ここでは、第一のタッチ点を、親指でタッチされる点とし、第二のタッチ点を、人差し指でタッチされる点とする例を説明する。

図６（ａ）は、表示部１１の画面上に画像６００１が表示された状態を示す。図６（ｂ）は、ユーザーが画像６００１のオブジェクト６００２に、親指６０１２でタッチする様子を示す。親指６０１２とタッチパネル部１２との接触点を点Ａとする。図６（ｂ）において、操作認識部１６が、ユーザーの親指６０１２によるタッチパネル１２上の第一のタッチを認識すると、画像処理部１７が画面上に表示されている画像６００１を領域６０２１と領域６０２２に分割する。

本実施形態において、画像処理部１７は、画素値の変化を分析することにより境界を検出し、画像を２以上の領域に分割する。撮像装置により撮影された写真画像の場合、主被写体は合焦しているため、他の領域より細部が明細となり、輝度周波数の高周波成分が分布する。一方、主被写体以外の部分はレンズ特性により、ぼかされて撮影されるため、高周波成分が存在しないことになる。また、主被写体と背景などを隔てる境界線は、一般に、隣接する画素間の輝度または彩度若しくは色調が、所定の値を超えて変化することに構成される。そこで、境界線で分割された部分ごとに輝度周波数の分布を測定し、高周波成分がまとまっている部分を他の部分より分割すれば、その部分を主被写体領域として分割することが可能である。

図６（ｃ）は、第一のタッチ点を含まない領域６０２２にハッチングを施す例である。これにより、画像が領域分割されている状態であることをユーザーが識別可能とするだけでなく、どの領域が選択されているかを示すことができる。

図６（ｄ）は、ユーザーが親指６０１２をタッチしたまま、人差し指６０１３をタッチする様子を示す。人差し指６０１３とタッチパネル部１２の接触点を点Ｂとする。親指６０１２による第一のタッチが継続されたまま、人差し指６０１３による第二のタッチを操作認識部１６が認識すると、算出部１５は点Ａと点Ｂを結ぶ線分ＡＢの距離を算出する。画像処理部１７は、この線分ＡＢの距離に応じて、選択された領域６０２１に対して行う画像処理の種類を選択する。

図６（ｄ）において、２点間距離である線分ＡＢの距離が４．５ｃｍである場合は、対応表に基づいて、画像処理部１７は色調調整で扱う色成分（画像処理の種類）を緑色成分（Ｇ）と選択する。

図６（ｅ）は、ユーザーが点Ａを中心とした回転操作を行った図である。回転操作後、２本指での回転操作の回転角度に応じて色調調整が行われる。ここでは、回転操作は、親指６０１２（第一のタッチ）を中心に、人差し指６０１３（第二のタッチ）で円弧を描くように操作を行う場合を例に説明する。

図６（ｆ）は、回転角度を説明する図である。操作認識部１６がユーザーによる２本指での回転操作を認識すると、算出部１５は回転角度を算出する。回転操作の終点の人差し指６０１３のタッチ位置を点Ｂ’とすると、回転操作の回転角度は∠ＢＡＢ’として算出される。本実施形態では、右回転は対象パラメータの増加、左回転は対象パラメータの減少に相当する入力操作として操作認識部１６は認識する。

画像６００１は、２５６階調のＲＧＢ値で表される色成分データを有するため、各色成分の値を増加・減少することで色調を調整することが可能である。

本実施形態では、選択する画像処理の種類として、色調調整の色成分を例に説明したが、これに限定されない。画像処理の種類としては、明るさ、コントラスト、彩度、グラデーション、ダイナミックレンジ、ぼかし量などの調整にも適用することができる。また、画像処理の種類は、画像データの数値を忠実に調整するものに限定されず、フィルター効果等の調整にも適用することができる。フィルター効果とは、画像に特殊な効果を加える機能であり、例えば、トイカメラ風、ジオラマ風といった画像を特殊レンズや画像加工ソフトでの複雑な作業を要さずに得られるものである。

以上に説明したとおり、第一のタッチで画像処理を行う領域を指定し、第二のタッチの第一のタッチとの間隔を変化させることで、画像処理の種類を選択し、回転操作の回転角度で処理量をコントロールすることが可能となる。
画像処理装置１００は、２点間距離による画像処理種類の選択、回転操作の回転角度によるパラメータ調整の操作の際に、補助表示を行うことが可能である。図３は、画像処理装置１００が表示する補助表示例を示す図である。

図３（ａ）は、２点間距離により画像処理種類の選択を行う際に表示する補助表示である。図３において、親指９０１２、人差し指９０１３の２点のタッチを操作認識部１６が認識すると、算出部１５が算出する線分ＡＢの距離情報に基づき、表示制御部１３が線分ＡＢに沿って補助表示９０３１を表示するよう制御する。図３においては、線分ＡＢが７ｃｍであり、図４の対応表によれば、選択される画像処理の内容は赤色成分（Ｒ）であるため、補助表示９０３１の該当する部分が反転表示されている。ユーザーは補助表示を見ることで、現在どの画像処理の種類が選択されているかだけでなく、どれくらい指の間隔を変化させると、他の画像処理の種類に選択を変更できるかを知ることができる。

図３（ｂ）は、回転操作の回転角度によるパラメータ調整の操作の際に表示する補助表示である。図３（ａ）の状態から、操作認識部１６が２点での回転操作を認識すると、算出部１５が算出した線分ＡＢの距離情報に基づき、表示制御部１３が線分ＡＢを直径とする円形の補助表示９０３２を表示するよう制御する。補助表示９０３２の表示については、回転操作によって調整される画像処理の種類に応じて変更するものとする。本実施形態では画像処理の種類として色調調整を例に説明を行っており、回転操作により色成分の数値の増減が調整される。補助表示９０３２のうち、回転操作の起点である点Ｂ近傍に現在の数値９１０１を表示する。さらに、左回転の操作を行うと数値を減少させる操作であることを示す数値９１０２、右回転の操作を行うと数値を増加させる操作であることを示す数値９１０３も表示する。これらの補助表示によって、ユーザーは操作方法を直感的に理解しやすい。扱う画像処理の種類によっては、回転操作の起点の近傍に現在の設定を表示し、その左右に操作によって調整される値を表示するように変更することも可能である。

このように、ユーザーが行わなければならない操作方法を類推しやすい補助表示を行うことで、画像処理装置の操作方法をより直感的に行う事が可能となる。

＜変形例＞
実施形態１では、画像中の領域分割を境界検出により行ったが、ユーザーの任意操作によって指定することも可能である。例えば、ユーザーがタッチパネル１２上で被写体の縁を囲むようになぞり操作した軌跡を操作認識部１６が認識し、画像処理部１７が該軌跡の内側と外側の領域に画像を分割するよう制御することができる。ここで、なぞり操作とは、タッチしながら、タッチしている点を動かす操作である。

図７は、なぞり操作で領域を分割する例の説明図である。画像７００１のうち、オブジェクト７００２の外周を境に領域を分割する場合、図７（ａ）のように、ユーザーは人差し指７０１３でオブジェクト７００２の外周をなぞり操作により領域を指定する。図７（ｂ）のように、軌跡が閉じた図形として認識されると、画像処理部１７は軌跡７０３１を境界とし、軌跡の内側と外側の領域に分割を行う。閉じた図形の認識には、なぞり操作の起点と終点が一致する、タッチ点が軌跡と交差する等、各種条件を設定することができる。また、閉じた図形の認識に、表示画面の枠を用いてもよい。

図７（ｃ）は、なぞり操作により分割した領域に対し、第一のタッチ点Ａを選択した際の図である。図７（ｃ）は、図６（ｃ）と同様、選択されなかった領域に、ハッチング処理を行っている。

図２は、なぞり操作により分割する領域を決定する際のＳ５０４の詳細フローチャートである。

Ｓ８０１において、操作認識部１６が、画像７００１を表示中にユーザーのなぞり操作を検出すると、操作認識部１６は軌跡を記憶する。Ｓ８０２において、操作認識部１６は該軌跡が閉じた図形であるかを判定する。該軌跡が閉じた図形と判定された場合はＳ８０３において、画像処理部１７が該軌跡を境界とした領域の分割を行う。Ｓ８０３において閉じた図形でないと判定された場合は、Ｓ８０４において操作認識部１６が、なぞり操作の始点と終点を結ぶ線分と軌跡７０３１で構成される線を領域分割の境界と認識する。

図７（ｄ）は、被写体が画像中に収まっておらず、ユーザーが点Ｃを始点、点Ｄを終点とする軌跡７０３２を描いた場合の例である。閉じた図形の認識に、表示画面の枠も用いた場合は、軌跡７０３２と線分ＣＤで構成される線を領域分割の境界と認識することができる。

このように、ユーザーの任意操作により分割する領域を指定することで、境界検出で領域分割を行うことが難しい画像や、特定の領域のみに画像処理を行いたい場合などに対応することが可能となる。

以上説明したように、本実施形態は、画像処理の内容を確認しながら、画像処理の種類の選択と処理量の調整を所望の領域に対して一連の操作で簡便に行うことができる。

なお、上述した実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に提供してもよい。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

Claims (8)

1. 表示画面上の第一のタッチを含む２点のタッチを認識する認識手段と、
   前記認識した２点のタッチの距離に基づいて、画像処理の種類を選択する選択手段と、
   前記２点のタッチのうち、１点のタッチを回転の中心とし、もう一方のタッチの移動により得られる回転角度より、処理量を取得する取得手段と、
   前記表示画面上に表示されている画像の部分領域のうち、前記第一のタッチの位置が含まれる領域に対して、前記選択手段によって選択された種類の画像処理を、前記取得手段に取得された処理量で行う画像処理手段を有することを特徴とする画像処理装置。
2. 前記２点のタッチのうち、最初にタッチされたタッチを前記第一のタッチとし、
   前記画像処理手段は、表示画面上に表示されている画像を、複数の領域に分割し、前記複数の領域のうち、前記第一のタッチが含まれる領域に対して、画像処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. さらに、表示画面上に、前記画像処理の種類に関する情報を表示する表示制御手段を有することを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記表示制御手段は、さらに、前記処理量に関する情報を表示することを特徴とする請求項３に記載の画像処理装置。
5. 認識手段が、表示画面上の、第一のタッチを含む２点のタッチを認識する認識工程と、
   選択手段が、前記認識した２点のタッチの距離に基づいて、画像処理の種類を選択する選択工程と、
   取得手段が、前記２点のタッチのうち、１点のタッチを回転の中心とし、もう一方のタッチの移動により得られる回転角度より、処理量を取得する取得工程と、
   画像処理手段が、前記表示画面上に表示されている画像の部分領域のうち、前記第一のタッチの位置が含まれる領域に対して、前記選択手段によって選択された種類の画像処理を、前記取得手段に取得された処理量で行う画像処理工程を有することを特徴とする画像処理装置の制御方法。
6. 前記２点のタッチのうち、最初にタッチされたタッチを前記第一のタッチとし、
   前記画像処理工程は、表示画面上に表示されている画像を、複数の領域に分割し、前記複数の領域のうち、前記第一のタッチが含まれる領域に対して、画像処理を行うことを特徴とする請求項５に記載の画像処理装置の制御方法。
7. コンピュータに読み込ませ実行させることで、前記コンピュータを、請求項５又は請求項６に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
8. 請求項７に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。

Images