JP6243112B2 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
JP6243112B2
JP6243112B2 JP2012258409A JP2012258409A JP6243112B2 JP 6243112 B2 JP6243112 B2 JP 6243112B2 JP 2012258409 A JP2012258409 A JP 2012258409A JP 2012258409 A JP2012258409 A JP 2012258409A JP 6243112 B2 JP6243112 B2 JP 6243112B2
Authority
JP
Japan
Prior art keywords
image
captured image
processing apparatus
degree
visualization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012258409A
Other languages
English (en)
Other versions
JP2013140568A (ja
Inventor
脩 繁田
脩 繁田
直毅 斎藤
直毅 斎藤
山本　一幸
一幸 山本
泰史 奥村
泰史 奥村
嘉人 大木
嘉人 大木
池田　卓郎
卓郎 池田
憲一 岡田
憲一 岡田
淳己 大村
淳己 大村
道成 河野
道成 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012258409A priority Critical patent/JP6243112B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP12856323.6A priority patent/EP2790086B1/en
Priority to CN201280058983.3A priority patent/CN103959204B/zh
Priority to BR112014013356A priority patent/BR112014013356A2/pt
Priority to KR1020147013731A priority patent/KR20140107206A/ko
Priority to RU2014122322/08A priority patent/RU2014122322A/ru
Priority to US14/362,273 priority patent/US10564827B2/en
Priority to PCT/JP2012/081103 priority patent/WO2013084821A1/ja
Priority to TW101145274A priority patent/TW201337644A/zh
Publication of JP2013140568A publication Critical patent/JP2013140568A/ja
Application granted granted Critical
Publication of JP6243112B2 publication Critical patent/JP6243112B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本開示は、情報処理装置、情報処理方法、および記録媒体に関する。
近年、電子機器などの装置の高機能化や多機能化がますます進んでおり、ユーザが装置を使用するために当該装置に対して与えなければならない指示の内容は、より多様化、複雑化している。このような中、多くの装置ではユーザインタフェースとしてＧＵＩ（Graphical User Interface）が採用されており、ユーザは、ＣＵＩ（Character User Interface）が採用されている装置を用いる場合よりも、より容易に装置に指示を与えることが可能となっている。しかしながら、例えば、マウスなどのポインティングデバイスを用いた操作に慣れていないユーザにとっては、ポインティングデバイスを用いて操作が行われるＧＵＩは必ずしも操作性のよいユーザインタフェースではない。
このような中、操作性を向上させるためのユーザインタフェースに係る技術が開発されている。撮像画像と、所定のイベントに関連付けられたオブジェクトに係るオブジェクト画像とを合成した画像を表示画面に表示させる技術としては、例えば、特許文献１に記載の技術が挙げられる。
特開２００５−２１６０６１号公報
例えば特許文献１に記載の技術を用いる場合のように、撮像画像（または、撮像した画像に基づく鏡面画像。以下、同様とする。）と、所定のイベントに関連付けられたオブジェクトに係るオブジェクト画像とを合成した画像を表示画面に表示させることによって、ユーザに対して自己のジェスチャ動作をフィードバックすることが可能となる。
また、例えば特許文献１に記載の技術が適用された装置を用いるユーザは、ジェスチャ動作によりオブジェクトを操作することによって、当該オブジェクトに関連付けれられた所定のイベントに係る処理を、当該装置に行わせることができる。ここで、例えば特許文献１に記載の技術では、撮像画像から検出されるユーザの位置に応じてオブジェクト画像を合成する位置を変える。よって、例えば特許文献１に記載の技術を用いることによって、例えばユーザがオブジェクトに対する操作が困難となるなどの問題が生じる恐れを低減することができる可能性はある。
しかしながら、例えば特許文献１に記載の技術は、撮像画から検出されるユーザの位置に応じてオブジェクト画像を合成する位置を変えるものである。よって、例えばＷｅｂページのように、ボタンやアイコンなどのユーザによる操作可能な、操作の対象となるオブジェクト（以下、「操作対象オブジェクト」と示す。）を含む操作対象画像と、撮像画像とを合成する場合において、例えば特許文献１に記載の技術を適用することは、困難である。
ここで、ユーザにジェスチャ認識をフィードバックするための撮像画像と、操作対象画像とを表示画面に表示する方法としては、例えば、撮像画像と操作対象画像とを合成して表示画面に表示させる方法や、撮像画像および操作対象画像のそれぞれを、表示画面を分割した各領域に別画像として表示する方法が考えられる。
しかしながら、単に撮像画像と操作対象画像とを合成して表示画面に表示させる方法を用いる場合には、例えば、操作対象画像に含まれている操作対象オブジェクト上に撮像画像の内容が重畳されることによって、操作対象オブジェクトの視認性が低下する恐れがある。また、撮像画像および操作対象画像のそれぞれを、表示画面を分割した各領域に別画像として表示する方法を用いる場合には、例えば、操作対象画像が表示される領域のサイズや面積が、表示画面全体よりも小さくなることによって、操作対象画像に含まれている操作対象オブジェクトの視認性が低下する恐れがある。
本開示では、操作対象オブジェクトの視認性の低下を防止しつつ、撮像画像と操作対象画像とを表示画面に表示させることが可能な、新規かつ改良された情報処理装置、情報処理方法、および記録媒体を提案する。
本開示によれば、ユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像との合成を制御する処理部を備え、上記合成された画像では、上記撮像画像の可視化の程度は変えられてみえる、情報処理装置が提供される。
また、本開示によれば、ユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像とを合成するステップを有し、上記合成された画像では、上記撮像画像の可視化の程度は変えられてみえる、情報処理方法が提供される。
また、本開示によれば、コンピュータにユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像とを合成するステップを実行させ、上記合成された画像では、上記撮像画像の可視化の程度は変えられてみえる、プログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
また、本開示によれば、ユーザにジェスチャ認識をフィードバックするための撮像画像、または、ジェスチャ認識の結果に応じて操作される操作対象画像に基づいて、表示画面に表示される上記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と上記操作対象画像とを合成する画像処理部と、合成された画像を表示画面に表示させる表示制御部と、を備える、画像処理装置が提供される。
また、本開示によれば、ユーザにジェスチャ認識をフィードバックするための撮像画像、または、ジェスチャ認識の結果に応じて操作される操作対象画像に基づいて、表示画面に表示される上記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と上記操作対象画像とを合成するステップと、合成された画像を表示画面に表示させるステップと、を有する、画像処理方法が提供される。
本開示によれば、操作対象オブジェクトの視認性の低下を防止しつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置における、撮像画像からユーザを含む領域を切り出す処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる操作パネルの一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理装置における、図７に示すような合成された画像の表示を実現する処理の一例を説明するための説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る操作対象オブジェクトの一例を示す説明図である。 本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。 本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。 本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理方法（情報処理方法）
２．本実施形態に係る画像処理装置（情報処理装置）
３．本実施形態に係るプログラム
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置（情報処理装置。以下、同様とする。）の構成について説明する前に、本実施形態に係る画像処理方法（情報処理方法。以下、同様とする。）について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
［１］本実施形態に係る画像処理方法の概要
上述したように、単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合には、操作対象画像に含まれている操作対象オブジェクトの視認性が低下する恐れがある。また、撮像画像および操作対象画像のそれぞれを、表示画面を分割した各領域に別画像として表示させる場合にも、操作対象画像に含まれている操作対象オブジェクトの視認性が低下する恐れがある。
そこで、本実施形態に係る画像処理装置は、撮像画像、または、操作対象オブジェクトを含む操作対象画像に基づいて、表示画面に表示される撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と操作対象画像とを合成する（合成処理）。そして、本実施形態に係る画像処理装置は、合成された画像を表示画面に表示させる（表示制御処理）。
ここで、本実施形態に係る撮像画像とは、例えば、外部の撮像装置、または、本実施形態に係る画像処理装置が撮像部（後述する）を備える場合には当該撮像部（後述する）によって撮像された画像に対して、鏡像処理（左右反転処理）が施された画像である。本実施形態に係る撮像画像は、ユーザにジェスチャ認識をフィードバックする役目を果たす。撮像画像が合成された画像が、表示画面に表示されることによって、ユーザは、例えば、自己の手をスライドさせる、自己の手を用いて押す操作を行う、複数本の指で拡大操作、縮小操作、移動操作を行うなど、自己のジェスチャの内容を視覚的に確認することができる。ここで、鏡像処理は、本実施形態に係る画像処理装置が行ってもよいし、または、撮像を行った撮像装置などの外部装置において行われてもよい。また、本実施形態に係る撮像画像としては、例えば、動画像（または、複数の静止画像）が挙げられる。以下では、本実施形態に係る撮像画像が、複数のフレーム画像からなる動画像である場合を例に挙げて説明する。
なお、本実施形態に係る撮像画像は、鏡像処理（左右反転処理）が施された画像に限られない。例えば、撮像装置や撮像部（後述する）において鏡像が撮像される場合には、本実施形態に係る撮像画像は、撮像された画像そのものであってもよい。
また、本実施形態に係る操作対象画像とは、例えば、ジェスチャ認識の結果に応じて操作される操作対象オブジェクトを含む画像である。ここで、本実施形態に係る操作対象画像としては、例えば、Ｗｅｂページや、各機器のメニュー画面、操作画面を示す画像が挙げられる。また、本実施形態に係る操作対象オブジェクトとしては、例えば、ボタンや、アイコン、ハイパーリンクなどのリンクなどが挙げられる。なお、ジェスチャ認識に係る処理は、本実施形態に係る画像処理装置が行ってもよいし、本実施形態に係る画像処理装置の外部装置が行ってもよい。
また、本実施形態に係る表示画面としては、例えば、外部の表示装置における表示画面、または、本実施形態に係る画像処理装置が表示部（後述する）を備える場合には、当該表示部（後述する）における表示画面が挙げられる。
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、（１）合成処理、および（２）表示制御処理を行う。以下、本実施形態に係る画像処理方法に係る処理についてより具体的に説明する。
（１）合成処理
本実施形態に係る画像処理装置は、撮像画像、または、操作対象画像に基づいて、表示画面に表示される撮像画像の可視化の程度を変化させる。そして、本実施形態に係る画像処理装置は、可視化の程度を変化させた撮像画像と操作対象画像とを合成する。
ここで、本実施形態に係る撮像画像の可視化の程度の変化とは、例えば、撮像画像を部分的に可視化させる部分的範囲を変化させることや、撮像画像を平滑化する平滑化の度合いを変化させることなどが挙げられる。また、本実施形態に係る撮像画像の部分的な可視化としては、例えば、撮像画像を透過させる度合いを変化させること、または、撮像画像が表示される面積を変化させることが挙げられる。本実施形態に係る撮像画像の可視化の程度の変化の具体例については、後述する。
（１−１）部分的範囲の変化に係る処理の第１の例
本実施形態に係る画像処理装置は、例えば、撮像画像から認識される所定の対象に基づいて、部分的範囲を決定する。そして、本実施形態に係る画像処理装置は、決定された部分的範囲に基づいて、例えば撮像画像を透過させる度合いを変化させることによって、撮像画像を部分的に可視化する。
ここで、本実施形態に係る所定の対象としては、例えば、ユーザの顔や、ユーザの手などのオブジェクトが挙げられる。本実施形態に係る画像処理装置は、例えば、ユーザの目、鼻、口、骨格などの特徴点の検出や、顔の輝度分布および構造パターンと類似した領域を、撮像画像から検出することによって、ユーザの顔を含む顔領域を認識する。また、本実施形態に係る画像処理装置は、例えば、エッジ検出やパターンマッチングなどの様々な画像処理を撮像画像に対して行うことによって、撮像画像からユーザの手などの認識対象のオブジェクトを認識する。
なお、本実施形態に係る画像処理装置における所定の対象の認識処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像から所定の対象として動体を認識し、認識された動体を含む領域を、部分的範囲として決定してもよい。ここで、本実施形態に係る画像処理装置は、例えば、現フレームに対応する画像と前フレームに対応する画像とにおける差分の検出や、動きベクトルの変化の検出を行うことによって、動体を検出するが、動体の検出方法は、上記に限られない。
以下、本実施形態に係る部分的範囲の変化に係る処理の一例について、より具体的に説明する。
［Ａ］第１の例：所定の対象として顔を認識する場合
所定の対象として顔を認識する場合には、本実施形態に係る画像処理装置は、撮像画像から顔を認識し、認識された顔以外の部分を、部分的範囲として決定する。
図１Ａ、図１Ｂ、図２Ａ、図２Ｂは、本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。ここで、図１Ａは、図１Ｂに示す実例の概念図であり、また、図２Ａは、図２Ｂに示す実例の概念図である。また、図１Ａ、図１Ｂ、図２Ａ、図２Ｂは、本実施形態に係る画像処理装置が、撮像画像から認識された顔以外の部分を、部分的範囲として決定した場合における画像の一例を示している。
本実施形態に係る画像処理装置は、例えば、認識された顔領域から半透明のグラデーションをかける処理を行うことによって、認識された顔以外の部分の可視化を実現する。ここで、本実施形態に係る画像処理装置は、例えば、半透明のグラデーションをかける際の透過度を、撮像画像の背景部分（例えば認識された顔領域以外の部分）に応じて動的に変えてもよい。
本実施形態に係る画像処理装置は、例えば、撮像画像の背景部分における空間周波数や色合いを検出し、検出結果に応じて動的に透過度を変える。本実施形態に係る画像処理装置は、例えば、検出された空間周波数が高い程（複雑な画像である程）、透過度を低くし、また、検出された色合いが濃い程、透過度を低くする。例えば上記のように、検出された空間周波数が高い程、透過度を低くし、また、検出された色合いが濃い程、透過度を低くすることによって、本実施形態に係る画像処理装置は、操作対象画像に含まれている操作対象オブジェクトの視認性の低下を防止することができる。
なお、本実施形態に係る画像処理装置における透過度を動的に変更する処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、操作対象画像（または、ＨＴＭＬデータやＸＭＬデータなど、操作対象画像を構成するデータ）から操作対象オブジェクトの位置を特定し、特定された位置を含む領域上の透過度を低くしてもよい。つまり、本実施形態に係る画像処理装置は、操作対象画像に含まれる操作対象オブジェクトに基づいて、撮像画像を部分的に可視化させる部分的範囲を決定することによって、当該部分的範囲を変化させることも可能である。
ここで、本実施形態に係る画像処理装置は、操作対象画像に含まれる操作対象オブジェクトに基づき部分的範囲を変化させる処理と、撮像画像から認識される所定の対象に基づき部分的範囲を変化させる処理とのいずれか一方の処理を排他的に行ってもよいし、双方の処理を行ってもよい。また、本実施形態に係る画像処理装置は、上記双方の処理を行う場合には、例えば、操作対象画像に含まれる操作対象オブジェクトに基づき部分的範囲を変化させる処理の優先度をより高く設定するなど、各処理に優先度を設定してもよい。
例えば上記のように、操作対象オブジェクトの位置に基づき透過度を動的に変化させることによって、本実施形態に係る画像処理装置は、操作対象画像に含まれている操作対象オブジェクトの視認性の低下を防止することができる。
本実施形態に係る画像処理装置は、例えば、撮像画像全体を部分的範囲を決定する対象の領域とするが、本実施形態に係る部分的範囲を決定する対象の領域は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像からユーザを認識し、撮像画像における認識されたユーザを含む一部の領域を、撮像画像から切り出す（または、クロッピングする。以下、同様とする。）。そして、本実施形態に係る画像処理装置は、例えば、切り出された領域を、部分的範囲を決定する対象の領域としてもよい。
より具体的には、本実施形態に係る画像処理装置は、例えば、撮像画像から顔領域を検出する。そして、本実施形態に係る画像処理装置は、例えば、顔領域のサイズとユーザを含む領域（切り出す領域）のサイズとが対応付けられたルックアップテーブルを参照して、検出された顔領域のサイズに対応する所定のサイズの領域を、顔が検出されたユーザを含む領域として決定する。なお、本実施形態に係るユーザを含む領域の決定方法は、上記に限られない。例えば、本実施形態に係る画像処理装置は、顔領域の検出結果と、エッジ検出処理の結果とに基づいて、ユーザを含む最小限の領域を、ユーザを含む領域として決定することも可能である。
図３は、本実施形態に係る画像処理装置における、撮像画像からユーザを含む領域を切り出す処理の一例を説明するための説明図である。図３に示すＡは、撮像画像全体を示しており、図３に示すＢは、図３のＡに示す部分的範囲を決定する対象の領域ＡＲを、切り出してスケーリングした領域ＡＲ’を示している。
例えば図３に示すように、本実施形態に係る画像処理装置は、撮像画像から切り出した部分的範囲を決定する対象の領域をスケーリングするなど、切り出しに加えて更なる処理を行うことも可能である。なお、本実施形態に係る画像処理装置が、撮像画像から切り出した部分的範囲を決定する対象の領域に対して、スケーリングなどの更なる処理を行わなくてもよいことは、言うまでもない。
また、本実施形態に係る画像処理装置は、例えば、図３のＢに示す領域ＡＲ’（撮像画像から切り出した領域に基づく領域の一例）と操作対象画像とを合成する場合には、例えば、領域ＡＲ’を操作対象画像の水平方向における中央部分に合成するなど、合成する位置の補正を行ってもよい。
なお、図１Ａ〜図３では、撮像画像に１人のユーザが含まれている場合を示しているが、本実施形態に係る撮像画像には、複数人のユーザが含まれていてもよい。本実施形態に係る画像処理装置は、複数のユーザを撮像画像から認識した場合には、認識されたユーザごとに、認識されたユーザを含む一部の領域を撮像画像から切り出す。そして、本実施形態に係る画像処理装置は、切り出された各領域（または、各領域に対してスケーリングなどの更なる処理が行われた領域）を、認識された各ユーザに対応する部分的範囲を決定する対象の領域とする。また、複数のユーザを撮像画像から認識した場合においても、本実施形態に係る画像処理装置は、上記切り出された各領域を操作対象画像に合成する位置を補正することが可能である。
また、複数のユーザが撮像画像から認識された場合、本実施形態に係る画像処理装置または外部装置が行うジェスチャ認識に係る処理は、例えば、認識されたユーザごとに独立に行われてもよいし、複数のユーザの操作により協調して行われてもよいし、排他的に行われてもよい。また、複数のユーザが撮像画像から認識された場合、本実施形態に係る画像処理装置または外部装置が行うジェスチャ認識に係る処理は、例えば、各ユーザに設定される優先度に応じて行われてもよい。ここで、上記優先度の設定方法としては、例えば、最初に認識されたユーザや、最後に認識されたユーザ、認識されたユーザを含む一部の領域のサイズが最も大きいユーザの優先度を高く設定するなどの様々な方法が挙げられる。
［Ｂ］第２の例：所定の対象として手を認識する場合
所定の対象として手を認識する場合には、本実施形態に係る画像処理装置は、撮像画像から手を認識し、認識された手を含む領域を、部分的範囲として決定する。ここで、本実施形態に係る画像処理装置は、例えば、撮像画像全体から手を認識してもよいし、図３に示すように、撮像画像から切り出された領域から手を認識してもよい。
また、本実施形態に係る画像処理装置は、例えば、撮像画像における認識された手を含む領域以外の領域に対してマスクをかける処理などを行うことによって、認識された手を含む領域の可視化を実現する。また、本実施形態に係る画像処理装置は、例えば、半透明のグラデーションをかける処理を行うことによって、認識された手を含む領域の可視化を実現してもよい。ここで、半透明のグラデーションをかける処理を行う場合には、本実施形態に係る画像処理装置は、上記第１の例に係る処理と同様に、例えば、半透明のグラデーションをかける際の透過度を、撮像画像の背景部分に応じて動的に変えてもよい。
［Ｃ］第３の例：所定の対象として動体を認識する場合
所定の対象として動体を認識する場合には、本実施形態に係る画像処理装置は、撮像画像から所定の対象として動体を認識し、認識された動体を含む領域を、部分的範囲として決定する。ここで、本実施形態に係る画像処理装置は、例えば、撮像画像全体から動体を認識してもよいし、図３に示すように、撮像画像から切り出された領域から動体を認識してもよい。
図４Ａ、図４Ｂは、本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。ここで、図４Ａは、図４Ｂに示す実例の概念図である。また、図４Ａ、図４Ｂは、本実施形態に係る画像処理装置が、撮像画像から動体が認識された領域を、部分的範囲として決定した場合における画像の一例を示している。
本実施形態に係る画像処理装置は、例えば図４Ａ、図４Ｂに示すように、あたかも曇りガラスを手でなぞったように動体が認識された領域を可視化することによって、動体が認識された領域の可視化を実現する。なお、所定の対象として動体を認識する場合において表示画面に表示される画像が、図４Ａ、図４Ｂに示す例に限られないことは、言うまでもない。
（１−２）部分的範囲の変化に係る処理の第２の例
上記では、部分的範囲の変化に係る処理の第１の例として、本実施形態に係る画像処理装置が、例えば、撮像画像から認識される所定の対象に基づいて部分的範囲を決定し、決定された部分的範囲に基づいて撮像画像を部分的に可視化する例を示した。しかしながら、本実施形態に係る画像処理装置における、部分的範囲の変化に係る処理は、上記の例に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像が表示される面積を変化させることによって、撮像画像を部分的に可視化させる部分的範囲を変化させることも可能である。
図５は、本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。ここで、図５は、撮像画像に対してマスクをかけることによって、撮像画像を可視化させる部分的範囲を変化させた例を示している。
本実施形態に係る画像処理装置は、例えば図５に示すように、撮像画像に対してマスクをかけることによって撮像画像が表示される面積を小さくし、撮像画像を可視化させる部分的範囲を変化させる。
なお、本実施形態に係る画像処理装置における処理は、図５に示す例に限られない。例えば、図５では、本実施形態に係る画像処理装置が、撮像画像全体に対して均一なマスクをかけている例を示しているが、本実施形態に係る画像処理装置は、例えば、マスクの密度や形状などを動的に変化させてもよい。例えば、本実施形態に係る画像処理装置は、操作対象画像（または、ＨＴＭＬデータやＸＭＬデータなど、操作対象画像を構成するデータ）から操作対象オブジェクトの位置を特定し、特定された位置を含む領域上、または、当該領域近辺のマスクの密度を小さくする。つまり、本実施形態に係る画像処理装置は、操作対象画像に含まれる操作対象オブジェクトに基づいて、撮像画像を部分的に可視化させる部分的範囲を決定することによって、当該部分的範囲を変化させることも可能である。
例えば上記のように、操作対象オブジェクトの位置に基づきマスクの密度や形状などを動的に変化させることによって、本実施形態に係る画像処理装置は、操作対象画像に含まれている操作対象オブジェクトの視認性の低下をさらに防止することができる。
また、本実施形態に係る画像処理装置は、撮像画像全体にマスクをかけることに限られず、表示画面の一部に表示される操作パネル（操作対象オブジェクトの一例）に対してマスクをかけてもよい。図６は、本実施形態に係る画像処理装置が表示画面に表示させる操作パネルの一例を示す説明図である。なお、本実施形態に係る画像処理装置が表示画面に表示させる操作パネルが、図６に示す例に限られないことは、言うまでもない。
（１−３）部分的範囲の変化に係る処理の第３の例
本実施形態に係る画像処理装置における、部分的範囲の変化に係る処理は、上記第１の例、第２の例に限られない。図７は、本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。
例えばテレビジョン放送などに係るコンテンツを示す画像が表示画面に表示されている場合において、ユーザによる当該コンテンツの視聴をできる限り邪魔しないようにジェスチャをユーザにフィードバックする方法としては、例えば図７に示すように、表示画面の一部にＯＳＤ（On Screen Display）を表示させることが挙げられる。ここで、図７では、図７のＡに示すように、表示画面の一部に、撮像画像の一部が合成された操作パネル（操作対象オブジェクトの一例）を表示させている例を示している。
ここで、例えばＯＳＤにアイコンのみを表示させる場合には、例えば、“左右フリック操作（ジェスチャの一例）を行う際にどのくらい腕を動かせばよいのか分からない”、“うまく操作ができない場合に、操作に失敗した原因（例えば、撮像装置の画角外にでたなど）が分からない”など、ユーザに対するフィードバックが十分ではない事態が起こりうる。
これに対して、本実施形態に係る画像処理装置は、例えば図７のＡに示すように、撮像画像から切り出した一部分を操作パネルに合成する。そして、例えば図７に示すように、本実施形態に係る画像処理装置は、撮像画像が合成された操作パネルを表示画面に表示させる。よって、図７に示すような画像が表示画面に表示されることによって、ユーザは、例えば、“アイコンに触れるくらいまで手を振ればジェスチャが認識されること”や、“うまく操作ができない場合、その原因が撮像装置の画角や認識の範囲外にでてしまったことにあること”をより容易に理解することが可能となる。
ここで、本実施形態に係る画像処理装置における、図７に示すような合成された画像の表示を実現する処理の一例について、より具体的に説明する。図８は、本実施形態に係る画像処理装置における、図７に示すような合成された画像の表示を実現する処理の一例を説明するための説明図である。図８は、撮像画像の一例を示している。以下では、本実施形態に係る画像処理装置が、ユーザのジェスチャを認識するジェスチャ認識対象として、ユーザの手を認識する場合を例に挙げて説明する。
本実施形態に係る画像処理装置は、撮像画像から手（ジェスチャ認識対象の一例）を認識すると、認識された手を含む領域（図８に示すＡ）に基づいて、ジェスチャを認識する範囲を規定する領域を決定する（図８に示すＢ）。本実施形態に係る画像処理装置は、例えば、認識された手を含む領域を含む領域を、ジェスチャを認識する範囲を規定する領域とする。ここで、上記認識された手を含む領域を含む領域のサイズは、例えば、認識された手を含む領域のサイズに応じて決定されるが、上記認識された手を含む領域を含む領域のサイズの決定方法は、上記に限られない。例えば、上記認識された手を含む領域を含む領域のサイズには、下限値や上限値が設けられていてもよいし、ユーザが上記認識された手を含む領域を含む領域のサイズを設定することが、可能であってもよい。例えば上記のようにジェスチャを認識する範囲を規定する領域が決定されることによって、認識された手を含む領域の近傍の領域が、ジェスチャを認識する範囲を規定する領域として決定される。
ジェスチャを認識する範囲を規定する領域を決定すると、本実施形態に係る画像処理装置は、撮像画像から上記ジェスチャを認識する範囲を規定する領域をトリミングし、トリミングされた領域を操作パネルに合成する。そして、本実施形態に係る画像処理装置は、合成された操作パネルを表示画面に表示させる。
ここで、本実施形態に係る画像処理装置は、表示画面の予め規定された位置に合成された操作パネルを表示させるが、本実施形態に係る画像処理装置が、合成された操作パネルを表示させる位置は、上記に限られない。例えば、本実施形態に係る画像処理装置は、最初に撮像画像から認識された手（ジェスチャ認識対象の一例）の位置に対応する位置に、合成された操作パネルを表示させてもよい。
（１−４）撮像画像を平滑化する平滑化の度合いの変化に係る処理
上記では、本実施形態に係る画像処理装置における画像処理方法に係る処理として、部分的範囲の変化に係る処理を示したが、本実施形態に係る画像処理方法に係る処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、可視化の程度を変化させる処理として、撮像画像を平滑化する平滑化の度合いを変化させてもよい。
図９は、本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図である。ここで、図９は、撮像画像を平滑化することによって、あたかも画家が描いたような絵画調の効果（例えば、筆触効果等）が撮像画像に対して与えられた画像の一例を示している。
本実施形態に係る画像処理装置は、例えば、画像におけるエッジのベクトル方向（または、当該ベクトルと、画像の垂直方向や水平方向などの基準方向との角度）を算出し、当該ベクトル方向に基づいて、エッジ保存平滑化フィルタの強弱を調整する。そして、本実施形態に係る画像処理装置は、調整されたエッジ保存平滑化フィルタを用いて撮像画像を平滑化することによって、絵画調の効果を撮像画像に対して与える。ここで、本実施形態に係るエッジ保存平滑化フィルタとしては、例えば、バイラテラルフィルタ（bilateral filter）などのようなエッジを保存することが可能な平滑化フィルタが挙げられる。
なお、本実施形態に係る画像処理装置における、絵画調の効果を撮像画像に対して与えるための処理は、上記に限られない。本実施形態に係る画像処理装置は、絵画調の効果を撮像画像に対して与えることが可能な任意の技術を用いることが可能である。また、本実施形態に係る画像処理装置は、例えば、撮像画像に対してガウシアンフィルタ（gaussian filter）を適用することによって、撮像画像に対してぼかし効果を与えてもよい。
また、例えば図９のＡに示すように、本実施形態に係る画像処理装置は、スクロールバーなどの操作対象オブジェクトを合成することも可能である。
なお、本実施形態に係る画像処理装置が撮像画像と合成させることが可能な操作対象オブジェクトは、図９のＡに示す例に限られない。図１０は、本実施形態に係る操作対象オブジェクトの一例を示す説明図である。本実施形態に係る操作対象オブジェクトとしては、例えば、図１０のＡに示す垂直方向のスクロールバーや、図１０のＢに示すスライダーバー、図１０のＣに示すダイヤル、図１０のＤに示すボタンなどが挙げられる。
（１−５）本実施形態に係る撮像画像の可視化の程度の変化の他の例
本実施形態に係る画像処理方法に係る処理は、上記（１−１）〜（１−４）に示す処理に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像から所定の対象を認識し、撮像画像における認識された所定の対象を含む一部の領域の可視化の程度を、撮像画像における他の領域（撮像画像における当該一部の領域を除く領域）の可視化の程度と変えてもよい。
ここで、本実施形態に係る所定の対象としては、上述した部分的範囲の変化に係る処理の第１の例と同様に、例えば、ユーザの顔や、ユーザの手などのオブジェクトが挙げられる。また、本実施形態に係る画像処理装置は、例えば、ユーザの指先などオブジェクトの一部を所定の対象として認識してもよい。本実施形態に係る画像処理装置が、本実施形態に係る所定の対象とするオブジェクトとしては、例えば、ポインタとして用いることが可能なオブジェクト（または、オブジェクトの一部）が挙げられる。
図１１は、本実施形態に係る画像処理装置が表示画面に表示させる合成された画像の一例を示す説明図であり、本実施形態に係る撮像画像の可視化の程度の変化の他の例の一例を示している。ここで、図１１は、本実施形態に係る画像処理装置が、本実施形態に係る所定の対象としてユーザの指先を認識し、撮像画像における認識された指先を含む楕円状の領域を、本実施形態に係る一部の領域として設定した例を示している。また、図１１は、本実施形態に係る画像処理装置が、撮像画像から認識された所定の対象を含む一部の領域の輝度を、他の領域の輝度よりも高くした例を示している。本実施形態に係る画像処理装置は、例えば、撮像画像に対して、撮像画像から認識された所定の対象を含む一部の領域、および／または、他の領域に対応するマスクをかけることによって、当該一部の領域の輝度を当該他の領域の輝度よりも高くする。
なお、本実施形態に係る一部の領域は、楕円状の領域に限られず、例えば任意の形状の領域であってもよい。また、撮像画像から認識された所定の対象を含む一部の領域を他の領域の輝度よりも高くするための処理は、マスクを用いることに限られず、本実施形態に係る画像処理装置は、例えば輝度を調整することが可能な任意の処理を用いることができる。
本実施形態に係る画像処理装置は、例えば図１１に示すように“撮像画像から認識された所定の対象を含む一部の領域の輝度を、撮像画像における他の領域の輝度よりも高くすること”や、“当該他の領域の輝度を、当該一部の領域の輝度よりも低くすること”によって、当該一部の領域を当該他の領域よりも明るくする。上記のように、撮像画像から認識された所定の対象を含む撮像画像における一部の領域を、撮像画像における他の領域よりも明るくすることによって、当該一部の領域があたかも蝋燭で灯されたような表示が実現される。
例えば図１１に示すように、撮像画像から認識された所定の対象を含む撮像画像における一部の領域の輝度と、撮像画像における他の領域の輝度とが変わることによって、当該一部の領域の可視化の程度と、当該他の領域の可視化の程度とは変わる。よって、表示画面に表示された合成された画像を見たユーザは、例えば、ポインタとして用いられる指先（本実施形態に係る所定の対象の一例）をより容易に認識することが可能となる。したがって、本実施形態に係る画像処理装置が、例えば図１１に示すように、撮像画像から認識された所定の対象を含む撮像画像における一部の領域の輝度と、撮像画像における他の領域の輝度とを変えることによって、ユーザの操作性を向上させることができる。
なお、本実施形態に係る撮像画像の可視化の程度の変化の他の例は、図１１に示す例に限られない。
例えば、本実施形態に係る画像処理装置は、撮像画像から認識された所定の対象を含む撮像画像における一部の領域の輝度を、他の領域の輝度よりも低くしてもよい。撮像画像から認識された所定の対象を含む撮像画像における一部の領域の輝度を、他の領域の輝度よりも低くする場合であっても、当該一部の領域の可視化の程度と当該他の領域の可視化の程度とは変わる。よって、本実施形態に係る画像処理装が、撮像画像から認識された所定の対象を含む撮像画像における一部の領域の輝度を、他の領域の輝度よりも低くする場合であっても、本実施形態に係る画像処理装は、ユーザの操作性を向上させることができる。
また、本実施形態に係る画像処理装置は、例えば、撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域との、輝度、彩度、色彩のうちの１または２以上を変えてもよい。本実施形態に係る画像処理装置は、例えばマスクを用いるなど、輝度、彩度、色彩を調整することが可能な任意の処理を用いることによって、輝度、彩度、色彩のうちの１または２以上を変える。撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域との、輝度、彩度、色彩のうちの１または２以上を変える場合であっても、当該一部の領域の可視化の程度と当該他の領域の可視化の程度とは変わる。よって、本実施形態に係る画像処理装が、撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域との、輝度、彩度、色彩のうちの１または２以上を変える場合であっても、本実施形態に係る画像処理装は、ユーザの操作性を向上させることができる。
また、本実施形態に係る画像処理装置は、例えば、撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域とのうちの一方をモノクロとし、他方をカラーとしてもよい。撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域とのうちの一方をモノクロとし、他方をカラーとする場合であっても、当該一部の領域の可視化の程度と当該他の領域の可視化の程度とは変わる。よって、本実施形態に係る画像処理装が、撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域とのうちの一方をモノクロとし、他方をカラーとする場合であっても、本実施形態に係る画像処理装は、ユーザの操作性を向上させることができる。
また、本実施形態に係る画像処理装置は、例えば、撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域とのぼかしの程度を変えてもよい。撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域とのぼかしの程度を変える場合であっても、当該一部の領域の可視化の程度と当該他の領域の可視化の程度とは変わる。よって、本実施形態に係る画像処理装が、撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域とのぼかしの程度を変える場合であっても、本実施形態に係る画像処理装は、ユーザの操作性を向上させることができる。ここで、撮像画像から認識された所定の対象を含む撮像画像における一部の領域と他の領域とのぼかしの程度を変える例としては、例えば、“当該一部の領域をぼかさず、当該他の領域をぼかすこと”や、“当該一部の領域をぼかし、当該他の領域をぼかさないこと”、“当該一部の領域に与えるぼかし処理のレベル（当該一部の領域のぼかし具合）と、当該他の部の領域に与えるぼかし処理のレベル（当該他の領域のぼかし具合）とを変えること”などが挙げられる。
また、本実施形態に係る画像処理装置は、例えば、撮像画像から認識された所定の対象を含む撮像画像における一部の領域のみを表示させてもよい（すなわち、他の領域を表示させなくてもよい）。撮像画像から認識された所定の対象を含む撮像画像における一部の領域のみを表示させる場合であっても、当該一部の領域の可視化の程度と当該他の領域の可視化の程度とは変わる。よって、本実施形態に係る画像処理装が、撮像画像から認識された所定の対象を含む撮像画像における一部の領域のみを表示させる場合であっても、本実施形態に係る画像処理装は、ユーザの操作性を向上させることができる。
本実施形態に係る画像処理装置は、例えば、上記（１−１）〜（１−５）に示す処理を、（１）の処理（合成処理）として行う。ここで、本実施形態に係る画像処理装置は、例えば、上記（１−１）〜（１−５）に示す処理のうちの、いずれかの処理を行う。本実施形態に係る画像処理装置は、例えば、予め規定されている処理を行ってもよいし、ユーザにより選択された処理を行ってもよい。なお、本実施形態に係る（１）の処理（合成処理）は、上記（１−１）〜（１−５）に示す処理に限られない。例えば、本実施形態に係る画像処理装置は、認識された所定の対象に対して表示枠が描画された画像を表示画面に表示させることも可能である。また、本実施形態に係る画像処理装置は、認識された所定の対象の全体ではなく、一部を、操作対象画像に合成してもよい。
（２）表示制御処理
上記（１）の処理（合成処理）が完了すると、本実施形態に係る画像処理装置は、合成された画像を表示画面に表示させる。
ここで、本実施形態に係る画像処理装置が外部の表示装置の表示画面に上記画像を表示させる場合には、本実施形態に係る画像処理装置は、例えば、上記画像を示す画像信号を当該表示装置へ送信することによって、当該表示装置に上記画像を表示させる。また、本実施形態に係る画像処理装置が表示部（後述する）の表示画面に上記画像を表示させる場合には、本実施形態に係る画像処理装置は、表示部（後述）に上記画像を示す画像信号を伝達することによって、上記画像を表示させる。
本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、上記（１）の処理（合成処理）、および（２）の処理（表示制御処理）を行う。本実施形態に係る画像処理装置は、上記（１）の処理（合成処理）において、撮像画像、または、操作対象オブジェクトを含む操作対象画像に基づいて、撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と操作対象画像とを合成する。そして、本実施形態に係る画像処理装置は、上記（２）の処理（表示制御処理）において、上記（１）の処理（合成処理）において合成された画像を表示画面に表示させる。
ここで、本実施形態に係る画像処理装置は、上記（１）の処理（合成処理）において、撮像画像の可視化の程度を変化させるので、単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合よりも、操作対象オブジェクトの視認性が低下することを防止することが可能である。
したがって、本実施形態に係る画像処理装置は、操作対象オブジェクトの視認性の低下を防止しつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
また、本実施形態に係る画像処理装置が、上記（１）の処理（合成処理）において、操作対象画像に含まれる操作対象オブジェクトに基づいて、撮像画像を部分的に可視化させる部分的範囲を決定する場合には、操作対象画像に含まれる操作対象オブジェクトがよりくっきり表示された画像を、表示画面に表示することが可能となる。したがって、上記の場合には、本実施形態に係る画像処理装置は、例えば操作対象画像に含まれる操作対象オブジェクト（すなわち、ＧＵＩを構成する操作対象オブジェクト）の視認性を、より向上させることができる。
また、本実施形態に係る画像処理装置が、上記（１）の処理（合成処理）において、撮像画像から認識される所定の対象に基づいて、撮像画像を部分的に可視化させる部分的範囲を決定する場合には、例えば、図１Ａ〜図２Ｂに示すように操作を行うユーザ自身の顔が表示画面に表示されないことなどが実現される。したがって、上記の場合には、本実施形態に係る画像処理装置は、例えばユーザに生々しさを感じさせない鏡像表現を実現することが可能となるので、ユーザに生々しさを感じさせないジェスチャ認識のフィードバックを、ユーザに対して行うことができる。
さらに、本実施形態に係る画像処理装置は、上記（１）の処理（合成処理）において、撮像画像の可視化の程度を変化させるので、単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合よりも、ジェスチャによる操作に不要な領域の可視化を制御することが可能である。したがって、本実施形態に係る画像処理装置は、例えばユーザによるより細かなジェスチャによる操作をより容易とすることが可能であるので、ユーザの操作性をより向上させることができる。
［２］本実施形態に係る画像処理方法に係る処理の一例
図１２は、本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。以下では、本実施形態に係る画像処理装置が、図１２に示す処理を行うものとして説明する。ここで、図１２では、例えば、ステップＳ１００、Ｓ１０２、Ｓ１０４の処理が、上記（１）の処理（合成処理）に該当し、また、ステップＳ１０６の処理が、上記（２）の処理（表示制御処理）に該当する。
本実施形態に係る画像処理装置は、ユーザに対するフィードバックを行うか否かを判定する（Ｓ１００）。ここで、ステップＳ１００の処理は、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を開始するか否かを判定する処理に相当する。
本実施形態に係る画像処理装置は、例えば、撮像画像から所定の対象が認識されたときに、ユーザに対するフィードバックを行う（すなわち、本実施形態に係る画像処理方法に係る処理を開始する）と判定する。ここで、上記所定の対象としては、例えば、ユーザの手などのユーザの体の一部や、ユーザにより操作される物体の形状など、ユーザのジェスチャを認識するジェスチャ認識対象が挙げられる。
なお、本実施形態に係るステップＳ１００の処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、操作部（後述する）に対するユーザ操作に応じた操作信号や、リモート・コントローラなどの外部操作装置に対するユーザ操作に応じた外部操作信号に基づいて、ユーザに対するフィードバックを行うか否かを判定してもよい。また、本実施形態に係る画像処理装置は、例えば、ユーザが手を振るなどの所定のジェスチャが認識されたときに、ユーザに対するフィードバックを行うと判定してもよい。本実施形態に係る画像処理装置は、例えば、撮像画像における輝度変化の周波数に基づいてユーザの周期動作を検出することによって、所定のジェスチャを認識するが、本実施形態に係る画像処理装置におけるジェスチャの認識方法は、上記に限られない。
ステップＳ１００においてユーザに対するフィードバックを行うと判定されない場合には、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理を終了する。なお、本実施形態に係る画像処理方法に係る処理は、一度終了したら再度行われない類の処理ではなく、例えば、定期的、非定期的、あるいは、撮像画像を示す画像信号が入力されるごとに、繰り返し行われる。
また、ステップＳ１００においてユーザに対するフィードバックを行うと判定された場合には、本実施形態に係る画像処理装置は、撮像画像の可視化の程度を変化させる（Ｓ１０２）。本実施形態に係る画像処理装置は、例えば、撮像画像を透過させる度合いを変化させることや、撮像画像が表示される面積を変化させること、撮像画像を平滑化する平滑化の度合いを変化させることによって、撮像画像の可視化の程度を変化させる。
ステップＳ１０２において撮像画像の可視化の程度を変化させる処理が完了すると、本実施形態に係る画像処理装置は、可視化の程度を変化させた撮像画像と、操作対象画像とを合成する（Ｓ１０４）。ここで、本実施形態に係る画像処理装置は、例えば図３のＢに示す領域ＡＲ’のように、撮像画像から切り出した領域に基づく領域（または、撮像画像から切り出した領域そのもの）と操作対象画像とを合成する場合には、当該領域を合成する位置を補正してもよい。
ステップＳ１０４において可視化の程度を変化させた撮像画像と操作対象画像との合成に係る処理が完了すると、本実施形態に係る画像処理装置は、合成された画像を表示画面に表示させる（Ｓ１０６）。そして、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理を終了する。
本実施形態に係る画像処理装置は、例えば図１２に示す処理を行うことによって、本実施形態に係る画像処理方法に係る（１）の処理（合成処理）、および（２）の処理（表示制御処理）を実現する。なお、本実施形態に係る画像処理方法に係る処理が、図１２に示す処理に限られないことは、言うまでもない。
（本実施形態に係る画像処理装置）
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。
図１３は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、通信部１０２と、制御部１０４（処理部）とを備える。
また、画像処理装置１００は、例えば、ＲＯＭ（Read Only Memory。図示せず）や、ＲＡＭ（Random Access Memory。図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
ここで、ＲＯＭ（図示せず）は、制御部１０４が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部１０４により実行されるプログラムなどを一時的に記憶する。
記憶部（図示せず）は、画像処理装置１００が備える記憶手段であり、例えば、操作対象画像を構成するデータや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）などの不揮発性メモリ（nonvolatile memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
［画像処理装置１００のハードウェア構成例］
図１４は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。画像処理装置１００は、例えば、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作入力デバイス１６０と、表示デバイス１６２と、通信インタフェース１６４とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６６で各構成要素間を接続する。
ＭＰＵ１５０は、例えば、ＭＰＵ（Micro Processing Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、画像処理装置１００において、例えば、後述する画像処理部１１０、および表示制御部１１２の役目を果たす。
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。ＲＡＭ１５４は、例えば、ＭＰＵ１５０により実行されるプログラムなどを一時的に記憶する。
記録媒体１５６は、記憶部（図示せず）として機能し、例えば、操作対象画像を構成するデータや、アプリケーションなど様々なデータを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体１５６は、画像処理装置１００から着脱可能であってもよい。
入出力インタフェース１５８は、例えば、操作入力デバイス１６０や、表示デバイス１６２を接続する。操作入力デバイス１６０は、操作部（図示せず）として機能し、また、表示デバイス１６２は、表示部（図示せず）として機能する。ここで、入出力インタフェース１５８としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子、各種処理回路などが挙げられる。また、操作入力デバイス１６０は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。操作入力デバイス１６０としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス１６２は、例えば、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。表示デバイス１６２としては、例えば、液晶ディスプレイ（Liquid Crystal Display；ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display。または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）ともよばれる。）などが挙げられる。
なお、入出力インタフェース１５８が、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）や、表示デバイスなどの、外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス１６２は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース１６４は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置や、表示装置、サーバなどの外部装置と無線／有線で通信を行うための通信部１０２として機能する。ここで、通信インタフェース１６４としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local Area Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide Area Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless Local Area Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
画像処理装置１００は、例えば図１４に示す構成によって、本実施形態に係る表示制御方法に係る処理を行う。なお、本実施形態に係る画像処理装置１００のハードウェア構成は、図１４に示す構成に限られない。例えば、画像処理装置１００は、静止画像または動画像を撮像する撮像部（図示せず）の役目を果たす撮像デバイスを備えていてもよい。撮像デバイスを備える場合には、画像処理装置１００は、例えば、撮像デバイスにおける撮像により生成された撮像画像を処理することが可能となる。
ここで、本実施形態に係る撮像デバイスとしては、例えば、レンズ／撮像素子と信号処理回路とが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
また、画像処理装置１００は、例えば、スタンドアロンで処理を行う構成である場合には、通信インタフェース１６４を備えていなくてもよい。また、画像処理装置１００は、操作入力デバイス１６０や表示デバイス１６２を備えない構成をとることも可能である。
再度図１３を参照して、画像処理装置１００の構成の一例について説明する。通信部１０２は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）、撮像装置や、表示装置、サーバなどの外部装置と無線／有線で通信を行う。また、通信部１０２は、例えば制御部１０４により通信が制御される。ここで、通信部１０２としては、例えば、通信アンテナおよびＲＦ回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部１０２の構成は、上記に限られない。例えば、通信部１０２は、ＵＳＢ端子および送受信回路など通信を行うことが可能な任意の規格に対応する構成や、ネットワークを介して外部装置と通信可能な任意の構成をとることができる。
制御部１０４は、例えばＭＰＵなどで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０４は、例えば、画像処理部１１０と、表示制御部１１２とを備え、本実施形態に係る画像処理方法に係る処理を主導的に行う役目を果たす。より具体的には、制御部１０４は、例えば、ユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像との合成を制御する。
画像処理部１１０は、上記（１）の処理（合成処理）を主導的に行う役目を果たし、撮像画像、または、操作対象画像に基づいて、表示画面に表示される撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と操作対象画像とを合成する。
表示制御部１１２は、上記（２）の処理（表示制御処理）を主導的に行う役目を果たし、画像処理部１１０によって合成された画像を、表示画面に表示させる。
制御部１０４は、例えば、画像処理部１１０、および表示制御部１１２を備えることによって、本実施形態に係る画像処理方法に係る処理を主導的に行う。
画像処理装置１００は、例えば図１３に示す構成によって、本実施形態に係る画像処理方法に係る処理（例えば、上記（１）の処理（合成処理）、および上記（２）の処理（表示制御処理）を行う。したがって、画像処理装置１００は、例えば図１３に示す構成によって、操作対象オブジェクトの視認性の低下を防止しつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
なお、本実施形態に係る画像処理装置の構成は、図１３に示す構成に限られない。例えば、本実施形態に係る画像処理装置は、図１３に示す画像処理部１１０、および表示制御部１１２を個別に備える（例えば、それぞれを個別の処理回路で実現する）ことができる。
また、本実施形態に係る画像処理装置は、例えば、撮像部（図示せず）を備えていてもよい。撮像部（図示せず）を備える場合には、本実施形態に係る画像処理装置は、撮像部（図示せず）における撮像により生成された撮像画像を処理することが可能となる。
また、本実施形態に係る画像処理装置は、例えば、スタンドアロンで処理を行う構成である場合には、通信部１０２を備えていなくてもよい。
以上のように、本実施形態に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理として、例えば、（１）の処理（合成処理）、および（２）の処理（表示制御処理）を行う。ここで、本実施形態に係る画像処理装置は、上記（１）の処理（合成処理）において、撮像画像の可視化の程度を変化させるので、単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合よりも、操作対象オブジェクトの視認性が低下することを防止することが可能である。
したがって、本実施形態に係る画像処理装置は、操作対象オブジェクトの視認性の低下を防止しつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
また、本実施形態に係る画像処理装置が、上記（１）の処理（合成処理）において、操作対象画像に含まれる操作対象オブジェクトに基づいて、撮像画像を部分的に可視化させる部分的範囲を決定する場合には、操作対象画像に含まれる操作対象オブジェクトがよりくっきり表示された画像を、表示画面に表示することが可能となる。したがって、上記の場合には、本実施形態に係る画像処理装置は、例えば操作対象画像に含まれる操作対象オブジェクト（すなわち、ＧＵＩを構成する操作対象オブジェクト）の視認性を、より向上させることができる。
また、本実施形態に係る画像処理装置が、上記（１）の処理（合成処理）において、撮像画像から認識される所定の対象に基づいて、撮像画像を部分的に可視化させる部分的範囲を決定する場合には、本実施形態に係る画像処理装置は、例えばユーザに生々しさを感じさせない鏡像表現を実現することが可能となる。したがって、上記の場合には、本実施形態に係る画像処理装置は、ユーザに生々しさを感じさせないジェスチャ認識のフィードバックを、ユーザに対して行うことができる。
さらに、本実施形態に係る画像処理装置は、上記（１）の処理（合成処理）において、撮像画像の可視化の程度を変化させるので、単に撮像画像と操作対象画像とを合成して表示画面に表示させる場合よりも、ジェスチャによる操作に不要な領域の可視化を制御することが可能である。したがって、本実施形態に係る画像処理装置は、例えばユーザによるより細かなジェスチャによる操作をより容易とすることが可能であるので、ユーザの操作性をより向上させることができる。
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、携帯電話やスマートフォンなどの通信装置や、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、ＰＣ（Personal Computer）やサーバなどのコンピュータ、テレビ受像機などの表示装置、デジタルカメラなどの撮像装置など、画像を処理し、表示画面における表示を制御することが可能な様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、処理ＩＣ（Integrated Circuit）に適用することもできる。
また、本実施形態に係る画像処理方法に係る処理は、例えばクラウドコンピューティングなどのように、ネットワークへの接続（または各装置間の通信）を前提とした、複数の装置からなる画像処理システムにより実現されてもよい。
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、上記（１）の処理（合成処理）および（２）の処理（表示制御処理）など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、操作対象オブジェクトの視認性の低下を防止しつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像との合成を制御する処理部を備え、
前記合成された画像では、前記撮像画像の可視化の程度は変えられてみえる、情報処理装置。
（２）
前記合成された画像では、前記撮像画像の一部が、可視化の程度が変えられてみえる、（１）に記載の情報処理装置。
（３）
前記撮像画像の一部は、合成された画像において操作対象オブジェクトの操作対象画像における位置に応じて決定された位置を有している、合成された画像の領域に対応する、（２）に記載の情報処理装置。
（４）
前記撮像画像の可視化の程度は、操作対象画像に含まれている操作対象オブジェクトに基づいて変えられる、（１）に記載の情報処理装置。
（５）
前記撮像画像の可視化の程度は、撮像画像の領域の可視化の程度の減少を含み、
前記領域は、操作対象画像内の操作対象オブジェクトの位置に応じて決定される、（４）に記載の情報処理装置。
（６）
前記撮像画像の可視化の程度は、前記撮像画像から認識される所定の対象に基づいて変えられる、（１）に記載の情報処理装置。
（７）
前記撮像画像の可視化の程度は、少なくとも、撮像画像から切り出された一部のサイズによって変えられる、（６）に記載の情報処理装置。
（８）
前記所定の対象は、少なくとも顔または手のうちの１つである、（６）に記載の情報処理装置。
（９）
前記所定の対象は、Ｗｅｂページである、（６）に記載の情報処理装置。
（１０）
前記撮像画像の可視化の程度が変わることは、前記撮像画像における前記所定の対象を含む一部の領域の可視化の程度を、前記撮像画像における他の領域の可視化の程度と変えることを含む、（６）に記載の情報処理装置。
（１１）
前記撮像画像の可視化の程度を変えることは、前記一部の領域と前記他の領域との、輝度、彩度、色彩のうちの１または２以上を変えることを含む、（１０）に記載の情報処理装置。
（１２）
前記撮像画像の可視化の程度を変えることは、前記一部の領域と前記他の領域とのうちの一方をモノクロとし、他方をカラーとすることを含む、（１０）に記載の情報処理装置。
（１３）
前記撮像画像の可視化の程度を変えることは、前記一部の領域と前記他の領域とのぼかしの程度を変えることを含む、（１０）に記載の情報処理装置。
（１４）
前記撮像画像の可視化の程度を変えることは、前記一部の領域のみが表示されることを含む、（１０）に記載の情報処理装置。
（１５）
前記撮像画像の可視化の程度は、前記合成された画像において、撮像画像が等級分けされてみえるように変えられる、（１）に記載の情報処理装置。
（１６）
前記撮像画像の可視化の程度が変わることは、前記撮像画像が透明である程度を変えることを含む、（１）に記載の情報処理装置。
（１７）
撮像画像が透明である程度を変えることは、動的に撮像画像が透明である程度を変えることを含む、（１６）に記載の情報処理装置。
（１８）
動的に撮像画像が透明である程度を変えることは、撮像画像の空間周波数に基づいて動的に撮像画像が透明である程度を変えることを含む、（１７）に記載の情報処理装置。
（１９）
動的に撮像画像が透明である程度を変えることは、撮像画像の色合いに基づいて動的に撮像画像が透明である程度を変えることを含む、（１７）に記載の情報処理装置。
（２０）
前記撮像画像の可視化の程度が変わることは、撮像画像を切り出すことを含む、（１）に記載の情報処理装置。
（２１）
前記撮像画像の可視化の程度が変わることは、さらに、切り出された画像をスケーリングすることを含む、（２０）に記載の情報処理装置。
（２２）
前記撮像画像の可視化の程度が変わることは、前記撮像画像の平滑化を含む、（１）に記載の情報処理装置。
（２３）
前記撮像画像を平滑化することは、エッジ保存平滑化フィルタを用いることを含む、（２２）に記載の情報処理装置。
（２４）
変えられた撮像画像と操作対象画像とを合成することは、操作対象画像の表示位置に対して変えられた撮像画像の表示位置を変えることを含む、（１）に記載の情報処理装置。
（２５）
前記撮像画像は、ユーザの顔部分とユーザの他の部分を含み、
前記顔部分は、前記合成された画像から除かれる、（１）に記載の情報処理装置。
（２６）
前記撮像画像は、複数のユーザの画像を含み、
前記撮像画像の可視化の程度が変わることは、認識された複数のユーザごとに切り出された領域を生成するために、撮像画像を切り出すことを含む、（１）に記載の情報処理装置。
（２７）
前記処理部は、前記合成された画像の表示を制御する、（１）に記載の情報処理装置。
（２８）
表示部をさらに備え、
前記処理部は、前記合成された画像の表示を制御する、（１）に記載の情報処理装置。
（２９）
撮像部をさらに備える、（１）に記載の情報処理装置。
（３０）
前記操作対象画像は、Ｗｅｂページを示す画像、メニュー画面を示す画像、操作画面を示す画像のうちの１つである、（１）に記載の情報処理装置。
（３１）
ユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像とを合成するステップを有し、
前記合成された画像では、前記撮像画像の可視化の程度は変えられてみえる、情報処理方法。
（３２）
コンピュータにユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像とを合成するステップを実行させ、
前記合成された画像では、前記撮像画像の可視化の程度は変えられてみえる、プログラムを記録したコンピュータ読み取り可能な記録媒体。
（３３）
ユーザにジェスチャ認識をフィードバックするための撮像画像、または、ジェスチャ認識の結果に応じて操作される操作対象画像に基づいて、表示画面に表示される前記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と前記操作対象画像とを合成する画像処理部と、
合成された画像を表示画面に表示させる表示制御部と、
を備える、画像処理装置。
（３４）
前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を部分的に可視化させる部分的範囲を変化させる、（３３）に記載の画像処理装置。
（３５）
前記画像処理部は、前記操作対象画像に含まれる操作対象オブジェクトに基づいて、前記部分的範囲を決定する、（３４）に記載の画像処理装置。
（３６）
前記画像処理部は、前記撮像画像から認識される所定の対象に基づいて、前記部分的範囲を決定する、（３４）に記載の画像処理装置。
（３７）
前記画像処理部は、
前記撮像画像から前記所定の対象として顔を認識し、
認識された顔以外の部分を、前記部分的範囲として決定する、（３６）に記載の画像処理装置。
（３８）
前記画像処理部は、
前記撮像画像から前記所定の対象として手を認識し、
認識された手を含む領域を、前記部分的範囲として決定する、（３６）に記載の画像処理装置。
（３９）
前記画像処理部は、
前記撮像画像から前記所定の対象として動体を認識し、
認識された動体を含む領域を、前記部分的範囲として決定する、（３６）に記載の画像処理装置。
（４０）
前記画像処理部は、
前記撮像画像からユーザを認識し、
前記撮像画像における認識されたユーザを含む一部の領域を、前記撮像画像から切り出し、
切り出された領域を、前記部分的範囲を決定する対象の領域とする、（３４）に記載の画像処理装置。
（４１）
前記画像処理部は、
複数のユーザを前記撮像画像から認識した場合には、認識されたユーザごとに、認識されたユーザを含む一部の領域を前記撮像画像から切り出し、
切り出された各領域を、認識された各ユーザに対応する前記部分的範囲を決定する対象の領域とする、（４０）に記載の画像処理装置。
（４２）
前記画像処理部は、前記撮像画像の部分的な可視化として、前記撮像画像を透過させる度合い、または、前記撮像画像が表示される面積を変化させる、（３４）に記載の画像処理装置。
（４３）
前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を平滑化する平滑化の度合いを変化させる、（３３）に記載の画像処理装置。
（４４）
前記画像処理部は、前記撮像画像から所定の対象が認識されたときに、処理を開始する、（３３）〜（４３）のいずれか１つに記載の画像処理装置。
（４５）
ユーザにジェスチャ認識をフィードバックするための撮像画像、または、ジェスチャ認識の結果に応じて操作される操作対象画像に基づいて、表示画面に表示される前記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像と前記操作対象画像とを合成するステップと、
合成された画像を表示画面に表示させるステップと、
を有する、画像処理方法。
１００ 画像処理装置
１０２ 通信部
１０４ 制御部
１１０ 画像処理部
１１２ 表示制御部

Claims (20)

  1. ユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像との合成を制御する処理部を備え、
    前記合成された画像では、前記撮像画像の可視化の程度は変えられてみえ、
    前記処理部は、前記撮像画像から認識される所定の対象に対して設定された、前記所定の対象を含む一部の領域の可視化の程度と、前記撮像画像における前記一部の領域を除く他の領域の可視化の程度とが変わり、前記一部の領域と前記他の領域とが共に視認可能であり、かつ、前記一部の領域と前記他の領域との相対的な位置関係が変わらないように、合成を制御し、
    前記撮像画像の可視化の程度が変わることは、前記撮像画像を平滑化する平滑化の度合いが変化することを含む、情報処理装置。
  2. 前記合成された画像では、前記撮像画像の一部が、可視化の程度が変えられてみえる、請求項１に記載の情報処理装置。
  3. 前記撮像画像の一部は、合成された画像において操作対象オブジェクトの操作対象画像における位置に応じて決定された位置を有している、合成された画像の領域に対応する、請求項２に記載の情報処理装置。
  4. 前記撮像画像の可視化の程度は、操作対象画像に含まれている操作対象オブジェクトに基づいて変えられる、請求項１に記載の情報処理装置。
  5. 前記撮像画像の可視化の程度は、撮像画像の領域の可視化の程度の減少を含み、
    前記領域は、操作対象画像内の操作対象オブジェクトの位置に応じて決定される、請求項４に記載の情報処理装置。
  6. 前記撮像画像の可視化の程度は、前記撮像画像から認識される所定の対象に基づいて変えられる、請求項１に記載の情報処理装置。
  7. 前記撮像画像の可視化の程度は、少なくとも、撮像画像から切り出された一部のサイズによって変えられる、請求項６に記載の情報処理装置。
  8. 前記所定の対象は、少なくとも顔または手のうちの１つである、請求項６に記載の情報処理装置。
  9. 前記撮像画像の可視化の程度は、前記合成された画像において、撮像画像が等級分けされてみえるように変えられる、請求項１に記載の情報処理装置。
  10. 前記撮像画像の可視化の程度が変わることは、前記撮像画像が透明である程度を変えることを含む、請求項１に記載の情報処理装置。
  11. 撮像画像が透明である程度を変えることは、動的に撮像画像が透明である程度を変えることを含む、請求項１０に記載の情報処理装置。
  12. 前記撮像画像の可視化の程度が変わることは、撮像画像を切り出すことを含む、請求項１に記載の情報処理装置。
  13. 前記撮像画像の可視化の程度が変わることは、さらに、切り出された画像をスケーリングすることを含む、請求項１２に記載の情報処理装置。
  14. 変えられた撮像画像と操作対象画像とを合成することは、操作対象画像の表示位置に対して変えられた撮像画像の表示位置を変えることを含む、請求項１に記載の情報処理装置。
  15. 前記撮像画像は、複数のユーザの画像を含み、
    前記撮像画像の可視化の程度が変わることは、認識された複数のユーザごとに切り出された領域を生成するために、撮像画像を切り出すことを含む、請求項１に記載の情報処理装置。
  16. 表示部をさらに備え、
    前記処理部は、前記合成された画像の表示を制御する、請求項１に記載の情報処理装置。
  17. 撮像部をさらに備える、請求項１に記載の情報処理装置。
  18. 前記操作対象画像は、Ｗｅｂページを示す画像、メニュー画面を示す画像、操作画面を示す画像のうちの１つである、請求項１に記載の情報処理装置。
  19. ユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像とを合成するステップを有し、
    前記合成された画像では、前記撮像画像の可視化の程度は変えられてみえ、
    前記合成するステップでは、前記撮像画像から認識される所定の対象に対して設定された、前記所定の対象を含む一部の領域の可視化の程度と、前記撮像画像における前記一部の領域を除く他の領域の可視化の程度とが変わり、前記一部の領域と前記他の領域とが共に視認可能であり、かつ、前記一部の領域と前記他の領域との相対的な位置関係が変わらないように、合成が制御され、
    前記撮像画像の可視化の程度が変わることは、前記撮像画像を平滑化する平滑化の度合いが変化することを含む、情報処理方法。
  20. コンピュータにユーザにジェスチャ認識をフィードバックするための合成された画像を生成するために、撮像画像と操作対象画像とを合成するステップを実行させ、
    前記合成された画像では、前記撮像画像の可視化の程度は変えられてみえ、
    前記合成するステップでは、前記撮像画像から認識される所定の対象に対して設定された、前記所定の対象を含む一部の領域の可視化の程度と、前記撮像画像における前記一部の領域を除く他の領域の可視化の程度とが変わり、前記一部の領域と前記他の領域とが共に視認可能であり、かつ、前記一部の領域と前記他の領域との相対的な位置関係が変わらないように、合成が制御され、
    前記撮像画像の可視化の程度が変わることは、前記撮像画像を平滑化する平滑化の度合いが変化することを含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2012258409A 2011-12-09 2012-11-27 情報処理装置、情報処理方法、および記録媒体 Expired - Fee Related JP6243112B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2012258409A JP6243112B2 (ja) 2011-12-09 2012-11-27 情報処理装置、情報処理方法、および記録媒体
CN201280058983.3A CN103959204B (zh) 2011-12-09 2012-11-30 信息处理装置、信息处理方法和记录介质
BR112014013356A BR112014013356A2 (pt) 2011-12-09 2012-11-30 aparelho e método de processamento de informação, e, mídia de gravação legível por computador
KR1020147013731A KR20140107206A (ko) 2011-12-09 2012-11-30 정보 처리 장치, 정보 처리 방법 및 기록 매체
EP12856323.6A EP2790086B1 (en) 2011-12-09 2012-11-30 Information processing device, information processing method, and recording medium
RU2014122322/08A RU2014122322A (ru) 2011-12-09 2012-11-30 Устройство и способ обработки информации и носитель записи
US14/362,273 US10564827B2 (en) 2011-12-09 2012-11-30 Information processing apparatus, information processing method, and recording medium
PCT/JP2012/081103 WO2013084821A1 (ja) 2011-12-09 2012-11-30 情報処理装置、情報処理方法、および記録媒体
TW101145274A TW201337644A (zh) 2011-12-09 2012-12-03 資訊處理裝置、資訊處理方法、及記錄媒體

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011270718 2011-12-09
JP2011270718 2011-12-09
JP2012258409A JP6243112B2 (ja) 2011-12-09 2012-11-27 情報処理装置、情報処理方法、および記録媒体

Publications (2)

Publication Number Publication Date
JP2013140568A JP2013140568A (ja) 2013-07-18
JP6243112B2 true JP6243112B2 (ja) 2017-12-06

Family

ID=48574188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012258409A Expired - Fee Related JP6243112B2 (ja) 2011-12-09 2012-11-27 情報処理装置、情報処理方法、および記録媒体

Country Status (9)

Country Link
US (1) US10564827B2 (ja)
EP (1) EP2790086B1 (ja)
JP (1) JP6243112B2 (ja)
KR (1) KR20140107206A (ja)
CN (1) CN103959204B (ja)
BR (1) BR112014013356A2 (ja)
RU (1) RU2014122322A (ja)
TW (1) TW201337644A (ja)
WO (1) WO2013084821A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6048189B2 (ja) * 2013-02-08 2016-12-21 株式会社リコー 投影システム、画像生成プログラム、情報処理装置及び画像生成方法
JP5782061B2 (ja) * 2013-03-11 2015-09-24 レノボ・シンガポール・プライベート・リミテッド 移動物体の動作を認識する方法および携帯式コンピュータ
FR3046282B1 (fr) * 2015-12-23 2018-01-05 Thales Procede de representation graphique d'une image issue d'un capteur d'image en superposition sur une seconde image synthetique du paysage exterieur
SG11201909139TA (en) * 2017-12-22 2019-10-30 Beijing Sensetime Technology Development Co Ltd Methods and apparatuses for recognizing dynamic gesture, and control methods and apparatuses using gesture interaction

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2005063225A (ja) * 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
JP3847753B2 (ja) 2004-01-30 2006-11-22 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス
EP1645944B1 (en) * 2004-10-05 2012-08-15 Sony France S.A. A content-management interface
JP4388939B2 (ja) * 2006-09-25 2009-12-24 富士フイルム株式会社 画像再生装置ならびにその制御方法およびその制御プログラム
US7979067B2 (en) * 2007-02-15 2011-07-12 Yahoo! Inc. Context avatar
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2009089068A (ja) * 2007-09-28 2009-04-23 Victor Co Of Japan Ltd 電子機器の制御装置、制御方法及び制御プログラム
JP2009250772A (ja) * 2008-04-04 2009-10-29 Sony Corp 位置検出システム、位置検出方法、プログラム、物体判断システム、および物体判断方法
US20090254855A1 (en) * 2008-04-08 2009-10-08 Sony Ericsson Mobile Communications, Ab Communication terminals with superimposed user interface
TW201015980A (en) * 2008-10-06 2010-04-16 Mitac Int Corp Image processing apparatus for combining scenic information
JP5083697B2 (ja) * 2009-08-24 2012-11-28 国立大学法人東京農工大学 画像表示装置、入力装置、及び画像表示方法
TWI395600B (zh) * 2009-12-17 2013-05-11 虛擬物件與實境影像結合的數位內容
JP5413673B2 (ja) * 2010-03-08 2014-02-12 ソニー株式会社 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
EP2790086B1 (en) 2020-05-06
US20140337807A1 (en) 2014-11-13
RU2014122322A (ru) 2015-12-10
US10564827B2 (en) 2020-02-18
WO2013084821A1 (ja) 2013-06-13
KR20140107206A (ko) 2014-09-04
EP2790086A1 (en) 2014-10-15
BR112014013356A2 (pt) 2017-06-13
CN103959204A (zh) 2014-07-30
CN103959204B (zh) 2018-05-15
JP2013140568A (ja) 2013-07-18
EP2790086A4 (en) 2015-12-02
TW201337644A (zh) 2013-09-16

Similar Documents

Publication Publication Date Title
US10671175B2 (en) Image processing apparatus, image processing method, and program product to control a display to display an image generated based on a manipulation target image
US11770601B2 (en) User interfaces for capturing and managing visual media
AU2020100720B4 (en) User interfaces for capturing and managing visual media
US9704028B2 (en) Image processing apparatus and program
JP6886939B2 (ja) 情報処理装置の制御方法、制御プログラム及び情報処理装置
CN107438812B (zh) 信息处理设备、信息处理方法和程序
KR20220102664A (ko) 시각적 미디어를 캡처 및 관리하기 위한 사용자 인터페이스들
JP6243112B2 (ja) 情報処理装置、情報処理方法、および記録媒体
CN108885496B (zh) 信息处理装置、信息处理方法和程序
JP2006091948A (ja) 電子機器の制御装置
JP2016053764A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2013214234A (ja) 移動制御装置、移動制御方法、およびプログラム
KR20180071725A (ko) 디스플레이 장치 및 방법
CN109766530B (zh) 图表边框的生成方法、装置、存储介质和电子设备
JP6369461B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2013214235A (ja) 表示制御装置、表示制御方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160418

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161006

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161013

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20161216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171109

R150 Certificate of patent or registration of utility model

Ref document number: 6243112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees