JP5935529B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP5935529B2 JP5935529B2 JP2012133786A JP2012133786A JP5935529B2 JP 5935529 B2 JP5935529 B2 JP 5935529B2 JP 2012133786 A JP2012133786 A JP 2012133786A JP 2012133786 A JP2012133786 A JP 2012133786A JP 5935529 B2 JP5935529 B2 JP 5935529B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- operation target
- image processing
- area
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
上記撮像画像のうちの表示画面に表示させる上記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップと、
合成された画像を、表示画面に表示させるステップと、
を有する、画像処理方法が提供される。
1.本実施形態に係る画像処理方法
2.本実施形態に係る画像処理装置
3.本実施形態に係るプログラム
本実施形態に係る画像処理装置の構成について説明する前に、本実施形態に係る画像処理方法について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
ユーザにジェスチャ動作をフィードバックするための撮像画像と、操作対象画像とを表示画面に表示する方法としては、例えば、撮像画像と操作対象画像とを合成して表示画面に表示させる方法が考えられる。
本実施形態に係る画像処理装置は、撮像画像の一部に操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば、撮像画像における検出対象の位置、大きさに基づいて、操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば、撮像画像から検出されるユーザの姿勢に基づいて、操作対象領域を設定する。本実施形態に係る画像処理装置は、例えば、機械学習などを用いたユーザの部位の推定によってユーザの姿勢を推定するなど、任意の姿勢推定技術に係る処理を用いて、ユーザの骨格情報(データ)を得る。そして、本実施形態に係る画像処理装置は、骨格情報からユーザの稼働範囲を推定することによって操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば、検出対象の動きに基づいて、操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば、検出対象の形状、および操作対象画像に含まれる操作対象オブジェクトのサイズに基づいて、操作対象領域を設定する。
本実施形態に係る画像処理装置は、例えば、上記領域設定処理の第1の例と上記領域設定処理の第2の例、上記領域設定処理の第1の例と上記領域設定処理の第3の例、上記領域設定処理の第1の例と上記領域設定処理の第4の例など、上記領域設定処理の第1の例〜上記領域設定処理の第4の例のうちの、組み合わせ可能な複数の処理を組み合わせることによって、操作対象領域として設定してもよい。
本実施形態に係る画像処理装置は、例えば、上記のように、撮像画像における検出対象の位置および大きさ、検出対象の動き、ユーザの姿勢、検出対象の形状および操作対象画像に含まれる操作対象オブジェクトのサイズのうちの、1または2以上に基づいて、操作対象領域を設定する。ここで、本実施形態に係る画像処理装置は、例えば、本実施形態に係る表示対象領域と一致する領域を、操作対象領域として設定するが、本実施形態に係る画像処理装置が設定する操作対象領域は、上記に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像全体の領域より小さく、表示対象領域よりも大きい領域を、操作対象領域として設定してもよい。
・・・(数式1)
vh=vw×height_ratio
・・・(数式2)
vx=fcx+fw×(x方向のオフセット値)−vw/2.f
・・・(数式3)
vy=fcy+fh×(y方向のオフセット値)−vh/2.f
・・・(数式4)
・・・(数式5)
rh=vw+hh×(垂直方向の幅のスケール率)
・・・(数式6)
rx=vx+vw/2−rw/2
・・・(数式7)
ry=vy+vh/2−rh/2
・・・(数式8)
(b)上記(a)によって、表示画面に表示されている表示対象領域における端の領域を利用した、例えば下記のような操作が実現される。
・画面の下側や上側、画面の左右の両端の領域に存在する操作対象オブジェクトを選択する選択操作
・画面の端近辺に手を移動することによる、表示画面に表示される画像の一部(例えば、特定の操作対象オブジェクトのみ)の移動や、他の画像への遷移を行わせるためのオートスクロール操作
・画面の端近辺を叩く(タッチする)ようなジェスチャ(ジェスチャの一例)による、表示画面に表示される画像の一部(例えば、操作対象オブジェクトのみ)の移動や、他の画像への遷移を行わせるためのスクロール操作
なお、本実施形態に係る画像処理装置における領域設定処理は、上述した各処理に限られない。例えば、顔や手の位置に応じて操作対象領域を更新する場合、認識の範囲外(例えばカメラの画角外)にユーザが移動してしまうことが起こりうる。ここで、ユーザが認識の範囲外に移動した場合には、ユーザがジェスチャを行ったとしても、ジェスチャ認識に係る処理を行う装置は、当該ジェスチャを認識して処理を行うことができない。そこで、本実施形態に係る画像処理装置は、認識の範囲外であることをユーザに通知する。
本実施形態に係る画像処理装置は、撮像画像のうちの表示対象領域に対応する画像と、操作対象画像とを合成する。
本実施形態に係る画像処理装置は、例えば、撮像画像から認識される所定の対象に基づいて、部分的範囲を決定する。そして、本実施形態に係る画像処理装置は、決定された部分的範囲に基づいて、例えば撮像画像を透過させる度合いを変化させることによって、撮像画像を部分的に可視化する。
上記では、部分的範囲の変化に係る処理の第1の例として、本実施形態に係る画像処理装置が、例えば、撮像画像から認識される所定の対象に基づいて部分的範囲を決定し、決定された部分的範囲に基づいて撮像画像を部分的に可視化する例を示した。しかしながら、本実施形態に係る画像処理装置における、部分的範囲の変化に係る処理は、上記の例に限られない。例えば、本実施形態に係る画像処理装置は、撮像画像が表示される面積を変化させることによって、撮像画像を部分的に可視化させる部分的範囲を変化させることも可能である。
上記では、本実施形態に係る画像処理装置における画像処理方法に係る処理として、部分的範囲の変化に係る処理を示したが、本実施形態に係る画像処理方法に係る処理は、上記に限られない。例えば、本実施形態に係る画像処理装置は、可視化の程度を変化させる処理として、撮像画像を平滑化する平滑化の度合いを変化させてもよい。
(2−4−1)他の画像処理の第1の例
例えば、本実施形態に係る画像処理装置は、上記(1)の処理(領域設定処理)において操作対象領域が設定された場合には、操作対象画像と合成される撮像画像における領域の位置、大きさを、表示対象領域よりも大きな所定の領域の位置、大きさから、表示対象領域の位置、大きさまで順次に変更してもよい。撮像画像における領域の位置、大きさを変更する場合には、本実施形態に係る画像処理装置は、例えば、位置、大きさが順次に変更される領域に対応する画像と、操作対象画像とを順次に合成する。
なお、上記(1)の処理(領域設定処理)において操作対象領域が設定された場合における画像処理は、例えば図14に示すように、新たに操作対象領域が設定された場合における処理に限られない。例えば、上記(1)の処理(領域設定処理)において操作対象領域が設定された場合に、既に操作対象領域が設定されていることもありうる。
(i)既に設定されている操作対象領域に対応する表示対象領域に対応する画像が、所定の領域に対応する画像が表示されるまでズーミングするようなアニメーション表示(ズームアウト表示)
(ii)所定の領域に対応する画像が、表示対象領域に対応する画像が表示されるまでズーミングするようなアニメーション表示(ズームイン表示)
なお、上記(1)の処理(領域設定処理)において既に設定されている操作対象領域とは異なる新たな操作対象領域が設定された場合における画像処理は、例えば図16に示すように、ズームアウト表示とズームイン表示とを組み合わせたアニメーション表示の実現に係る処理に限られない。
上記(2)の処理(画像処理)が完了すると、本実施形態に係る画像処理装置は、合成された画像を表示画面に表示させる。
図22は、本実施形態に係る画像処理方法に係る処理の一例を示す流れ図である。以下では、本実施形態に係る画像処理装置が、図22に示す処理を行うものとして説明する。ここで、図22では、例えば、ステップS100、S102、S110、S112の処理が、上記(1)の処理(領域設定処理)に該当する。また、図22では、例えば、ステップS104〜S108、S114、S116の処理が、上記(2)の処理(画像処理)および上記(3)の処理(表示制御処理)に該当する。なお、以下では、例えば、ステップS102の処理が行われてから、ステップS108の処理が行われるまで、基本的に、上記(2)の処理(画像処理)および上記(3)の処理(表示制御処理)によって、合成された画像が表示画面に表示されるものとして説明する。
次に、上述した本実施形態に係る画像処理方法に係る処理を行うことが可能な、本実施形態に係る画像処理装置の構成の一例について、説明する。
図24は、本実施形態に係る画像処理装置100のハードウェア構成の一例を示す説明図である。画像処理装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、画像処理装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム(例えば、“上記(1)の処理(領域設定処理)〜上記(3)の処理(表示制御処理)”や、“上記(1)の処理(領域設定処理)〜上記(4)の処理(通知処理)”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム)が、コンピュータにおいて実行されることによって、操作対象オブジェクトの視認性の低下の防止と、ユーザの操作性の低下の防止とを図りつつ、撮像画像と操作対象画像とを表示画面に表示させることができる。
(1)
ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定する領域設定部と、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成する画像処理部と、
合成された画像を、表示画面に表示させる表示制御部と、
を備える、画像処理装置。
(2)
前記領域設定部が設定する前記操作対象領域は、前記撮像画像全体の領域より小さく、前記表示対象領域よりも大きい領域である、(1)に記載の画像処理装置。
(3)
前記領域設定部は、前記撮像画像における検出対象の位置および大きさ、検出対象の動き、ユーザの姿勢、検出対象の形状および前記操作対象画像に含まれる操作対象オブジェクトのサイズのうちの、1または2以上に基づいて、前記操作対象領域を設定する、(1)、または(2)に記載の画像処理装置。
(4)
前記操作対象画像には、ジェスチャ認識がされうる領域と、ジェスチャ認識がされない領域とが含まれ、
前記画像処理部は、前記操作対象画像の前記ジェスチャ認識がされない領域には、前記撮像画像を合成させない、(1)〜(3)のいずれか1つに記載の画像処理装置。
(5)
前記領域設定部は、ジェスチャ認識の開始条件を満たすかを判定し、ジェスチャ認識の開始条件を満たすと判定された場合に、前記操作対象領域を設定する、(1)〜(4)のいずれか1つに記載の画像処理装置。
(6)
前記領域設定部が前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置、大きさを、前記表示対象領域よりも大きな所定の領域の位置、大きさから、前記表示対象領域の位置、大きさまで順次に変更し、
位置、大きさが順次に変更される領域に対応する画像と、前記操作対象画像とを順次に合成する、(1)〜(5)のいずれか1つに記載の画像処理装置。
(7)
前記領域設定部が、既に設定されている前記操作対象領域とは異なる新たな前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置、大きさを、既に設定されている前記操作対象領域に対応する前記表示対象領域の位置、大きさから、前記表示対象領域よりも大きな所定の領域の位置、大きさまで順次に変更し、
前記撮像画像における領域の位置、大きさが、前記所定の領域の位置、大きさまで変更された場合には、
前記撮像画像における領域の位置、大きさを、前記所定の領域の位置、大きさから、新たに設定された操作対象領域に対応する前記表示対象領域の位置、大きさまで、順次に変更し、
位置、大きさが順次に変更される領域に対応する画像と、前記操作対象画像とを順次に合成する、(1)〜(5)のいずれか1つに記載の画像処理装置。
(8)
前記領域設定部が、既に設定されている前記操作対象領域とは異なる新たな前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置を、既に設定されている前記操作対象領域に対応する前記表示対象領域から新たに設定された操作対象領域に対応する前記表示対象領域へと移動するように変更する、(1)〜(5)のいずれか1つに記載の画像処理装置。
(9)
前記合成された画像における、ジェスチャ認識が行われる認識対象オブジェクトの位置と、前記操作対象画像に含まれるジェスチャ認識の結果に応じて操作される操作対象オブジェクトの位置とに基づいて、前記操作対象オブジェクトにおいて可能なジェスチャ操作をユーザに対して通知させる通知処理部をさらに備える、(1)〜(8)のいずれか1つに記載の画像処理装置。
(10)
前記画像処理部は、前記撮像画像に基づいて前記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像における前記表示対象領域の画像と、前記操作対象画像とを合成する、(1)に記載の画像処理装置。
(11)
前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を部分的に可視化させる部分的範囲を変化させる、(10)に記載の画像処理装置。
(12)
前記画像処理部は、前記撮像画像から認識される所定の対象に基づいて、前記部分的範囲を決定する、(11)に記載の画像処理装置。
(13)
前記画像処理部は、前記撮像画像の部分的な可視化として、前記撮像画像を透過させる度合い、または、前記撮像画像が表示される面積を変化させる、(11)に記載の画像処理装置。
(14)
前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を平滑化する平滑化の度合いを変化させる、(10)に記載の画像処理装置。
(15)
ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップと、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップと、
合成された画像を、表示画面に表示させるステップと、
を有する、画像処理方法。
(16)
ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップ、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップ、
合成された画像を、表示画面に表示させるステップ、
をコンピュータに実行させるためのプログラム。
102 通信部
104 制御部
110 領域設定部
112 画像処理部
114 表示制御部
Claims (16)
- ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定する領域設定部と、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成する画像処理部と、
合成された画像を、表示画面に表示させる表示制御部と、
を備え、
前記操作対象画像に、ジェスチャ認識がされうる領域と、ジェスチャ認識がされない領域とが含まれる場合、前記画像処理部は、前記操作対象画像の前記ジェスチャ認識がされない領域には、前記表示対象領域の画像を合成させない、画像処理装置。 - 前記領域設定部が設定する前記操作対象領域は、前記撮像画像全体の領域より小さく、前記表示対象領域よりも大きい領域である、請求項1に記載の画像処理装置。
- 前記領域設定部は、前記撮像画像における検出対象の位置および大きさ、検出対象の動き、ユーザの姿勢、検出対象の形状および前記操作対象画像に含まれる操作対象オブジェクトのサイズのうちの、1または2以上に基づいて、前記操作対象領域を設定する、請求項1、または2に記載の画像処理装置。
- 前記領域設定部は、ジェスチャ認識の開始条件を満たすかを判定し、ジェスチャ認識の開始条件を満たすと判定された場合に、前記操作対象領域を設定する、請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記領域設定部が前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置、大きさを、前記表示対象領域よりも大きな所定の領域の位置、大きさから、前記表示対象領域の位置、大きさまで順次に変更し、
位置、大きさが順次に変更される領域に対応する画像と、前記操作対象画像とを順次に合成する、請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記領域設定部が、既に設定されている前記操作対象領域とは異なる新たな前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置、大きさを、既に設定されている前記操作対象領域に対応する前記表示対象領域の位置、大きさから、前記表示対象領域よりも大きな所定の領域の位置、大きさまで順次に変更し、
前記撮像画像における領域の位置、大きさが、前記所定の領域の位置、大きさまで変更された場合には、
前記撮像画像における領域の位置、大きさを、前記所定の領域の位置、大きさから、新たに設定された操作対象領域に対応する前記表示対象領域の位置、大きさまで、順次に変更し、
位置、大きさが順次に変更される領域に対応する画像と、前記操作対象画像とを順次に合成する、請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記領域設定部が、既に設定されている前記操作対象領域とは異なる新たな前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置を、既に設定されている前記操作対象領域に対応する前記表示対象領域から新たに設定された操作対象領域に対応する前記表示対象領域へと移動するように変更する、請求項1〜4のいずれか1項に記載の画像処理装置。 - 前記合成された画像における、ジェスチャ認識が行われる認識対象オブジェクトの位置と、前記操作対象画像に含まれるジェスチャ認識の結果に応じて操作される操作対象オブジェクトの位置とに基づいて、前記操作対象オブジェクトにおいて可能なジェスチャ操作をユーザに対して通知させる通知処理部をさらに備える、請求項1〜7のいずれか1項に記載の画像処理装置。
- 前記画像処理部は、前記撮像画像に基づいて前記撮像画像の可視化の程度を変化させ、可視化の程度を変化させた撮像画像における前記表示対象領域の画像と、前記操作対象画像とを合成する、請求項1〜8のいずれか1項に記載の画像処理装置。
- 前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を部分的に可視化させる部分的範囲を変化させる、請求項9に記載の画像処理装置。
- 前記画像処理部は、前記撮像画像から認識される所定の対象に基づいて、前記部分的範囲を決定する、請求項10に記載の画像処理装置。
- 前記画像処理部は、前記撮像画像の部分的な可視化として、前記撮像画像を透過させる度合い、または、前記撮像画像が表示される面積を変化させる、請求項10に記載の画像処理装置。
- 前記画像処理部は、前記可視化の程度の変化として、前記撮像画像を平滑化する平滑化の度合いを変化させる、請求項9に記載の画像処理装置。
- ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定する領域設定部と、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成する画像処理部と、
合成された画像を、表示画面に表示させる表示制御部と、
を備え、
前記領域設定部が、既に設定されている前記操作対象領域とは異なる新たな前記操作対象領域を設定した場合、
前記画像処理部は、
前記操作対象画像と合成される前記撮像画像における領域の位置、大きさを、既に設定されている前記操作対象領域に対応する前記表示対象領域の位置、大きさから、前記表示対象領域よりも大きな所定の領域の位置、大きさまで順次に変更し、
前記撮像画像における領域の位置、大きさが、前記所定の領域の位置、大きさまで変更された場合には、
前記撮像画像における領域の位置、大きさを、前記所定の領域の位置、大きさから、新たに設定された操作対象領域に対応する前記表示対象領域の位置、大きさまで、順次に変更し、
位置、大きさが順次に変更される領域に対応する画像と、前記操作対象画像とを順次に合成する、画像処理装置。 - ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップと、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップと、
合成された画像を、表示画面に表示させるステップと、
を有し、
前記操作対象画像に、ジェスチャ認識がされうる領域と、ジェスチャ認識がされない領域とが含まれる場合、前記合成するステップでは、前記操作対象画像の前記ジェスチャ認識がされない領域には、前記表示対象領域の画像が合成されない、画像処理方法。 - ユーザにジェスチャ動作をフィードバックするための撮像画像の一部に、ジェスチャ認識が行われる領域である操作対象領域を設定するステップ、
前記撮像画像のうちの表示画面に表示させる前記操作対象領域に対応する領域である、表示対象領域の画像と、ジェスチャ認識の結果に応じて操作される操作対象画像とを合成するステップ、
合成された画像を、表示画面に表示させるステップ、
をコンピュータに実行させ、
前記操作対象画像に、ジェスチャ認識がされうる領域と、ジェスチャ認識がされない領域とが含まれる場合、前記合成するステップでは、前記操作対象画像の前記ジェスチャ認識がされない領域には、前記表示対象領域の画像が合成されない、プログラム。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012133786A JP5935529B2 (ja) | 2012-06-13 | 2012-06-13 | 画像処理装置、画像処理方法、およびプログラム |
PCT/JP2013/003116 WO2013186986A1 (en) | 2012-06-13 | 2013-05-16 | Image processing apparatus, image processing method, and program |
US14/380,812 US9509915B2 (en) | 2012-06-13 | 2013-05-16 | Image processing apparatus, image processing method, and program for displaying an image based on a manipulation target image and an image based on a manipulation target region |
BR112014030585A BR112014030585A2 (pt) | 2012-06-13 | 2013-05-16 | sistema de processamento de informação, método executado por um sistema de processamento de informação, e, meio legível por computador não transitório |
CN201380029940.7A CN104335143A (zh) | 2012-06-13 | 2013-05-16 | 图像处理装置、图像处理方法和程序 |
EP13730945.6A EP2862041B1 (en) | 2012-06-13 | 2013-05-16 | Image processing apparatus, image processing method, and program |
RU2014149214A RU2014149214A (ru) | 2012-06-13 | 2013-05-16 | Устройство обработки изображения, способ обработки изображения и программа |
US15/337,029 US10073534B2 (en) | 2012-06-13 | 2016-10-28 | Image processing apparatus, image processing method, and program to control a display to display an image generated based on a manipulation target image |
US16/108,172 US10671175B2 (en) | 2012-06-13 | 2018-08-22 | Image processing apparatus, image processing method, and program product to control a display to display an image generated based on a manipulation target image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012133786A JP5935529B2 (ja) | 2012-06-13 | 2012-06-13 | 画像処理装置、画像処理方法、およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013257762A JP2013257762A (ja) | 2013-12-26 |
JP2013257762A5 JP2013257762A5 (ja) | 2015-03-12 |
JP5935529B2 true JP5935529B2 (ja) | 2016-06-15 |
Family
ID=48672771
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012133786A Active JP5935529B2 (ja) | 2012-06-13 | 2012-06-13 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (7)
Country | Link |
---|---|
US (3) | US9509915B2 (ja) |
EP (1) | EP2862041B1 (ja) |
JP (1) | JP5935529B2 (ja) |
CN (1) | CN104335143A (ja) |
BR (1) | BR112014030585A2 (ja) |
RU (1) | RU2014149214A (ja) |
WO (1) | WO2013186986A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5935529B2 (ja) * | 2012-06-13 | 2016-06-15 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5921981B2 (ja) * | 2012-07-25 | 2016-05-24 | 日立マクセル株式会社 | 映像表示装置および映像表示方法 |
KR102121592B1 (ko) * | 2013-05-31 | 2020-06-10 | 삼성전자주식회사 | 시력 보호 방법 및 장치 |
KR20150082963A (ko) * | 2014-01-08 | 2015-07-16 | 삼성전자주식회사 | 모션 인식을 이용한 서비스 실행 방법 및 이를 적용한 디스플레이 장치 |
US9740923B2 (en) * | 2014-01-15 | 2017-08-22 | Lenovo (Singapore) Pte. Ltd. | Image gestures for edge input |
JP6664609B2 (ja) * | 2014-03-28 | 2020-03-13 | 株式会社ユピテル | 電子情報システム及びそのプログラム |
JP6303772B2 (ja) * | 2014-04-25 | 2018-04-04 | 富士通株式会社 | 入力制御装置、制御方法および制御プログラム |
KR102294599B1 (ko) * | 2014-09-02 | 2021-08-27 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
US10110858B2 (en) * | 2015-02-06 | 2018-10-23 | Conduent Business Services, Llc | Computer-vision based process recognition of activity workflow of human performer |
JP2016194799A (ja) * | 2015-03-31 | 2016-11-17 | 富士通株式会社 | 画像解析装置及び画像解析方法 |
JP2016218766A (ja) * | 2015-05-21 | 2016-12-22 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
JP6587489B2 (ja) * | 2015-10-07 | 2019-10-09 | キヤノン株式会社 | 画像処理装置、画像処理方法および画像処理システム |
JP6536350B2 (ja) * | 2015-10-26 | 2019-07-03 | 船井電機株式会社 | 入力装置 |
JP6363587B2 (ja) | 2015-12-14 | 2018-07-25 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および警告提示方法 |
CN105635574B (zh) * | 2015-12-29 | 2019-02-19 | 小米科技有限责任公司 | 图像的处理方法和装置 |
US10043066B2 (en) * | 2016-08-17 | 2018-08-07 | Intel Corporation | Gesture masking in a video feed |
US10726573B2 (en) * | 2016-08-26 | 2020-07-28 | Pixart Imaging Inc. | Object detection method and system based on machine learning |
CN107786867A (zh) | 2016-08-26 | 2018-03-09 | 原相科技股份有限公司 | 基于深度学习架构的图像辨识方法及系统 |
WO2019120290A1 (zh) | 2017-12-22 | 2019-06-27 | 北京市商汤科技开发有限公司 | 动态手势识别方法和装置、手势交互控制方法和装置 |
JP2019149066A (ja) * | 2018-02-28 | 2019-09-05 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
US10643362B2 (en) * | 2018-03-26 | 2020-05-05 | Lenovo (Singapore) Pte Ltd | Message location based on limb location |
JP6730552B2 (ja) * | 2018-05-14 | 2020-07-29 | 株式会社ユピテル | 電子情報システム及びそのプログラム |
JP7135444B2 (ja) * | 2018-05-29 | 2022-09-13 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
CN109325450A (zh) * | 2018-09-25 | 2019-02-12 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
JP7351089B2 (ja) | 2019-03-18 | 2023-09-27 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
US11106949B2 (en) * | 2019-03-22 | 2021-08-31 | Microsoft Technology Licensing, Llc | Action classification based on manipulated object movement |
CN112487844A (zh) * | 2019-09-11 | 2021-03-12 | 华为技术有限公司 | 手势识别方法、电子设备、计算机可读存储介质和芯片 |
JPWO2021171685A1 (ja) * | 2020-02-28 | 2021-09-02 | ||
CN115053202A (zh) * | 2020-02-28 | 2022-09-13 | 富士胶片株式会社 | 手势识别装置、手势识别装置的工作方法、手势识别装置的工作程序 |
WO2021184356A1 (en) | 2020-03-20 | 2021-09-23 | Huawei Technologies Co., Ltd. | Methods and systems for hand gesture-based control of a device |
KR20220156601A (ko) * | 2020-03-23 | 2022-11-25 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템 |
TWI813907B (zh) * | 2020-09-30 | 2023-09-01 | 優派國際股份有限公司 | 觸控顯示裝置及其操作方法 |
US11294474B1 (en) * | 2021-02-05 | 2022-04-05 | Lenovo (Singapore) Pte. Ltd. | Controlling video data content using computer vision |
JP2023139534A (ja) * | 2022-03-22 | 2023-10-04 | キヤノン株式会社 | ジェスチャ認識装置、頭部装着型表示装置、ジェスチャ認識方法、プログラム、および記憶媒体 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6088018A (en) | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
DE602004006190T8 (de) * | 2003-03-31 | 2008-04-10 | Honda Motor Co., Ltd. | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
US7982751B2 (en) | 2003-07-11 | 2011-07-19 | The University Of North Carolina | Methods and systems for controlling a computer using a video image and for combining the video image with a computer desktop |
JP3847753B2 (ja) | 2004-01-30 | 2006-11-22 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、記録媒体、コンピュータプログラム、半導体デバイス |
JP4712804B2 (ja) * | 2005-07-29 | 2011-06-29 | パイオニア株式会社 | 画像表示制御装置及び画像表示装置 |
US8589824B2 (en) * | 2006-07-13 | 2013-11-19 | Northrop Grumman Systems Corporation | Gesture recognition interface system |
JP2008146243A (ja) | 2006-12-07 | 2008-06-26 | Toshiba Corp | 情報処理装置、情報処理方法、及びプログラム |
JP4569613B2 (ja) * | 2007-09-19 | 2010-10-27 | ソニー株式会社 | 画像処理装置および画像処理方法、並びにプログラム |
JP2009089068A (ja) * | 2007-09-28 | 2009-04-23 | Victor Co Of Japan Ltd | 電子機器の制御装置、制御方法及び制御プログラム |
US20090254855A1 (en) * | 2008-04-08 | 2009-10-08 | Sony Ericsson Mobile Communications, Ab | Communication terminals with superimposed user interface |
JP2009265709A (ja) * | 2008-04-22 | 2009-11-12 | Hitachi Ltd | 入力装置 |
JP5181247B2 (ja) * | 2008-12-04 | 2013-04-10 | 任天堂株式会社 | 情報処理装置 |
WO2010095204A1 (ja) * | 2009-02-18 | 2010-08-26 | 株式会社 東芝 | インターフェース制御装置、及びその方法 |
JP5083697B2 (ja) * | 2009-08-24 | 2012-11-28 | 国立大学法人東京農工大学 | 画像表示装置、入力装置、及び画像表示方法 |
US20110107216A1 (en) * | 2009-11-03 | 2011-05-05 | Qualcomm Incorporated | Gesture-based user interface |
JP5659510B2 (ja) * | 2010-03-10 | 2015-01-28 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
US8818027B2 (en) * | 2010-04-01 | 2014-08-26 | Qualcomm Incorporated | Computing device interface |
US8922498B2 (en) * | 2010-08-06 | 2014-12-30 | Ncr Corporation | Self-service terminal and configurable screen therefor |
JP5935529B2 (ja) * | 2012-06-13 | 2016-06-15 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
-
2012
- 2012-06-13 JP JP2012133786A patent/JP5935529B2/ja active Active
-
2013
- 2013-05-16 EP EP13730945.6A patent/EP2862041B1/en active Active
- 2013-05-16 US US14/380,812 patent/US9509915B2/en active Active
- 2013-05-16 CN CN201380029940.7A patent/CN104335143A/zh active Pending
- 2013-05-16 WO PCT/JP2013/003116 patent/WO2013186986A1/en active Application Filing
- 2013-05-16 BR BR112014030585A patent/BR112014030585A2/pt not_active IP Right Cessation
- 2013-05-16 RU RU2014149214A patent/RU2014149214A/ru not_active Application Discontinuation
-
2016
- 2016-10-28 US US15/337,029 patent/US10073534B2/en active Active
-
2018
- 2018-08-22 US US16/108,172 patent/US10671175B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20170108934A1 (en) | 2017-04-20 |
RU2014149214A (ru) | 2016-06-27 |
US20190004615A1 (en) | 2019-01-03 |
US9509915B2 (en) | 2016-11-29 |
JP2013257762A (ja) | 2013-12-26 |
US10671175B2 (en) | 2020-06-02 |
US20150288883A1 (en) | 2015-10-08 |
US10073534B2 (en) | 2018-09-11 |
CN104335143A (zh) | 2015-02-04 |
BR112014030585A2 (pt) | 2017-09-26 |
EP2862041A1 (en) | 2015-04-22 |
EP2862041B1 (en) | 2019-12-18 |
WO2013186986A1 (en) | 2013-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5935529B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP5900161B2 (ja) | 情報処理システム、方法およびコンピュータ読み取り可能な記録媒体 | |
JP6886939B2 (ja) | 情報処理装置の制御方法、制御プログラム及び情報処理装置 | |
CN112135049B (zh) | 图像处理方法、装置及电子设备 | |
US8542199B2 (en) | Image processing apparatus, image processing method, and program | |
JP5598232B2 (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
US8988313B2 (en) | Electronic device | |
WO2022156673A1 (zh) | 显示控制方法、装置、电子设备及介质 | |
JP6243112B2 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
CN109766530B (zh) | 图表边框的生成方法、装置、存储介质和电子设备 | |
WO2017043141A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR20180106956A (ko) | 네트워크 카메라를 위한 제어 장치, 제어 방법, 및 저장 매체 | |
JP2013214235A (ja) | 表示制御装置、表示制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150123 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160425 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5935529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |