JP5887264B2 - 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 - Google Patents
物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 Download PDFInfo
- Publication number
- JP5887264B2 JP5887264B2 JP2012514787A JP2012514787A JP5887264B2 JP 5887264 B2 JP5887264 B2 JP 5887264B2 JP 2012514787 A JP2012514787 A JP 2012514787A JP 2012514787 A JP2012514787 A JP 2012514787A JP 5887264 B2 JP5887264 B2 JP 5887264B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- object recognition
- image
- area
- reference color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Description
テンプレートマッチング処理では、テンプレート画素と
カメラが撮像した画素の両画素を総当りで比較することになるため、処理に相当の時間が掛かってしまう。特に、動画像から移動物体を検出する場合には、処理量が膨大になり、処理装置の処理が動画像のフレームレートに追従できない可能性がある。
本実施形態では認識の対象とする物体が自由空間を動く人間の手であることを前提として物体認識装置の構成及び機能を説明するが、対象の物体は人間の手に限定されるものではなく、如何なる物体も認識することが可能である。
本発明の一実施形態に係る物体認識装置は主に以下の4つの処理を実行している。まず、それぞれの処理の特徴について以下に説明する。
図1(a)は認識対象の物体である人間の手が写った画像の例である。従来の技術において、画像内の人間の手を色検出する場合には、例えば0〜30°程度の色相を人間の肌色と仮定し、これに該当する色相部分を検索する。この手法により検索を行い、二値画像にした例を図1(b)に示す。このように、従来の色検出技術では、正確に人間の手を検出することができない。なぜならば、人間の手の肌色の度合いは、掌、甲など部分により異なり、また、太陽、蛍光灯光など外乱光の影響により経時的に変化する。したがって、本発明の一実施形態に係る物体認識装置は第1の基準色と第2の基準色とからなる2つの基準色を用いて色検出を行う。
上記の色検出処理では、対象の物体とこの物体と同一の色を有する他の物体とが相互に接触した状態で配置されていた場合に、これらの物体を単一の物体として検出してしまう。例えば、図2(a)に示す状態で矩形の枠で囲まれた領域を撮像して得られた画像に上述の色検出処理を行うと、図2(b)に示す二値画像が得られる。この画像では、人間の手と顔の区分けができていないため、手および顔が単一の物体となり、手の部分だけを検出することができない。そこで、色検出で得られた領域に対してエッジ検出を行って複数の領域に分割する。詳細には、各画素における色情報を分析し、連結している画像に同一ラベルを付加することで複数の閉領域をグループ分けする。図2(c)は、この閉領域特定部50が閉領域をグループ分けして、ラベリングした例である。この図では、5つのグループが形成されており、認識対象の物体である手の部分はグループ1である。このように、認識対象の物体の周囲に同一色の別の物体と重なって存在しても混同すること無く、それぞれ区分けすることが可能となる。
上述の閉領域検出処理では、複数の閉領域が存在する場合にこの中のどの領域が対象の物体に相当するか判断することができない。そこで、現行のフレーム画像の1つ前に処理をしたフレーム画像の情報を用いて対象の物体に相当する閉領域を識別する。図3(a)に示すように、人間の手を自由空間で移動させた場合に、それを撮像した動画像の時間的に隣接する2つのフレーム画像を重ね合わせる。すると、図3(b)に示すような重複した部分が形成される。そこで、図3(c)のように、この重複した部分を有する閉領域を対象の物体として検出する。
この処理はオプションであり、処理全体に伴う装置の演算負荷を低減させることを目的とする。図4(a)に示したフレーム画像中に存在する対象の物体の位置を認識すると、図4(b)の点線で示すようにこの物体のエッジに隣接する矩形の領域を求める。次に、図4(c)に示すように、図4(b)の点線の領域よりも所定の面積だけ拡大した太字で示された領域を求め、この領域を処理対象領域とし、次のフレーム画像では上述のすべての処理はこの処理対象領域のみに行う。なお、ここで拡大する所定の面積は、特定の値に限定されるものではないが、本実施形態では20〜50%の範囲であることが望ましい。所定の面積が大きいほど物体を認識する確度は向上するが、その反面、処理する負荷量が増大してしまう。物体の移動速度や装置の演算能力などを考慮して最適な値を選択されたい。
以上の4つの処理を行う、本発明の物体認識装置の詳細な機能要素について以下に説明する。
フレーム画像受信部10は、撮像装置から動画像データを受け取る機能を有する。具体的には、撮像装置が生成した所定の形式の動画像データを受け取り、必要に応じてその動画像データを後段の機能要素が処理可能なデータ形式に変換する。
処理対象領域抽出部20は、フレーム画像受信部10から受け取ったフレーム画像から処理対象領域に相当する部分の画像のみを抽出する機能を有する。この処理対象領域はフレーム画像ごとに一意に求められ、後述する処理対象領域決定部70によって決定され、記憶部90に格納されている。なお、使用される処理対象領域は、処理を行う画像フレームの1つ前に処理を行った画像フレームから求められたものである。抽出された画像部分は二値画像生成部40に送られる。
基準色取得部30は、記憶部90にアクセスして、該記憶部90に格納された第1の基準色と第2の基準色とを取得する機能を有する。この第1の基準色および第2の基準色はフレーム画像ごとに一意に求められ、後述する基準色決定部80によって決定され、記憶部90に格納されている。なお、使用される第1の基準色および第2の基準色は、処理を行う画像フレームの1つ前に処理を行った画像フレームから求められたものである。取得された第1の基準色と第2の基準色とは二値画像生成部40に送られる。
二値画像生成部40は、処理対象領域抽出部20から受け取った画像部分を、基準色取得部30から受け取った第1の基準色および第2の基準色を用いて二値画像に変換する機能を有する。生成された二値画像は閉領域特定部50に送られる。
閉領域特定部50は、二値画像生成部40が作成した二値画像の中の閉領域を検出し、その閉領域にラベリングをする機能を有する。ラベリングをした画像は重複閉領域選択部60へ送られる。
重複閉領域選択部60は、閉領域特定部50がラベリングした閉領域の中から認識する物体に相当する閉領域を選択する機能を有する。具体的には、記憶部90に格納された1つ前に処理を行ったフレーム画像の情報を用い、当該1つ前のフレーム画像で認識した物体(手)が占めるエリアと、閉領域特定部50がラベリングした閉領域とを比較し、該物体のエリアと重なり合う閉領域を認識する物体と判断する。次いで、その物体に相当する閉領域を構成するすべての画素の座標を求め、この座標情報を後段の装置に出力すると共に、記憶部90に格納する。
処理対象領域決定部70は、重複閉領域選択部60が認識すべき物体として判断した閉領域を基に、次の画像フレームにおける処理対象領域を求める機能を有する。求めた処理対象領域は記憶部90に格納される。
基準色決定部80は、重複閉領域選択部60が認識すべき物体として判断した閉領域から次の画像フレームの処理で用いる第1および第2基準色を求める機能を有する。求めた第1および第2基準色は記憶部90に格納される。
記憶部90は、認識した物体の画素座標、第1および第2の基準色、処理対象領域などを格納する機能を有し、ハードディスク、メモリ、各種のディスク等で実装される。
本発明の一実施形態に係る物体認識方法では、最初に初期設定を行わなければならない。初期設定は、物体認識装置1000に処理の開始の意志を示し、認識対象となる物体を把握させることを目的とする。以下、図7および図8のフロー図を参照して、この初期設定について説明する。
また、ユーザが正対した時、顔認識により顔の位置を特定し、顔の右側に対象となる手を開いてかざすことにより開始する様にしてもよい。
最初に、撮像装置が右手を継続的に撮像し、撮像した動画像をフレーム画像受信部10に送付する。フレーム画像受信部10がその動画像を受け取ると(ステップS100)、この動画像を構成するフレーム画像を順次、処理対象領域抽出部20に転送する。
20 処理対象領域抽出部
30 基準色取得部
40 二値画像生成部
50 閉領域特定部
60 重複閉領域選択部
70 処理対象領域決定部
80 基準色決定部
90 記憶部
1000 物体認識装置
Claims (10)
- 対象となる物体が含まれた動画像から該物体を認識する物体認識装置であって、
処理対象のフレーム画像が有する色相の中で最も広い面積を占める色相である第1の基準色と、該処理対象のフレーム画像のRGBヒストグラムを作成し、そのヒストグラムの所定の閾値以上で、かつ前記第1の基準色に対して最も離れたピークを示す第2の基準色とを特定する基準色特定手段と、
エッジ検出により、前記フレーム画像の中に存在する閉領域を特定する閉領域特定手段と、
前記閉領域の中で、前記フレーム画像の1つ前に処理を行った画像フレームで特定された前記第1および第2の基準色を含み、かつ前記1つ前の画像フレームで前記物体として認識された閉領域に相当するエリアと少なくとも一部が重複する閉領域を前記物体として認識する対象物体認識手段と、
を備えることを特徴とする物体認識装置。 - 前記1つ前の画像フレームで前記物体として認識された閉領域を包含し、かつ前記フレーム画像の全領域よりも小さいエリアを処理対象領域とする処理対象領域決定手段をさらに備え、
前記基準色特定手段と、前記閉領域特定手段と、前記対象物体認識手段は、前記処理対象領域のみに処理を行うことを特徴とする請求項1に記載の物体認識装置。 - 前記対象物体認識手段が前記処理対象領域内に前記物体が存在しないと判断した場合に、前記処理対象領域決定手段が前記処理対象領域を前記フレーム画像の全領域まで拡大して、該拡大した領域内を基準色特定手段と、閉領域特定手段と、対象物体認識手段とが再度処理を行うことを特徴とする請求項2記載の物体認識装置。
- 対象となる物体が含まれた動画像から該物体を認識する物体認識方法であって、
処理対象のフレーム画像が有する色相の中で最も広い面積を占める色相である第1の基準色を特定する第1の基準色特定段階と、
前記処理対象のフレーム画像のRGBヒストグラムを作成し、そのヒストグラムの所定の閾値以上で、かつ前記第1の基準色に対して最も離れたピークを示す第2の基準色を特定する第2の基準色特定段階と、
エッジ検出により、前記フレーム画像の中に存在する閉領域を特定する閉領域特定段階と、
前記閉領域の中で、前記フレーム画像の1つ前に処理を行った画像フレームで特定された前記第1および第2の基準色を含み、かつ前記1つ前の画像フレームで前記物体として認識された閉領域に相当するエリアと少なくとも一部が重複する閉領域を前記物体として認識する対象物体認識段階と、
を含むことを特徴とする物体認識方法。 - 前記1つ前の画像フレームで前記物体として認識された閉領域を包含し、かつ前記フレーム画像の全領域よりも小さいエリアを処理対象領域とする処理対象領域決定段階をさらに含み、
前記第1の基準色特定段階の処理と、前記第2の基準色特定段階の処理と、前記閉領域特定段階の処理と、前記対象物体認識段階の処理は、前記処理対象領域のみに行われることを特徴とする請求項4に記載の物体認識方法。 - 前記対象物体認識段階で前記処理対象領域内に前記物体が存在しないと判断された場合に、前記処理対象領域を前記画像フレームの全領域まで拡大して、該拡大した領域内で前記第1の基準色特定段階の処理と、前記第2の基準色特定段階の処理と、前記閉領域特定段階の処理と、前記対象物体認識段階の処理とが再度行われることを特徴とする請求項5に記載の物体認識方法。
- 請求項4ないし6の何れか一項に記載の物体認識方法を実行する電子回路。
- 請求項7に記載の電子回路を搭載したジェスチャー認識装置。
- 請求項4ないし6の何れか一項に記載の物体認識方法を処理装置に実行させるプログラム。
- 請求項9に記載のプログラムを格納したコンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012514787A JP5887264B2 (ja) | 2010-05-11 | 2011-05-09 | 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010109409 | 2010-05-11 | ||
JP2010109409 | 2010-05-11 | ||
PCT/JP2011/060649 WO2011142313A1 (ja) | 2010-05-11 | 2011-05-09 | 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 |
JP2012514787A JP5887264B2 (ja) | 2010-05-11 | 2011-05-09 | 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011142313A1 JPWO2011142313A1 (ja) | 2013-07-22 |
JP5887264B2 true JP5887264B2 (ja) | 2016-03-16 |
Family
ID=44914369
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012514787A Expired - Fee Related JP5887264B2 (ja) | 2010-05-11 | 2011-05-09 | 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5887264B2 (ja) |
WO (1) | WO2011142313A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013143749A (ja) * | 2012-01-12 | 2013-07-22 | Toshiba Corp | 電子機器および電子機器の制御方法 |
JP5971108B2 (ja) * | 2012-12-18 | 2016-08-17 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN103971361B (zh) * | 2013-02-06 | 2017-05-10 | 富士通株式会社 | 图像处理装置和方法 |
JP2014182662A (ja) * | 2013-03-19 | 2014-09-29 | Stanley Electric Co Ltd | 操作装置及び操作方法 |
JP6098304B2 (ja) * | 2013-03-29 | 2017-03-22 | 富士通株式会社 | 脈波検出装置、脈波検出方法及び脈波検出プログラム |
JP6229554B2 (ja) | 2014-03-07 | 2017-11-15 | 富士通株式会社 | 検出装置および検出方法 |
JP6542416B1 (ja) * | 2018-03-12 | 2019-07-10 | 東芝エレベータ株式会社 | ロープ検査システム、ロープ検査方法、およびプログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009205469A (ja) * | 2008-02-28 | 2009-09-10 | Alpha Systems:Kk | オブジェクト領域の抽出システムおよび方法 |
JP2010028608A (ja) * | 2008-07-23 | 2010-02-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、再生装置及び画像処理方法 |
JP2010040052A (ja) * | 2009-09-18 | 2010-02-18 | Toshiba Corp | 画像処理装置、画像処理方法、画像処理プログラム |
-
2011
- 2011-05-09 WO PCT/JP2011/060649 patent/WO2011142313A1/ja active Application Filing
- 2011-05-09 JP JP2012514787A patent/JP5887264B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009205469A (ja) * | 2008-02-28 | 2009-09-10 | Alpha Systems:Kk | オブジェクト領域の抽出システムおよび方法 |
JP2010028608A (ja) * | 2008-07-23 | 2010-02-04 | Sanyo Electric Co Ltd | 画像処理装置、撮像装置、再生装置及び画像処理方法 |
JP2010040052A (ja) * | 2009-09-18 | 2010-02-18 | Toshiba Corp | 画像処理装置、画像処理方法、画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
JPWO2011142313A1 (ja) | 2013-07-22 |
WO2011142313A1 (ja) | 2011-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5887264B2 (ja) | 物体認識装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 | |
US9690388B2 (en) | Identification of a gesture | |
JP6417702B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US8442269B2 (en) | Method and apparatus for tracking target object | |
JP5709228B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US8269722B2 (en) | Gesture recognition system and method thereof | |
JP5703194B2 (ja) | ジェスチャ認識装置、その方法、及び、そのプログラム | |
JP2006350434A (ja) | 手形状認識装置及びその方法 | |
JP6007523B2 (ja) | 生成装置、生成プログラムおよび生成方法 | |
JP6028589B2 (ja) | 入力プログラム、入力装置および入力方法 | |
JP2007034525A (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
US10269136B2 (en) | System and method for processing depth images which capture an interaction of an object relative to an interaction plane | |
US20140361981A1 (en) | Information processing apparatus and method thereof | |
JP5656768B2 (ja) | 画像特徴量抽出装置およびそのプログラム | |
US9286513B2 (en) | Image processing apparatus, method, and storage medium | |
JP2016099643A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
CN107357424B (zh) | 一种手势操作的识别方法、设备及计算机可读存储介质 | |
US9727145B2 (en) | Detecting device and detecting method | |
JP5747695B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
KR101200009B1 (ko) | 사용자의 손 동작을 이용하여 제어 기능을 제공하기 위한 프리젠테이션 시스템 및 그 방법 | |
JP6350331B2 (ja) | 追尾装置、追尾方法及び追尾プログラム | |
JP6467994B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
EP2784720B1 (en) | Image processing device and method | |
KR101465940B1 (ko) | 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법 | |
KR101465933B1 (ko) | 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140501 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5887264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |