JP6362085B2 - 画像認識システム、画像認識方法およびプログラム - Google Patents

画像認識システム、画像認識方法およびプログラム Download PDF

Info

Publication number
JP6362085B2
JP6362085B2 JP2014105506A JP2014105506A JP6362085B2 JP 6362085 B2 JP6362085 B2 JP 6362085B2 JP 2014105506 A JP2014105506 A JP 2014105506A JP 2014105506 A JP2014105506 A JP 2014105506A JP 6362085 B2 JP6362085 B2 JP 6362085B2
Authority
JP
Japan
Prior art keywords
image
recognition
detection
face
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014105506A
Other languages
English (en)
Other versions
JP2015219879A (ja
Inventor
祐一 常松
祐一 常松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014105506A priority Critical patent/JP6362085B2/ja
Priority to US14/709,589 priority patent/US9721153B2/en
Priority to CN201510254139.3A priority patent/CN105095853B/zh
Publication of JP2015219879A publication Critical patent/JP2015219879A/ja
Priority to US15/631,728 priority patent/US10146992B2/en
Application granted granted Critical
Publication of JP6362085B2 publication Critical patent/JP6362085B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/179Human faces, e.g. facial parts, sketches or expressions metadata assisted face recognition

Description

本発明は、画像認識システム、画像認識方法およびプログラムに関し、特に、過去に得られた画像に対する画像認識処理を行うために用いて好適なものである。
近年、ネットワークカメラで録画した画像を認識し、認識した結果から得られる付加情報をシステム・サービスに活用しようというニーズが増大している。例えば、特定の人物の検索や、被写体の属性(性別・年齢など)の推定や、人体が移動した軌跡の表示等のユースケースが存在する。こうしたシステムを実現するために必要な画像処理、特徴検出、認識等の公知の技術は、非特許文献1で網羅的にまとめられている。また、特許文献1では、動きベクトルから物体を検出し、その検出の結果から、次の画像での探索位置を推定し、テンプレートマッチングにより物体の追尾を行う手法が開示されている。
リアルタイムで取得する画像に対しての画像認識だけではなく、録画済みの過去の画像に対する再度の認識処理を行いたいケースも発生する。特許文献2では、新規に登録された人物を、過去に録画された画像から検索することをバッチ処理で行う技術が記載されている。過去に録画された画像の数は、撮影する画像のフレームレートやサイズ、並びに、処理をかける期間に応じて大きく膨れ上がってしまう。そこで、特許文献2では、リアルタイム処理時に画像間の変化量をあらかじめ計算しておき、再処理時には所定以上の変化が認められた領域にのみ認識処理を行う。
また、人の顔を検索するシステムだけに限らず、他の画像認識システムでも、録画された画像に対する再処理はよく行われる。例えば、人物の検索・同定を身長・性別・服装等の属性情報を使って行うシステムの場合、1つの撮影対象から抽出すべき属性情報は多岐にわたる。抽出する属性の数分の画像認識処理を、1つの領域に対して行うことになるため、全ての被写体に対して全ての属性情報を漏れなくリアルタイムで抽出することができないケースが発生する。このような場合には、必要に応じて過去に録画された画像に対して必要な属性を都度検出することになる。
画像認識システムを構築した場合、死角ができないように複数台のネットワークカメラを配置することが一般的である。PCを使って画像認識処理を行うのであれば、少ない機器でより多くのネットワークカメラに対応できることが望ましい。
特開2002−373332号公報 特許第5193944号公報
Richard Szeliski著、コンピュータビジョン -アルゴリズムと応用-、共立出版、2013年3月
画像認識処理のスピードがどれだけ高速であっても、過去に録画された画像に対して再処理を行う場合には、処理量・処理時間が非常に大きくなることを避けることが容易ではない。例えば1秒間に10枚の画像を録画する場合、1分間で600枚、1時間で36000枚の画像が取得される。ネットワークカメラが10台あれば過去1時間の画像に対する再処理を行うだけでも、360万枚の画像を処理しなければならない。
また、身長・性別・服装といった属性のように、求めたい画像認識結果が複数存在する場合、処理時間が長くなってしまう。例えば、1人に対して20の属性を検出する場合、1つの属性の検出に50msec要すると仮定すると、1人の認識処理を終えるのに1秒を要する。
そこで、本発明は、画像の再認識処理に要する処理量および処理時間を削減することを目的とする。
本発明の画像認識システムは、画像を取得する画像取得手段と、前記画像に写し出されている物体の検出の結果に対する信頼度を前記物体ごとに導出する導出手段と、複数の画像における同一の物体に対する前記信頼度を比較し、比較した結果に基づいて、画像の再認識処理に用いる画像を登録する登録手段と、を有することを特徴とする。
本発明によれば、画像の再認識処理に要する処理量および処理時間を削減することができる。
ネットワークシステムの構成を示す図である。 ネットワークシステムの機能的な構成を示す図である。 画像認識前提条件算出部の処理を説明するフローチャートである。 画像認識前提条件算出部における算出結果を示す図である。 再処理推奨領域算出部の処理を説明するフローチャートである。 更新前の再処理推奨領域算出部における算出結果を示す図である。 過去の画像における物体の写り方、スコア、及び領域を示す図である。 更新後の再処理推奨領域算出部における算出結果を示す図である。 認識対象と、当該認識対象である際の考慮事項との関係を示す図である。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。尚、以下の実施形態において示す構成は一例に過ぎず、図示された構成に限定されるものではない。
図1は、ネットワークシステム(画像認識システム)の構成の一例を示す図である。
図1において、ネットワークカメラ100、ネットワークストレージ装置200、画像認識サーバ装置300、および画像表示装置400は、ネットワーク回線の一例であるLAN500を介して相互に接続される。
ネットワークカメラ100は、撮像装置の一例である。ネットワークカメラ100は、撮影対象を撮影すると同時に、撮影した画像に対して、物体検知、追尾、および顔認識等の画像認識処理を行う機能を有する。
ネットワークストレージ装置200は、記録装置の一例である。ネットワークストレージ装置200は、ネットワークカメラ100で撮影された画像データや、ネットワークカメラ100内で行われた画像認識処理の結果を、LAN500を介して受信して記録する。
画像認識サーバ装置300は、ネットワークストレージ装置200に記録された過去の画像データに対して画像認識処理を行う。画像表示装置400は、ネットワークストレージ装置200に記録された画像データに、画像認識処理の結果を重畳して、ネットワークストレージ装置200に記録された画像データの再生を行う。また、画像表示装置400は、人物の検索等の諸操作を行うための入力手段を提供する機能も有する。
図2は、ネットワークシステム(ネットワークカメラ100および画像認識サーバ装置300)の機能的な構成の一例を示すブロック図である。具体的に図2では、ネットワークカメラ100で第1の画像認識処理を行うための機能的な構成と、画像認識サーバ装置300で第2の画像認識処理を行うための機能的な構成の一例を示す。
第1の画像取得部110は、CMOS等の撮像素子から得られたデジタル電気信号に対して、所定の画素補間処理や色変換処理を行い、RGBやYUV等のデジタル画像を現像・生成する。また、第1の画像取得部110は、現像を施した後のデジタル画像に対してホワイトバランス、シャープネス、コントラスト、色変換等の画像補正処理を行う。
物体追尾部120は、第1の画像取得部110から取得されるデジタル画像を処理し、時間軸方向の複数の画像にまたがって登場する同一の物体に対して一意なIDを付与する。物体は人体、動体、または車でもよい。同一の物体に対して一意なIDを付与する詳細な処理手順は、例えば、特許文献1の手法を適用することができる。
画像認識前提条件算出部130は、物体追尾部120で検出された物体(同一のIDが付与された物体)ごとに、画像認識の前提条件を満たすか否かを算出する。図3は、画像認識前提条件算出部130の処理の一例を説明するフローチャートである。尚、以下に説明する画像認識処理の詳細は、例えば、非特許文献1の第14章 認識の内容を適用することができる。
ステップS301において、画像認識前提条件算出部130は、未処理のIDが割り振られた物体があるか否かを判定する。この判定の結果、未処理のIDが割り振られた物体が存在する場合、図3のフローチャートによる処理を終了し、物体の写り具合を以降の処理で算出する。未処理のIDが割り振られた物体が存在する場合、画像認識前提条件算出部130は、未処理のIDのうちの1つを選択し、当該IDが割り振られた物体についてステップS302〜S308の処理を行う。
本実施形態では、具体的には、顔が映っているか、上半身が写っているか、全身が写っているか、といった物体の撮像範囲を確認することにより物体の写り具合を判定する。
そこで、画像認識前提条件算出部130は、ステップS302において足元の検出を行い、ステップS304において人体の検出を行い、ステップS305において顔の検出を行う。顔が写っているかどうかは、例えば、顔の検出ができたか否かにより判断される。上半身が写っているかどうかは、例えば、顔の検出と人体の検出とができたか否かにより判断される。全身が写っているかどうかは、例えば、顔の検出と、人体の検出と、足元の検出とができたか否かにより判断される。そこで、図3に示す例では、ステップS308において、画像認識前提条件算出部130は、物体の写っている領域を検出する。
画像認識処理の結果には、認識対象の方向に依存するものもある。このため、画像認識前提条件算出部130は、顔・上半身・全身のそれぞれについて各画像で向いている方向を検出する。図3に示す例では、画像認識前提条件算出部130は、ステップS303において人体が向いている方向の検出を行い、ステップS307において顔が向いている方向の検出を行う。尚、画像認識前提条件算出部130は、先に行っている物体の追尾の結果を参照し、前の画像と現在の画像とを比較して、顔や人体がどの方向に移動しているかを求め、当該方向を顔、人体が向いている方向として代用してもよい。
画像認識前提条件算出部130は、それぞれの検出の際に、検出時のスコアを同時に得る。そこで、本実施形態では、このスコアを持って、望ましい映り方をしているか否かを数値化する。顔にまつわる属性情報の検出では、目・鼻・口といった顔を構成する器官の検出に成功していることを条件とするものがある(以下の説明では、顔を構成する器官を必要に応じて顔器官と称する)。このため、図3に示す例では、画像認識前提条件算出部130は、ステップS306において、顔に対してだけ顔検出処理を行って、顔の各顔器官の検出を行い、各顔器官の検出結果のスコアを算出する。
また、画像認識前提条件算出部130は、顔認識を行って、顔認識の結果のスコアを算出することもできる。顔認識を行う場合、画像認識前提条件算出部130は、例えば、顔器官の検出結果から特徴点を導出する。
尚、スコアは、物体の各部位または全体の検出結果や認識結果の信頼度の一例である。具体的に説明すると、例えば、予め登録されている物体の各部位または全体の情報(ライブラリ)と、検出結果・認識結果との類似度をスコアとすることができる。ライブラリとの比較をせずに、既に検出・認識されている内容と、今回の検出・認識した結果との比較を行い、これらの類似度をスコアとして算出してもよい。
スコアとして、この他に、画像に写っている物体の検出領域の面積(画素数)を使う方法がある。面積が大きい方が、より大きく写っていると考えられ、大きく写っている方が認識に適していると考えられる。そこで、図4に示すように、本実施形態では、画像認識前提条件算出部130は、顔の外接矩形領域のサイズである被写体顔サイズと、全身の外接矩形領域のサイズである被写体全身サイズとを算出する。
また、画像認識前提条件算出部130は、これらの値に所定の係数をかけて足し合わせる等、これらの値を組み合わせてスコアを導出してもよい。以上の処理を各画像に対して実施すると、各IDに対して図4に示すような結果が得られる。図4は、1つの画像の1つの物体に対する画像認識前提条件算出部130における算出結果の一例を表形式で示す図である。図4において、顔撮像スコアは、顔を検出したときに得られるスコアである。人体撮像スコアは、人体を検出したときに得られるスコアである。
また、図4に示すように、本実施形態では、画像認識前提条件算出部130は、顔の外接矩形領域の座標である被写体顔座標と、全身の外接矩形領域の座標である被写体全身座標とを算出する。尚、以下の説明では、被写体顔座標と被写体全身座標を総称する場合には、これら被写体顔座標と被写体全身座標を必要に応じて被写体座標と称する。
以上の処理により、第1の画像取得部110で取得された画像に写し出される各物体(各ID)の属性が得られる。
再処理推奨領域算出部140は、画像認識前提条件算出部130の処理が終わると、現在最も再処理に適しているとされている画像を、最後に処理した画像と比較して、再処理推奨領域の更新を行う。図5は、再処理推奨領域算出部140の処理の一例を説明するフローチャートである。図6は、1つの物体に対する再処理推奨領域算出部140における算出結果の一例を表形式で示す図である。図5のフローチャートは、同一のIDの物体ごとに個別に行われる。
ステップS501において、再処理推奨領域算出部140は、未比較の認識前提条件の項目があるか否かを判定する。認識前提条件は、物体の属性を認識するために必要な前提条件であり、画像認識前提条件算出部130の算出結果から得られるものである。物体が人体である場合、図6に示す例では、認識前提条件の複数の項目として、図6の認識前提条件の欄に示される項目(例えば「体の向き−正面」、「顔の向き−正面」等)が予め設定される。尚、図6に示すように、認識前提条件を構成する各項目は、画像における物体の写り方により定められる。
この判定の結果、未比較の認識前提条件の項目がない場合には、図5のフローチャートによる処理を終了する。
一方、未比較の認識前提条件の項目がある場合には、ステップS502に進む。ステップS502に進むと、再処理推奨領域算出部140は、未選択の認識前提条件の1つを選択する。
次に、ステップS503において、再処理推奨領域算出部140は、現在最も再処理に適しているとされている画像との比較に用いるスコアであって、ステップS502選択した認識前提条件に対応するスコアを算出する。このスコアは、例えば、画像認識前提条件算出部130の算出結果を用いて算出される。ステップS503で算出されるスコアは、物体の各部位または全体の確からしさを評価する評価値の一例である。
図6に示す例では、再処理推奨領域算出部140は、体の向きのスコアを、図3のフローチャートにおいて人体を検出した時のスコアとして導出する。また、再処理推奨領域算出部140は、顔の向きおよび顔の写り具合のスコアを、図3のフローチャートにおいて顔を検出したときのスコアとして導出する。また、再処理推奨領域算出部140は、写っている領域のスコアを、図3のフローチャートにおいて当該写っている領域を検出したときのスコアとして導出する。例えば、写っている領域が、全身、上半身以上、顔である場合には、それぞれ、人体、人体、顔を検出したときのスコアが採用される。尚、図3のフローチャートで算出されたスコアを、そのまま利用する場合には、ステップS503で改めてスコアを算出しなくてもよい。
図6において、推奨画像の欄には、再処理の際に使用する画像として推奨される画像の画像番号が格納される。また、推奨処理領域には、認識前提条件の項目に対応する被写体座標が格納される。図6に示す例では、認識前提条件の項目が、体の向きである場合と、写っている領域−全身・上半身以上である場合、推奨処理領域には、被写体全身座標が格納される。一方、認識前提条件の項目が、顔の向きである場合と、顔の写り具合である場合と、写っている領域−顔である場合と全身・上半身以上である場合には、推奨処理領域には、被写体顔座標が格納される。
次に、ステップS504において、再処理推奨領域算出部140は、ステップS503で算出したスコアと、現在最も再処理に適しているとされている画像のスコアであって、ステップS502で選択した認識前提条件に対応するスコアとを比較する。ここでは、ステップS503で算出したスコアが、現在最も再処理に適しているとされている画像のスコアであって、ステップS502で選択した認識前提条件に対応するスコアよりも大きいか否かを判定する。この判定の結果、ステップS503で算出したスコアが、現在最も再処理に適しているとされている画像のスコアであって、ステップS502で選択した認識前提条件に対応するスコアよりも大きくない場合には、ステップS501の処理に戻る。
一方、ステップS503で算出したスコアが、現在最も再処理に適しているとされている画像のスコアであって、ステップS502で選択した認識前提条件に対応するスコアよりも大きい場合には、ステップS505に進む。
ステップS505に進むと、再処理推奨領域算出部140は、ステップS502で選択した認識前提条件の項目の内容を、今回第1の画像取得部110で取得された画像の内容に変更して更新する。そして、ステップS501の処理に戻る。
以上の処理により、各IDにおける認識前提条件の項目の内容が得られる。
図7は、過去の画像に写し出されている物体の写り方、スコア、及び領域(被写体座標)の一例を示す図である。尚、図7では、図4における被写体顔サイズおよび被写体全身サイズの図示を省略する。また、図7では、被写体座標として、顔と人体のうち検出に成功した領域の被写体座標のみを示す。
過去の画像認識処理において、図7に示す4つの画像が、再処理に適した画像であると判断されているとする。また、これら4つの画像に対する再処理推奨領域算出部140における算出の結果が図6に示すものであるとする。この場合、再処理推奨領域算出部140は、図4と図6とを比較することにより、認識前提条件の各項目の内容を、図6に示す内容から図8に示す内容に更新する。図8において、背景がグレーのセルが更新された項目であり、下線の値が更新された値である。再処理に適した画像(推奨画像)は、スコアが最も良いもの1つを残してもよいし、スコアが所定の差に収まる場合は、複数の画像を再処理に適した画像として残してもよい。また、スコアが良い順に所定の数の画像を再処理に適した画像として残してもよい。図8では、スコアが最も良い(高い)ものを全て推奨画像とする場合を例に挙げて示す。
図2の説明に戻り、記録部150は、配信・保存を行うために、取得した画像データに対して圧縮・符号化を施す。配信用の圧縮方式は、例えば、MPEG4、H.264、MJPEGまたはJPEG等の規格に基づく。さらに、記録部150は、mp4やmov等のファイル形式で画像データのファイル化を行う。各物体の再処理推奨領域、およびファイル化された画像圧縮データは、LAN500を介してネットワークストレージ装置200、または画像認識サーバ装置300へ送信される。これらの装置は、例えば、NFSやCIFS等のネットワークファイルシステム上に画像データの記録を行う。
次に、過去の画像に対する再認識処理の一例を説明する。ユーザは、画像表示装置400に接続されているユーザインターフェースを操作して、特定の物体(例えば人物)を、過去の画像から検索する処理の実行を指示する。ここでは、検索条件の例としてメガネをかけている、身長170cm前後の男性を過去の画像から検索する場合を例に挙げて説明する。また、認識前提条件の各項目の最新の内容は図8に示す内容であるものとする。
前記指示が行われると、画像認識サーバ装置300は、過去の画像に対する再認識処理を実行する。
図2に示す再処理推奨領域参照部310は、ユーザにより指示された認識対象と、当該認識対象である際の考慮事項との関係から、当該認識対象に対応する画像認識前提条件の項目を選択する。図9は、認識対象と、当該認識対象である際の考慮事項との関係の一例を示す図である。この関係は、予め設定されている。
ここでは、メガネをかけている人物および男性を検索するので、図3に示すように、顔が正面から映っている画像を探す必要がある。また、身長が指定されているので、図3に示すように、全身が写っている画像を探す必要がある。
次に、第2の画像取得部320は、該当する画像の取得と当該画像における推奨処理領域の取得を行う。ここでは、現在の再処理推奨領域が図8に示す内容であるものとしている。図9に示すように、メガネを検出する場合には、顔が正面から映っている画像を処理する必要がある。このため、画像番号100、500の(x, y, width, height) = (25, 500, 150, 150)、(125, 200, 75, 75)をそれぞれ処理する必要がある。また、図9に示すように、身長を推定する場合には、全身が映っている画像を処理する必要がある。このため、画像番号500の (x, y, width, height) = (120, 200, 100, 300)を処理する必要がある。また、図9に示すように、年齢の推定する場合には、顔が正面から映っている画像を処理する必要がある。このため、画像番号100、500の(x, y, width, height) = (25, 500, 150, 150)、(125, 200, 75, 75)をそれぞれ処理する必要がある。したがって、第2の画像取得部320は、これらの画像番号100、500の推奨処理領域を取得する。
次に、認識処理部330は、第2の画像取得部320で取得された画像の推奨処理領域に対して、実際の画像認識処理を行う。
再処理推奨領域参照部310、第2の画像取得部320、および認識処理部330は、物体追尾部120で付与されたID毎に繰り返し行うことで過去の画像に対する再認識処理を効率よく行うことができる。
再認識処理を行う対象となる過去の画像はどれでもよいわけではなく、被写体の写り方に大きく依存する。顔に対して認識処理を行うのであれば目・鼻・口といった顔器官をきちんと検出でき、且つ、顔器官が大きく、くっきりと写っている画像に対して画像認識処理を行うことが望ましい。身長を推定する場合には、頭からつま先まで全身が写っている画像に対して画像認識処理を行うことが望ましい。さらに、高精度に且つ短時間で再認識処理を終えるには、過去の画像の中から適した画像を選択する必要がある。
そこで本実施形態では、認識前提条件の複数の項目のそれぞれについて、画像に写し出されている物体のスコアを導出することを、画像に写し出されている物体のそれぞれについて行う。そして、過去に得られた画像と新たに得られた画像の同一の物体の同一の項目における評価値を比較し、比較した結果から、当該物体の当該項目に対応する画像と当該画像における推奨処理領域を導出し、当該画像と当該推奨処理領域とを特定する情報を登録する。このように、過去の画像に対する再認識処理に適した画像を選別し、当該画像における推奨処理領域を求めておく。
その後、過去の画像に対する再認識処理を行う場合には、ユーザにより指定された認識対象に対応する項目(考慮事項)を導出し、導出した項目に対応する画像と当該画像における推奨処理領域とを抽出する。そして、抽出した画像の推奨処理領域に対して画像認識処理を行う。このように、再認識処理では、認識対象に見合う画像の推奨処理領域を抽出し、当該推奨処理領域に対して画像認識処理を行う。
したがって、画像の再認識処理時に不適切な画像を処理することで生じる認識精度の低下や処理時間の増大を引き起こすことなく、認識に適した画像を処理することで再認識処理の量および時間を大幅に短縮することができる。
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
(その他の実施例)
本発明は、前述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:ネットワークカメラ、300:画像認識サーバ装置、400:画像表示装置

Claims (8)

  1. 画像を取得する画像取得手段と、
    前記画像に写し出されている物体の検出の結果に対する信頼度を前記物体ごとに導出する導出手段と、
    複数の画像における同一の物体に対する前記信頼度を比較し、比較した結果に基づいて、画像の再認識処理に用いる画像を登録する登録手段と、
    を有することを特徴とする画像認識システム。
  2. 前記導出手段は、画像における物体の写り方により定められる複数の項目ごとに、前記画像に写し出されている物体の、当該項目に応じた検出の結果に対する信頼度を導出し、
    前記登録手段は、複数の画像における同一の物体の同一の項目に対する前記信頼度を比較し、比較した結果に基づいて、画像の再認識処理に用いる画像を示す情報と、当該画像における処理領域を示す情報とを、前記項目ごとに登録することを特徴とする請求項1に記載の画像認識システム。
  3. 画像の再認識処理の実行を受け付ける受け付け手段と、
    前記受け付け手段により受け付けられた再認識処理の内容に応じた前記項目から、前記再認識処理に用いる画像の処理領域を抽出する抽出手段と、
    前記処理領域に対して、前記再認識処理を行う再認識処理手段と、
    を更に有することを特徴とする請求項2に記載の画像認識システム。
  4. 前記項目は、物体の向きを特定する少なくとも1つの方向と、物体の写っている領域を特定する少なくとも1つの領域とを含むことを特徴とする請求項2または3に記載の画像認識システム。
  5. 物体が移動する方向の検出、人体の足元の検出、人体が向いている方向の検出、人体の検出、顔の検出、顔を構成する器官の検出、および顔が向いている方向の検出のうち、少なくとも1つを行う検出手段を更に有し、
    前記導出手段は、前記検出手段により検出された結果に基づいて、前記信頼度を導出することを特徴とする請求項1〜4の何れか1項に記載の画像認識システム。
  6. 前記導出手段は、人体の検出の結果に基づく前記信頼度、顔の検出の結果に基づく前記信頼度、顔を構成する器官の検出の結果に基づく前記信頼度、顔認識の結果に基づく前記信頼度、人体の検出領域の画素数に基づく前記信頼度、および顔の検出領域の画素数に基づく前記信頼度のうち、少なくとも1つを導出することを特徴とする請求項1〜5の何れか1項に記載の画像認識システム。
  7. 画像を取得する画像取得工程と、
    前記画像に写し出されている物体の検出の結果に対する信頼度を前記物体ごとに導出する導出工程と、
    複数の画像における同一の物体に対する前記信頼度を比較し、比較した結果に基づいて、画像の再認識処理に用いる画像を登録する登録工程と、
    を有することを特徴とする画像認識方法。
  8. 請求項1〜6の何れか1項に記載の画像認識システムの各手段としてコンピュータを機能させることを特徴とするプログラム。
JP2014105506A 2014-05-21 2014-05-21 画像認識システム、画像認識方法およびプログラム Active JP6362085B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014105506A JP6362085B2 (ja) 2014-05-21 2014-05-21 画像認識システム、画像認識方法およびプログラム
US14/709,589 US9721153B2 (en) 2014-05-21 2015-05-12 Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type
CN201510254139.3A CN105095853B (zh) 2014-05-21 2015-05-19 图像处理装置及图像处理方法
US15/631,728 US10146992B2 (en) 2014-05-21 2017-06-23 Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014105506A JP6362085B2 (ja) 2014-05-21 2014-05-21 画像認識システム、画像認識方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2015219879A JP2015219879A (ja) 2015-12-07
JP6362085B2 true JP6362085B2 (ja) 2018-07-25

Family

ID=54556280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014105506A Active JP6362085B2 (ja) 2014-05-21 2014-05-21 画像認識システム、画像認識方法およびプログラム

Country Status (3)

Country Link
US (2) US9721153B2 (ja)
JP (1) JP6362085B2 (ja)
CN (1) CN105095853B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6735592B2 (ja) * 2016-04-08 2020-08-05 キヤノン株式会社 画像処理装置及びその制御方法、画像処理システム
US11026634B2 (en) * 2017-04-05 2021-06-08 doc.ai incorporated Image-based system and method for predicting physiological parameters
US11145421B2 (en) * 2017-04-05 2021-10-12 Sharecare AI, Inc. System and method for remote medical information exchange
WO2019171542A1 (ja) * 2018-03-08 2019-09-12 三菱電機株式会社 顔画像生成装置および顔画像生成プログラム
WO2020185973A1 (en) 2019-03-11 2020-09-17 doc.ai incorporated System and method with federated learning model for medical research applications
US11915802B2 (en) 2019-08-05 2024-02-27 Sharecare AI, Inc. Accelerated processing of genomic data and streamlined visualization of genomic insights
CN113518474A (zh) * 2020-03-27 2021-10-19 阿里巴巴集团控股有限公司 检测方法、装置、设备、存储介质和系统
US11256801B2 (en) 2020-04-21 2022-02-22 doc.ai, Inc. Artificial intelligence-based generation of anthropomorphic signatures and use thereof

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4467838B2 (ja) 2001-06-15 2010-05-26 パナソニック株式会社 画像認識装置および画像認識方法
JP4775306B2 (ja) * 2007-04-23 2011-09-21 ソニー株式会社 画像処理装置、撮像装置、および画像表示制御方法、並びにコンピュータ・プログラム
JP5329940B2 (ja) * 2008-12-19 2013-10-30 キヤノン株式会社 画像処理装置、その制御方法、及び撮像装置
JP5193944B2 (ja) * 2009-05-20 2013-05-08 株式会社日立国際電気 画像処理方法
JP2011027847A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Af枠自動追尾システム
JP5567853B2 (ja) * 2010-02-10 2014-08-06 キヤノン株式会社 画像認識装置および方法
JP2011253374A (ja) * 2010-06-02 2011-12-15 Sony Corp 情報処理装置、および情報処理方法、並びにプログラム
CN103403762A (zh) * 2011-03-04 2013-11-20 株式会社尼康 图像处理装置及图像处理程序
CN102170563A (zh) * 2011-03-24 2011-08-31 杭州海康威视软件有限公司 智能人员卡口系统及人员监控管理方法
JP5923723B2 (ja) * 2011-06-02 2016-05-25 パナソニックIpマネジメント株式会社 人物属性推定システム、人物属性推定装置、及び人物属性推定方法
KR101381439B1 (ko) * 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
US8994558B2 (en) * 2012-02-01 2015-03-31 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
US9135273B2 (en) * 2012-05-24 2015-09-15 Hitachi Kokusai Electric Inc. Similar image search system
KR102205229B1 (ko) * 2013-01-11 2021-01-19 선 페이턴트 트러스트 데이터 처리방법, 프리코딩 방법, 통신장치

Also Published As

Publication number Publication date
US9721153B2 (en) 2017-08-01
US10146992B2 (en) 2018-12-04
CN105095853A (zh) 2015-11-25
US20150339523A1 (en) 2015-11-26
CN105095853B (zh) 2020-10-30
US20170286758A1 (en) 2017-10-05
JP2015219879A (ja) 2015-12-07

Similar Documents

Publication Publication Date Title
JP6362085B2 (ja) 画像認識システム、画像認識方法およびプログラム
AU2022252799B2 (en) System and method for appearance search
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP4594945B2 (ja) 人物検索装置および人物検索方法
JP7282851B2 (ja) 装置、方法及びプログラム
JP6655878B2 (ja) 画像認識方法及び装置、プログラム
KR101603017B1 (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
WO2020017190A1 (ja) 映像解析装置、人物検索システムおよび人物検索方法
JPWO2006025272A1 (ja) 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム
JP2021503139A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6349448B1 (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
US20240104769A1 (en) Information processing apparatus, control method, and non-transitory storage medium
EP3699865B1 (en) Three-dimensional face shape derivation device, three-dimensional face shape deriving method, and non-transitory computer readable medium
US11527090B2 (en) Information processing apparatus, control method, and non-transitory storage medium
JP2019040592A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
US20220207261A1 (en) Method and apparatus for detecting associated objects
JP6762754B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN116433939B (zh) 样本图像生成方法、训练方法、识别方法以及装置
JP5582924B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019103029A (ja) 情報処理装置、色補正方法、及びコンピュータプログラム
JP2017033390A (ja) 画像解析装置及びプログラム
JP2021125048A (ja) 情報処理装置、情報処理方法、画像処理装置、及びプログラム
JP2017102748A (ja) 瞳画像学習装置、瞳位置検出装置及びそのプログラム
JP2017045423A (ja) 映像処理装置、映像処理方法、映像処理システム、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170512

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180619

R151 Written notification of patent or utility model registration

Ref document number: 6362085

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151