JP6538856B2 - 影像識別システムと方法 - Google Patents

Description

本発明は安全領域に関し、特別にロボットシステムの影像識別システム及識別方法。

現在、安全インデックスはますます重要視されて、沢山の安全システムは暗証番号検証方法、パスワード検証方法などで識別するが、このような識別方法でも安全性は低く、他人に解読されやすく、もっと高い安全性要求を満足できない。そのため、指紋、虹彩、人の顔により識別する検証方式はますます高安全性の安全保障システムに使われてきた。人の顔は人体の他の生物特徴（指紋、虹彩など）と同じように、生まれた場合、もう決まっていて、その唯一性と複製しにくい特性は身分識別の可能性を提供した。別の生物と比べると、人の顔の識別は以下の特徴がある：
第一は強制しないことで、ユーザは顔収集設備と協力する必要なく、無意識の状態で人の顔の画像を得ることができる。このような方式は“強制性”を含まない。

次は接触しないことで、ユーザは直接設備と接触させなく人の顔の画像を得ることができる。

また、実際使う場合、複数の人の顔の画像を検出し、判定して、識別することができる。

その他、人の顔の識別は容貌で人を見分ける習慣に合って、操作が簡単で、結果が直観的で、秘匿性が良い特徴がある。

現在の人間の顔の識別システムは普通人間の顔の影像を収集するカメラと、光線を補充する光源と、顔収集位置を提示する補助ポジショナーあるいはマークと、顔識別用のソフトウェアを使うコンピュータ（組み込み式のコンピュータでもよい）と、識別結果を処理する、あるいは表示する装置、例えば提示ランプ、ドアを開けるリレー、識別結果を記録するデータベースとを含む。

セキュリティ保証システムに使う顔識別システムは以下のような欠点があり、すなわち、第一は、顔を収集する場合、顔が全然移動しなく固定していることは必要であり、第二は、光線に対しての要求が高いから、補償光源により光線条件を固定させるべきであり、第三は、コンピュータが1回限り使われるから、コンピュータの速度に対しての要求は高くない。

既存技術の不足を克服するため、本発明は以下のような影像識別システムを提供し、本発明の影像識別システムはロボットと、光源と、顔検出モジュールと、顔識別モジュールとを含む。

ロボットは画像収集モジュールを有し、影像収集駆動モジュールは当該画像収集モジュールを駆動して、ロボットの視野範囲内の画像を収集する。

光源は上記の画像収集モジュールが画像を収集する時光線の不足を補償する。

顔検出モジュールは上記の画像収集モジュールが収集した画像により、画像に出る人間の顔の影像に対して位置決めをする。

顔識別モジュールは位置を決定した人間の顔の影像を前処理し、それから、データベースに記憶している、身分をすでに知った影像の特徴情報と照合して、現在の人間の顔の影像の身分情報と信用率とを判定する。

上記の影像識別システムでは、上記の画像収集モジュールはハイビジョンカメラであって、上記のハイビジョンカメラは静止画像と少なくとも30フレーム/secのビデオ画像とを収集することができ、
上記のハイビジョンカメラはMIPIあるいはUSBインターフェイスを経由して上記のロボットと連接する。

上記の影像識別システムでは、上記の光源は雰囲光（atmosphere light）光源と赤外線光源とを含み、
雰囲光光源により光線が補足され、画像収集モジュールが画像を収集する時、収集した画像が識別の要求を満足することができない場合、上記の赤外線光源により光線が補足される。

上記の影像識別システムでは、上記の前処理は画像に出た人間の顔の影像に対しての角度矯正処理と光線処理とを含む（明るさの正常化と偏光に対しての修正とを含む）。

上記の影像識別システムでは、上記のデータベースはローカルデータ記憶モジュールとネットワークサーバーのデータ記憶モジュールとを含む。

上記の影像識別システムでは、上記のロボットはまた発生装置を有し、上記のデータベースに連接し、上記の発声装置は上記の顔識別モジュールが照合した結果により、異なるタイプの提示音を発する。

上記の影像識別システムでは、上記のシステムはまた、上記の顔識別モジュールが照合した結果の記録と/或いはフィードバックをする記録-フィードバック装置を含む。

上記の影像識別システムでは、上記の顔識別モジュールはSVMアルゴリズムで照合する。

影像識別システムが使う影像識別方法は、以下のステップS1〜S3を含み、すなわち、
ステップS1：上記のロボットの画像収集モジュールを使って、ロボットの視野以内の画像を収集し、画像を収集する時、一つの光源を使って光線を補足する。

ステップS2：上記の顔検出モジュールを使って、上記の画像収集モジュールが収集した画像に出た人間の顔の影像を位置決め処理する。

ステップS3：上記の顔識別モジュールを使って、位置決め処理した人間の顔の影像を前処理して、それから、データベースに記憶している、身分をすでに知った影像の特徴情報と照合して、現在の人間の顔の影像の身分情報と信用率とを判定する。

上記の影像識別方法では、もし現在の人間の顔の影像の身分情報とデータベースに記憶している、身分をすでに知った影像の特徴情報と合わない場合、続けて上記のステップS1〜ステップS3をする。

図1は本発明が提供した身分識別システムの構成と運行例である。

以下、図面と具体の実施例により本発明を詳しく説明するが、以下の説明は本発明に対しての限定ではない。

以下の記載には本発明を理解するため、たくさんの具体的な細部を提供したが、本発明は一つの細部あるいは複数の細部がなくでもよく実施でき、これは当業者に対して理解しやすいことである。他の例では、本発明と混淆しないために、本領域の公知技術の一部分技術特徴を説明しなかった。

もっとよく本発明を理解するため、以下の説明では、詳しいステップ及び詳細の構成を記載し、本発明の技術案を詳しく解釈する。本発明の好ましい実施例は以下の通りであり、以下の詳細記載以外、本発明は別の実施方式を有することも可能である。

本発明がロボットの視覚システムの一部分として、人間の顔の識別機能を実現するため、ロボットを使う場合以下の課題を解決することも必要である。第一は、人間の顔はいろいろな姿勢でロボットの視野の任意位置に現れてることである。第二は、照明条件はいろいろあって、偏光光源あるいは補償のない光源を使うこともある。第三は、ロボットの視野に現れた人間の顔をリアルタイム的に識別して、高い応答速度は必要であって、また、人間の顔の身分が変化する場合、連続的に識別することによりリアルタイム的にフィードバックすることも必要である。

以上の課題を解決するため、本実施例は影像識別システムを提供し、この影像識別システムはロボットと、光源と、顔検出モジュールと、顔識別モジュールとを含む影像識別システムであって、
ロボットは、画像収集モジュールを有し、影像収集駆動モジュールにより当該画像収集モジュールが駆動され、ロボットの視野の範囲内の画像を収集し、
光源は上記の画像収集モジュールが画像を収集する場合光線を補足し、
顔検出モジュールは上記の画像収集モジュールが収集した画像により、画像に現れた人間の顔の影像に対して位置決めし、
顔識別モジュールは位置決めした人間の顔の影像に対して前処理をして、それから、データベースに記憶している、身分をすでに知った影像の特徴情報と照合して、現在の人間の顔の影像の身分情報と信用率とを判定する。

本発明の実施例では、ロボットの画像収集モジュールとして、ハイビジョンカメラを使ってもよく、もっと好ましいのは、当該ハイビジョンカメラは静止画像と少なくとも30フレーム/secのビデオとを収集することができ、高速影像収集能力がある。たとえば、撮影目標がロボットの視野の範囲内を移動する速度が速すぎでも、本発明を使ってはっきりした画像を得ることができ、上記ハイビジョンカメラはMIPIあるいはUSBインターフェイスを経由してロボットと連接してもよい。好ましい実施例では、ロボットはモータにより画像収集モジュールの撮影の視野範囲と角度をリアルタイムで調整でき、たとえば、可視範囲内を人間が移動することが検出された場合、当該モータで画像収集モジュールを駆動して、移動する撮影目標を追跡して撮影することができ、例えば、撮影目標と同時に移動させて、拡大して撮影し、収集した画像の解像度を上げる。

本発明の実施例では、上記の光源は雰囲光光源と赤外線光源とを含んでもよく、なかでも、雰囲光光源はロボット自分持っている光源であり、輝度が均一で、欠点は輝度があまり高くなく、方向性がない。また、輝度は別のプライオリティレベルが高い応用により制御されることも可能であり、時には閉められたこともあるから、完全的に光線を補足する要求は満足できない。本発明の添加した赤外線発光装置は主に影像に対して光線を補足するためのものである。発光パワーは影像識別システムにより有限的に制御されるため、異なるシーンでも安定的に光線を補足することができる。例えば、雰囲光光源が光線を補足して、画像収集モジュールが画像を収集する時、もし収集した画像を識別することはできなかったら、赤外線光源を使って光線を補足すると、はっきりした画像を得ることができる。

本発明の当該実施例では、顔検出モジュールを使って位置決め（ポジショニング；Positioning）をして、すなわち、ロボットが収集した全視野影像で人間の顔の位置をポジショニングして、既存の安全システムでは、位置が決まっているから、普通このステップは要らない。それから、顔識別モジュールを使ってポジショニングした人間の顔の影像を前処理して、それから、データベースに記憶している、身分をすでに知った影像の特徴情報と照合して、現在の人間の顔の影像の身分情報と信用率とを判定する。顔識別モジュールは画像に出た人間の顔の影像に対しての角度矯正処理と光線処理とをすることができる（明るさの正常化と偏光に対しての修正とを含む）。人の顔の画像を収集する場合環境と角度の変化は大きいから、識別率を上がるため、本発明は顔識別モジュールが収集してポジショニングした人間の顔の影像を角度矯正処理した同時に、組み込み式の識別技術により影像の光線が処理されて、照合しやすく、識別率も高くなった。

本発明の当該実施例では、上記のデータベースはローカルデータ記憶モジュールとネットワークのサーバーのデータ記憶モジュールとを含んでもよく、なかでは、ローカルデータ記憶モジュールでは、ロボットに基づいた組み込み式のシステムに、特徴照合に基づいた顔識別技術を使って、まず身分をすでに知った人間の顔の画像の特徴データベースを構成し、そして、リアルタイム的に収集した人間の顔の画像から同じ類型の特徴を取って、距離関数を使って現在の人間の顔とデータベースにおける人間の顔との特徴距離を照合し、可能性が一番大きい身分を判定し、信用率を提供する。また、ネットワークのサーバーのデータ記憶モジュールに基づいて、沢山の計算資源（Computing resource）と応用しやすい構成とを有するため、本発明は深い学習モデル（deep learning model）に基づいた顔識別技術を使って、深い学習により、人間の顔識別用の多層神経ネットワークモデルを技術訓練し、当該多層神経ネットワークモデルはデータベースにおける人間の顔の特徴を生成するものであり、SVMアルゴリズム（サポートベクトルマシン（Support Vector Machine）は訓練できる機器学習方法である）あるいは他の標準分類器をおくｔ使ってデータベースにおける人間の顔の類別を構成し、そして、リアルタイムで収集した人間の顔の影像の模型の特徴を計算し、また分類器で人間の顔の影像の身分と信用率を判定する。組み込み式の特徴照合識別技術は20〜50人の識別をすることができ、適当な光線と角度変更範囲以内で、20人に対しての識別正確率は90%以上であり、50人に対しての正確率は80%以上であり、サーバは深い学習の識別技術に基づいて、50人以上に対しての識別正確率は97%以上である。

本発明の実施例では、ロボットは発声装置を有してもよく、当該発声装置は上記のデータベースに連接し、当該発声装置は顔識別モジュールが照合する結果により、異なる音声を発してプロンプトする（to prompt）。例えば、顔識別モジュールが照合して正しいと判定した場合、発声装置はデータベースから現在の顔の影像と対応するプロンプト音声、例えば“今日は、陳先生”を取り出すことができる。もし繰り返して照合しても識別できなかったら、あいさつの時、身分情報を含まない、簡単のあいさつ、例えば“今日は”のようにあいさつをしていい。実施例として、本発明は入口の警備システムと連接し、照合して識別できる場合、この人をパスさせて、識別できない場合、この人をパスさせない。

本発明のこの実施例では、本発明が提供する影像識別システムはまた上記の顔識別モジュールが照合した結果の記録と/或いはフィードバックをする記録-フィードバック装置を含む。記録の機能とフィードバックの機能両方とも有する必要ではなく、また、両方とも同時に効く必要ではなく、ある場合、記録の機能、あるいはフィードバックの機能しか使わない。

また、本発明は上記の影像識別システムの識別方法を提供して、この方法は以下のステップS1〜ステップS3を含み、すなわち、
ステップS1：上記のロボットの画像収集モジュールを使って、視野以内の画像を収集し、画像を収集する時、一つの光源を使って光線を補足し、
ステップS2：上記の顔検出モジュールを使って、上記の画像収集モジュールが収集した画像に出た人間の顔の影像を位置決め処理し、
ステップS3：上記の顔識別モジュールを使って、位置決め処理した人間の顔の影像を前処理して、それから、データベースに記憶している、身分をすでに知った影像の特徴情報と照合して、現在の人間の顔の影像の身分情報と信用率とを判定する。

もし現在の人間の顔の影像の身分情報とデータベースに記憶している、身分をすでに知った影像の特徴情報と合わない場合、続けて上記のステップS1〜ステップS3をする。

身分識別システムの運行フローは図1に示すように、まず、ロボットのあいさつ用のアプリケーション（Say "hello" application）は識別する請求を影像収集駆動モジュールに出して、影像収集駆動モジュールはこの請求を受けて、カメラから転送してきた影像を顔検出モジュールに転送し、検出用のソフトウェアは位置決めした顔の影像を切り取って前処理して、そして顔識別モジュールに送り、顔識別モジュールは識別の結果を結果確認モジュールに送り、判定の結果により、システムは対応の操作をする。もし正しいなら、結果をあいさつアプリケーションに転送し、当該アプリケーションは識別した身分により発声装置を使って、カメラ影像におけるユーザにあいさつして、もし正しくないなら、改めて影像収集駆動モジュールに識別する請求を送り、改めて識別のフローに入る。識別結果確認モジュールが判定する主な根拠は顔識別ソフトウェアが転送する結果の信用率である。一番悪い状況では、識別が誤る時改めて請求を発送する回数はあいさつアプリケーションで請求超過時間により制御され、確認モジュールが続いて改めて請求を発送するか否かを制御する。もし識別時間が上回って、正確な結果を得ることがまだなかったら、識別が失敗したと思って、この時、あいさつアプリケーションで依然身分情報のない普通のあいさつ、例えば“今日は”をしていい。

以上に説明したように、本発明は上記の技術案を使うから、人間の顔を識別する場合、顔の姿勢を固定させなくても識別でき、また、ローカルデータあるいはネットワークのサーバーのデータに基づいて識別でき、識別の正確性をあげ、また、適切なカメラと、運算用のハードウエアモジュールと、運算フレームと採用することにより、顔識別過程をリアルタイム性に満足させる。

以上は本発明の好ましい実施例を説明したが、本発明は上記の特定の実施方式に限定するものではなく、詳しく記載していない設備と構成は本領域の普通の方式とも言え、実施できる。当業者は本発明の技術案の範囲を超えない場合、上記の方法と技術内容を使って本発明の技術案をいろいろ変化させ、いろいろ修正でき、あるいは同じ変更の等価実施例にすることができる。そのようにしても本発明の実質内容は同じである。そのため、本発明の技術案を離れていない内容、本発明の技術の実質により、上記の実施例に対しての簡単な修正、等価的な変更、修飾などはみんな本発明の技術案の保護範囲に属する。

Claims (9)

1. ロボットと、光源と、顔検出モジュールと、顔識別モジュールとを含む影像識別システムであって、
   前記ロボットは、画像収集モジュールを有し、影像収集駆動モジュールにより前記画像収集モジュールが駆動され、前記ロボットの視野の範囲以内の画像を収集し、
   前記光源は、前記画像収集モジュールが前記画像を収集する場合、光線不足になると補充するものであり、
   前記顔検出モジュールは、前記画像収集モジュールが収集した前記画像により、前記画像に出た人間の顔の影像に対して位置決めをし、
   前記顔識別モジュールは、位置決めした前記人間の顔の影像を前処理して、データベースに記憶している、身分をすでに知った影像の特徴情報と照合して、現在の人間の顔の影像の身分情報と信用率とを判定し、
   前記光源は、輝度が均一な光源と赤外線光源とを含み、
   前記輝度が均一な光源により光線が補足されても、前記画像収集モジュールが前記画像を収集する時、収集した前記画像が識別の要求を満足することができない場合、前記赤外線光源により光線が補足されることを特徴とする、
   影像識別システム。
2. 前記画像収集モジュールは、ハイビジョンカメラであって、前記ハイビジョンカメラは、静止画像と少なくとも30フレーム/secのビデオとを収集することができ、
   前記ハイビジョンカメラは、MIPIあるいはUSBインターフェイスを経由して前記ロボットと連結することを特徴とする請求項１に記載の影像識別システム。
3. 前記前処理は、前記画像に出た人間の顔の影像に対する角度矯正処理と光線処理とを含むことを特徴とする請求項１に記載の影像識別システム。
4. 前記データベースは、ローカルデータ記憶モジュールとネットワークのサーバーのデータ記憶モジュールとを含むことを特徴とする請求項１に記載の影像識別システム。
5. 前記ロボットは、さらに発声装置を有し、前記発声装置は、前記データベースに連結し、前記発声装置は、前記顔識別モジュールが照合する結果により、異なるタイプの提示音を発することを特徴とする請求項１に記載の影像識別システム。
6. 前記影像識別システムは、さらに、前記顔識別モジュールが照合した結果を記録し、および／または、前記照合した結果をフィードバックする記録-フィードバック装置を含むことを特徴とする請求項１に記載の影像識別システム。
7. 前記顔識別モジュールは、SVMアルゴリズムで照合することを特徴とする請求項１に記載の影像識別システム。
8. 請求項１〜７のいずれか一項に記載の影像識別システムの影像識別方法であって、
   ステップS1：前記ロボットの前記画像収集モジュールを使って、前記視野の範囲以内の前記画像を収集し、前記画像を収集すると同時に、前記光源を使って光線を補充すること、
   ステップS2：前記顔検出モジュールを使って、前記画像収集モジュールが収集した前記画像における前記人間の顔の影像を位置決め処理すること、
   ステップS3：前記顔識別モジュールを使って、前記位置決め処理した前記人間の顔の影像を前記前処理して、前記データベースに記憶している前記身分をすでに知った影像の特徴情報と照合して、前記現在の人間の顔の影像の身分情報と前記信用率とを判定すること、
   を含む影像識別方法。
9. ステップS3では、前記現在の人間の顔の影像の身分情報と、前記データベースに記憶している前記身分をすでに知った影像の特徴情報とが合わない場合、続けて前記ステップS1〜ステップS3を実行することを特徴とする請求項８に記載の影像識別方法。

Images