JP6370052B2 - 情報処理システム及び情報処理システムの制御方法 - Google Patents

Description

本発明は、情報処理システム及び情報処理システムの制御方法に関するものである。

近年、街中や道路に加えて、店舗内やオフィスビルにもネットワークカメラの設置が普及してきている（特許文献１参照）。これは従来までのネットワークカメラでの監視という目的に加えて、ネットワークカメラで取得できる映像の高解像化により、個人の識別が可能になり、商業施設やオフィスでの不正行為の特定や防止が行えるようになったからである。更に今後はこれらの監視のみならず、ネットワークカメラの映像から人物の特定を行い、商業施設やオフィス内で特定した人物に対して新たなサービスを展開するようなマーケティングへの応用も始まってきている。

特開２００９−１０４５９９号公報

一方で、このネットワークカメラを用いた顔認証技術においては、認証速度は速いが、類似度が所定の閾値以上であれば、他人であっても本人と特定してしまうという認識精度が低いといった弱点がある。
特に不特定多数の人物を映像の中から探し出すような事を行う場合には認識精度は更に低下してしまう。また、この認証精度は顔認証を行うためのデータベースの認証元データの量にも依存しており、データベースへの登録者数の増加に伴い、誤り率がさらに上昇し、誤認識が多くなる課題があった。

本発明は、上記の課題を解決するためになされたもので、本発明の目的は、撮影されるユーザの情報を登録されたユーザの特徴情報と照合する際に、照合すべきユーザ候補を限定して、効率よく照合処理を完了して、かつ照合精度を向上できる仕組みを提供することである。

上記目的を達成する本発明の情報処理システムは以下に示す構成を備える。
外部装置から送信されたプリントジョブに基づいて印刷する印刷装置と、前記印刷装置とネットワークを介して通信可能であって、前記印刷装置の周囲にいる人を撮像可能な撮像手段を有する撮像システムと、を備え、前記印刷装置は、前記プリントジョブに関する所定の情報を前記撮像システムに送信し、前記撮像システムは、前記撮像手段によって撮像された人の特徴情報と比較されるべき特徴情報を受信した前記所定の情報に基づいて予め記憶された複数の特徴情報の中から特定し、特定された前記特徴情報と前記撮像手段によって撮像された人の特徴情報との比較結果を、前記ネットワークを介して前記印刷装置に送信する、ことを特徴とする。

本発明によれば、撮影されるユーザの情報を登録されたユーザの特徴情報と照合する際に、照合すべきユーザ候補を限定して、効率よく照合処理を完了して、かつ照合精度を向上できる。

画像処理システムの構成を説明するブロック図である。 画像処理装置とカメラの構成の一例を示した図である。 ジョブ管理テーブルの一例を示す図である。 画像処理装置の制御方法を説明するフローチャートである。 撮像装置の制御方法を説明するフローチャートである。 撮像装置の制御方法を説明するフローチャートである。 画像処理システムの構成を説明するブロック図である。 画像処理システムの制御方法を説明するフローチャートである。 撮影した映像の一例を示す図である。

次に本発明を実施するための最良の形態について図面を参照して説明する。
＜システム構成の説明＞
〔第１実施形態〕
図１は、本実施形態を示す画像処理システムの構成を説明するブロック図である。
図１において、１０１は画像処理装置で、画像の編集及び、印刷やＦＡＸ、コピーといった機能処理を実行するためのＣＰＵ、ＲＯＭ、ＲＡＭ等を含むハードウエアとソフトウエアを備えて構成されている。さらに、画像処理装置１０１は、ネットワークコントローラ（ＮＩＣ）等を備え、ネットワークに接続された機器と所定のプロトコルで通信可能に構成されている。
画像処理装置１０１は、ユーザから画像処理装置１０１へＪｏｂが投入されるとそのＪｏｂ内容とユーザのリストテーブルを生成し、後述するネットワークを介してカメラ１０３へ通知する。また、ネットワークを介してカメラ１０３から送られてきた顔認証結果を元にＵＩ上にメッセージや画像の表示の制御を行う。ここで、カメラ１０３は、画像処理装置１０１に近接する空間を撮影可能に構成されている。具体的には、カメラ１０３のレンズ位置を駆動部により駆動させて広範囲に空間を撮影することができる。また、カメラ１０３はズーム機構を備え、画像処理装置１０１に近づくユーザの特徴情報としての顔を撮影することが可能に構成されている。

１０２は情報処理装置として機能するクライアントＰＣで、一般的なハードウエア資源としてＣＰＵ、ＲＯＭ、ＲＡＭ、ネットワークコントローラ、ハードディスク、入出力デバイス（表示装置、入力装置）を備えて構成されている。ユーザはクライアントＰＣ１０２のオペレーションシステム（ＯＳ）の管理の下にあるデバイスドライバを介して画像処理装置１０１に対しＪｏｂを投入する。画像処理装置１０１は、クライアントＰＣからＪｏｂが投入されると、そのＪｏｂの投入が行われたクライアントＰＣのＩＤをネットワークで通信可能なカメラ１０３に通知する。クライアントＰＣ１０２は、画像処理装置１０１にＪｏｂを投入できれば、タブレット端末やスマートフォンなど、機器の種類は問わない。

１０３はカメラで、いわゆるネットワークカメラとして機能し、撮影画像の中から、特定のエリアを切り出し、記録及び解析するためのハードウエア資源とソフトウエア資源を備えて構成されている。カメラ１０３の位置は、所望のエリアや画像処理装置１０１が撮影できる位置であれば、画像処理装置１０１が設置される居室内のどこに設置されていても良い。なお、カメラ１０３は、撮像機能、画像処理機能、通信機能、認証処理等を実行するＣＣＤ撮像装置、画像処理を行うＲＩＳＣ、データ処理を行うためのＣＰＵ、ＲＯＭ、ＲＡＭを備える。さらに、カメラ１０３は、通信機能を行うネットワークコントローラ、データ保存処理、制御プログラムを保存するため記憶手段を含むハードウエア資源を備えて構成されている。
カメラ１０３が撮影した映像を保存するための録画サーバや、カメラ１０３を制御するための管理サーバ、顔認証を行うための認証サーバ、各クライアントＰＣの位置を管理する位置サーバ等が存在していても良い。しかしながら、本実施形態ではカメラ１０３内にこれらの機能を具備し、当該処理を行うものとして説明する。
本実施形態では、カメラ１０３は、画像処理装置１０１から要求を受けて、画像処理装置１０１から送信されてきたリストテーブルに設定されている人物を特定し、その情報を画像処理装置１０１へ送信する。１０４はイーサネット（登録商標）等のネットワークを表しており、前記装置はすべてネットワーク１０４に接続されている。

図２は、図１に示した画像処理装置１０１とカメラ１０３の機能処理を説明するブロック図である。なお、制御部２０４、制御部２１２は、ＲＯＭやハードディスクに記憶されたプログラム（モジュール）を実行することで、各部を総括的に制御している。なお、具体的には、画像処理装置１０１またはカメラ１０３が備える各ＣＰＵがソフトウエアを実行する構成であってもよい。
図２において、画像処理装置１０１の通信部２０１は、ネットワーク１０４を介してクライアントＰＣ１０２からＪｏｂの投入を受信する。ここではプリント指示を例にする。クライアントＰＣ１０２から画像処理装置１０１へプリントするジョブ（印刷データ、印刷設定情報を含む）が送信される。また、クライアントＰＣ１０２は、同時に印刷を実行したユーザ名も送信する。また、通信部２０１は、カメラ１０３とのやり取りを始め、他の機器との通信を制御する。画像処理部２０２は、通信部２０１が受信したジョブ（Ｊｏｂ）に対しレンダリング処理やリッピング処理等を施し、印刷可能な形式に変換する。なお、制御部２０４は、変換された画像データは、図示しないＲＡＭ等に保持し、エンジンとの同期をとりながら印刷部２０３に出力される。印刷部２０３は画像処理部２０２が変換した画像データを印刷して排紙する。ここで、印刷部２０３の方式は、電子写真方式、インクジェット方式等のいずれであってもよい。

制御部２０４は、画像処理装置１０１の各部を統括的に制御する。制御部２０４は、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成される。本実施形態では、制御部２０４は、画像処理装置１０１にＪｏｂが投入された場合や、ＵＩ操作を行う際に顔認証が必要な場合、また投入されたＪｏｂのステータスが変化したタイミングでリストテーブルを生成、更新する機能を有する。

図３は、図２に示した画像処理装置の１０１の制御部２０４が作成するジョブ管理テーブルの一例を示す図である。以下、図３の（ａ）について説明する。
図３の（ａ）において、６０１はＪｏｂのＩＤであり、ジョブ管理テーブルに追加された順に値が付与される。６０２はＪｏｂ投入時間であり、Ｊｏｂが投入された時刻を示すものである。６０３はク、クライアントＰＣ１０２からＪｏｂを投入した、もしくは画像処理装置１０１のＵＩを操作するユーザ名である。画像処理装置１０１のＵＩを操作するユーザの識別は、後述する認証部２０８を用いて行う。

６０４はＪｏｂ内容であり、クライアントＰＣ１０３から投入されたＪｏｂ名もしくはユーザが画像処理装置１０１のＵＩ操作等の内容が示すものである。６０５はステータス内容（ジョブ状態）であり、それぞれのＪｏｂ内容がどのようなステータスかを示すものである。なお、本実施形態では、図３の（ａ）に示す６０１〜６０５を総称してジョブ情報と呼ぶ。また、ジョブとは、プリントジョブを含み、ユーザが画像処理装置１０１の操作部を操作することも含まれる。また、ジョブ情報は、ジョブを受け付けると画像処理装１０１の制御部２０４が生成して図示しないメモリ上で管理する。
また、本実施形態では、画像処理装置１０１のジョブの処理状態（ステータス）が変化することに応じて、カメラ１０３に送信されるジョブ情報の内容が動的に変更されるように制御される。これは、カメラ１０３から見ると、画像処理装置１０１のジョブのステータスに応じて、ユーザの照合モードが自動的に切り換わる。つまり、画像処理装置１０１では、管理するジョブ照合すべき可能性のあるユーザを特定するためのジョブ情報がジョブのステータスで切り換わるように生成される。
以下、図３の（ｃ）を参照して、本実施形態における特定モードとカメラ１０３による照合切り換え処理を説明する。
図３の（ｃ）において、本実施形態では、特定モードとしてユーザ追跡６１４、ユーザ検出６１５、ユーザ認証６１７の３種類の特定モードを備える。ここで、ユーザ追跡とは、Ｊｏｂの内容がプリントジョブで、印刷指示または印刷結果を取りにくるユーザに対して設定されるモードである。ここで、ユーザ追跡の場合は、Ｊｏｂを依頼したユーザ１人であるため、照合すべきユーザ情報数は「１」で、照合すべき特徴数もＪｏｂのユーザ情報から検索される特徴情報（あらかじめ登録されたユーザの顔画像）の数も「１」となる。

同様に、特定モードがユーザ認証６１７である場合、操作部２０７を操作するユーザの数が「１」であるため、照合すべき特徴数もＪｏｂのユーザ情報から検索される特徴情報（あらかじめ登録されたユーザの顔画像）の数も「１」となる。
一方、特定モードがユーザ検出６１５である場合は、さらにステータスが「プリント待ち」、「プリント中」、「出力済み」に分かれる。ここで。「プリンタ待ち」とは、Ｊｏｂが複数スプールされた状態で、受信した順にＪｏｂが出力されるのを待つ状態で、複数のユーザが関わっている状態である。また、「出力済み」とは、Ｊｏｂの出力が完了しているが、その出力物を指示したユーザがその出力物を取り出しにきていない状態である。

ここで、ユーザ検出６１５にある場合、Ｊｏｂ管理テーブル（図３の（ａ））には、複数のユーザがリストアップ（一覧）されている。
したがって、カメラ１０３は、画像処理装置１０１で生成されたジョブ管理テーブルのリストデータを利用したユーザ照合処理を行う場合に、上記特定モードに従い照合処理を以下に説明するように切り換える。これにより、短時間に効率よく照合処理を完了して認証精度を向上させることができる。

ここで、図２の説明に戻り、表示部２０６は、カメラ１０３からネットワーク１０４を介して受信した情報を画像処理装置１０１上に表示する。表示部２０６には、液晶パネル等で構成された物理的な表示デバイスを含んで構成されている。
操作部２０７は、画像処理装置１０１に対する操作を受け付ける。ここで、カメラ１０３に対する要求はユーザによって操作部２０７を介して行われる。物理的なキーボードやテンキー等も操作部２０７に含まれ、表示部２０６がタッチパネルである場合にはそこから入力された情報の制御も操作部２０７が行う。

認証部２０８は、画像処理装置１０１の使用の可否を検証するために、画像処理装置１０１を使用しようとしているユーザを特定し、ユーザの権限を調べるために使用される。ここで、認証部２０８は、画像処理装置１０１を操作しようとしている者に対して、操作部２０７を介してユーザ名とパスワードを入力させても良いし、ＩＤカード等を使用しても良い。クライアントＰＣ１０２で印刷を実行したユーザと、画像処理装置１０１を使用するユーザが同一人物であれば、認証部２０８におけるユーザ名と通信部２０１が受信するユーザ名は一致するものとする。
本実施形態では、このユーザが同一人物かどうかを必要に応じて、カメラ１０３からの顔認証結果を用いて判断する。カメラ１０３の通信部２１１は、ネットワーク１０４を介して画像処理装置１０１とのやり取りを始め、他の機器との通信を制御する。

カメラ１０３の制御部２１２は、カメラ１０３の各部を統括的に制御する。制御部２１２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどから構成される。本実施形態では、制御部２１２は、撮影部２１３で撮影した画像データもしくはデータ保存部２１６に保存された画像データの中から特定の人物を抽出する。この制御部２１２が行う顔認証処理の詳細については後述する。制御部２１２が映像の中の人物を特定すると、特定されたユーザ名６０３を含むＩＤの列情報６０１、６０２、６０３、６０４、６０５を図３に示した管理テーブルから抜き出し、特定結果として通信部２１１が画像処理装置１０１に送信する。

撮影部２１３はＣＣＤ等の撮像素子を用いて撮影を行い、撮影した画像データをデータ保存部２１６に保存する。本実施形態においてカメラ１０３は、画像処理装置１０１を含む所定のエリアを２４時間撮影し続けているものとする。

映像処理部２１４は、データ保存部２１６に保存されている映像情報に対し、映像情報の切り出し、対象物の検索、静止画への変換等を実行する。ここで、保存されている映像情報とは、画像処理装置１０１を利用することがあらかじめ登録された不特定多数のユーザの特徴情報であって、カメラ１０３が撮影するユーザの顔情報と照合されるべき画像情報である。
本実施形態では、映像情報の中から指定された期間の映像情報を切り出し、その中から画像処理装置１０１の近辺にいた人物を探し出し、人物（ユーザ候補）を特定する。すると、特定されたユーザ名６０３を含むＩＤの列情報６０１、６０２、６０３、６０４、６０５をリストテーブルから抜き出し、特定結果としてリストテーブルを画像処理装置１０１に送信する。
また、通信部２１１は、制御部２０４で生成されたリストテーブルを受信する。そして、通信部２１１によって受信されたリストテーブルは、制御部２１２によって解析される。
具体的には、制御部２１２は、Ｊｏｂ内容６０４及びステータス内容６０５の状況に応じて、リストテーブルの中のユーザ名６０３の人物を特定する。対象となる特定の期間は、リストテーブルの中にそのＩＤの番号が残っている期間である。データ保存部２１６はデータの保管庫であり、撮影部２１３や映像処理部２１４、制御部２１２で処理されたデータを受信し、保存する。保管する記憶媒体は特に問わない。

図４は、本実施形態を示す画像処理装置の制御方法を説明するフローチャートである。本例はクライアントＰＣ１０２から画像処理装置１０１への印刷の実行、または画像処理装置１０１の操作部２０７からユーザが画像処理装置の操作をした場合の画像処理装置１０１における処理例である。なお、図３を含め以降のフローチャートの各ステップでは、各処理部がＲＯＭやＨＤＤから読みだしたプログラムを制御部２０４が備えるＣＰＵが実行し、処理結果やデータをＲＡＭ、ＲＯＭ、ＨＤＤに保存することで処理部間のデータの受け渡しを行う。また、ネットワークインタフェースカードである通信部２０１が、各装置間でデータの送受信を行う。
画像処理装置１０１の制御部２０４は、Ｓ３０１にてリストテーブルを元にカメラ１０３側で開始していた顔認証を用いた人物の特定処理の中でタイムアウトとなる認証があるかいなかを判断する。当該判断は生成したリストテーブル中のＪｏｂ投入時刻からＪｏｂ内容毎に既定した時間が経過した場合にタイムアウトと判断する。
ここで、タイムアウトとなる認証がないと制御部２０４が判断した場合、Ｓ３０２において、制御部２０４は、リストテーブルで管理しているＪｏｂの中でステータスに変化があるかどうかを判断する。このステータスはＪｏｂ毎に定義されており、その例が図３の（ｂ）である。図３の（ｂ）に示すようにＪｏｂ内容６０４毎にステータス内容６０５が定義されている。

ここで、ステータスの変化が無いと制御部２０４が判断した場合はＳ３０３に移行し、通信部２０１において、クライアントＰＣ１０３からのＪｏｂの受信が有るかないかの判断を行う。ここで、Ｊｏｂの受信があったと通信部２０１が判断した場合は、Ｓ３０４において、制御部２０４は、そのＪｏｂ情報とＪｏｂ情報と共に送られてきたユーザ情報を取得する。そして、制御部２０４は、取得したユーザ情報をＪｏｂ投入時刻とステータス情報と共に図３の（ａ）に示したテーブルに追加する（Ｓ３０５）。
リストテーブルへの追加が終了すると、制御部２０４は、そのリストテーブルをカメラ１０３へ通信部２０１から送信する。なお、このリストテーブルをカメラ１０３が受信した際の処理については後述する。
一方、Ｓ３０３において、検知した内容がＪｏｂで無いと制御部２０４が判断した場合は、Ｓ３０７において、制御部２０４は、操作部２０７が提供するＵＩ操作（ユーザ認証モード）に関わる認識であるかどうかの判断を行う。ここで、ＵＩ操作の認識で無いと制御部２０４が判断した場合は何も検知内容が無いため、Ｓ３０１に戻る。なお、本実施形態において、ユーザ認証モードまたはジョブ追記モードにおいては、照合すべきユーザが特定されているため、画像処理装置１０１がカメラ１０３に送信すべきジョブ情報のユーザ数は単数である。このため、カメラ１０１３は、データ保存部２１６で保存された多数のユーザの特徴情報と、撮影されたユーザの顔画像との照合すべき登録された画像情報の数が少なくなり、認証精度が向上するとともに、短時間で効率よく照合処理を完了できる。このように本実施形態では、カメラ１０３の照合モードが画像処理装置１０１から受信する照合用のジョブ情報に含まれるユーザ数で動的に切り替わるように制御されることとなる。
一方、検知した内容がＵＩ操作の認識であると制御部２０４が判断した場合はＵＩ操作しているユーザ情報を取得し、Ｓ３０５に移行する。

ここで、Ｓ３０２におけるステータスの変化が有るかないかの判断処理について、ステータスの変化の例について図３の（ｂ）を参照して説明する。
図３の（ｂ）において、Ｊｏｂ内容６０４がプリント即ち、クライアントＰＣ１０３から画像処理装置１０１にプリントのＪｏｂが送信された直後には、ステータスはユーザ追跡６０７となる。
次にこのＪｏｂを投入したユーザが画像処理装置１０１の周辺に近づいた事を検知すると、ステータス内容６０５はプリント待ち６０８へと移行する。この画像処理装置１０１の周辺に近づいた事の検知方法としてはカメラ１０３の撮影部２１３で撮影した画像から制御部２１２で人物を特定しても良いし、画像処理装置１０１の認証部２０８で人物を認証しても良い。

また、プリント待ち６０８は必ずしもこのステータスに移行する必要はなく、クライアントＰＣ１０３からのＪｏｂ受信のタイミングで、すぐにプリント中６０９へと移行しても良い。
次に、ユーザが画像処理装置１０１の操作部２０７を用いて印刷指示を行うと、ステータス内容６０５はプリント中６０９へと移行し、画像処理装置１０１の印刷部２０３でのプリント処理が終了すると出力済み６１０となる。
次にこの出力済みとなった用紙がユーザによって持ち出された事を検知すると、ステータスは終了６１１となる。

また、図３の（ｂ）において、Ｊｏｂ内容６０４がＵＩ操作即ち、ユーザが画像処理装置１０１の操作部２０７を操作し、認証部２０８にてユーザの特定を行うと、そのユーザ情報を用いて更に顔認証を行う。この顔認証はカメラ１０３の制御部２１２で行われる。この認証が行われている際のステータスが認証中６１２となる。この認証が正常に終了する、もしくは顔認証が行えない状況においても、その他の認証方法で認証が完了した場合は認証完６１３へとステータスを移行し、ユーザが画像処理装置１０１から離れた事を検知するとステータス内容６０５は終了へと移行する。

図３のＳ３０２に戻り、ステータスの更新によりステータスに変化が有ると制御部２０４が判断した場合は、Ｓ３０９において、制御部２０４は、そのステータス内容６０５の更新を行う。次に、Ｓ３１０で、制御部２０４は、ステータス内容６０５の更新によってステータスが終了であるかどうかを判断する。ここで、ステータス内容６０５の更新によってステータスが終了であると制御部２０４が判断した場合は、Ｓ３１１にて、制御部２０４は、そのＪｏｂ内容をリストテーブルから削除して、Ｓ３０６へ進む。
一方、Ｓ３１０においてステータスが終了とならずステータスが更新されたものと制御部２０４が判断した場合は、Ｓ３１２において、制御部２０４はリストテーブルの更新を行い、その更新したリストテーブルを送信する（Ｓ３０６）。そして、画像処理装置１０１は電源を切る等の操作があるとＳ３１３で動作終了となる。

図５は、本実施形態を示す撮像装置の制御方法を説明するフローチャートである。本例は、画像処理装置１０１からカメラ１０３へリストテーブルを送信し、カメラ１０３が受信したリストテーブルの内容を元にカメラが人物の特定を行う際の処理例である。なお、各ステップは、撮像装置であるカメラ１０３の制御部２１２、通信部２１１が備えるＣＰＵが制御プログラムを実行することで実現される。
Ｓ４０１において、カメラ１０３の制御部２１２は人物の特定を行う際に、リストテーブルの送信元の画像処理装置１０１とペアリング対象となる画像処理装置が存在するかを判断する。ここでペアリング対象となる画像処理装置が存在しないと制御部２１２が判断した場合は予め設定された通常の監視モードにて動作を行う。
一方、Ｓ４０１において、ペアリング対象となる画像処理装置が存在すると制御部２１２が判断した場合、Ｓ４０２へ進む。そして、制御部２１２は、ネットワーク１０２を介してペアリング対象の画像処理装置と通信を行いながら特定の人物を検出するようなペアリング機器監視モードを実行する。（Ｓ４０２）

カメラペアリング機器監視モードにおいては、Ｓ４０３において、制御部２１２は、画像処理装置１０１から通信部２１１を介して通信部２１１にてリストテーブルの受信があるかないかの判断を行う。ここで受信が無いと通信部２１１が判断した場合は、画像処理装置１０１からのリストテーブルの受信があるまでこれまで行っていた動作状態を維持する。
一方、Ｓ４０３において、リストテーブルの受信があると通信部２１１が判断した場合、通信部２１１はそのデータをデータ保存部２１６に保存すると共に、リストテーブルの解析を開始する。（Ｓ４０４）
Ｓ４０４では、制御部２１２がリストテーブル解析において、まずはリストテーブル内のＪｏｂ項目が前回よりも増えたかどうかの確認を行う（Ｓ４０５）。Ｊｏｂの項目が増えていると制御部２１２が判断した場合においては、その項目のＪｏｂ内容６０４とステータス内容６０５の内容によって定められている特定モードの動作を開始する。（Ｓ４０９）

このＪｏｂ内容６０４とステータス内容６０５に対応する特定モード６０６の例を図３の（ｃ）のユーザ検出６１５に示す。
ここで、ユーザ追跡（ユーザ追跡モード）６１４とは、例えばカメラ１０３の撮影部２１３において、画像処理装置１０１にクライアントＰＣ１０３からＪｏｂを投入したユーザを画像処理装置１０１の周辺の映像から制御部２１２で特定するモードである。これによりＪｏｂを依頼したユーザの移動状況を監視する。ユーザが画像処理装置１０１から定められた距離以下になった場合は、そのユーザ名６０３を含むＩＤの列情報６０１、６０２、６０３、６０４、６０５を抜き出し、特定結果として通信部２１１が画像処理装置１０１に通知する。その通知を受け取った画像処理装置１０１はユーザが一定距離以下になった事を検知し、印刷部２０３で印刷処理を開始するようにしても良い。
ユーザ検出６１５とは、例えばカメラ１０３おいて、特定モードがユーザ検出となっているＩＤのユーザ名６０３の一覧を取得し、そのユーザが撮影部２１３で撮影した映像内の特定のエリアにその人物が存在するかどうかの判断を制御部２１２にて行う。人物を特定した場合はその情報をクライアントＰＣ１０２に送信する。この特定のエリアは予め決定しておいても良いし、前述したように画像処理装置１０１から一定距離以内としても良い。
これにより、従来の不特定多数の人物を映像内から特定するよりも、クライアントＰＣ１０１から送信されてきたリストテーブル内に記載されている人物のみを特定する事により、顔認証の精度が向上する。

ユーザ認証（ユーザ認証モード）６１７とは、通常の１：１の顔認証である。具体的にはカメラ１０３において、特定モードがユーザ認証となっているＩＤのユーザ名６０３を取得し、そのユーザが撮影部２１３で撮影した映像内の画像処理装置１０１の周辺にいる人物と同一かどうかの判断を行う。そして、カメラ１０３は、その判断結果を画像処理装置１０１に通知する。

図５に戻り、Ｓ４０５において、ＩＤの増加が無いと制御部２１２が判断した場合には、制御部２１２はリストテーブル内のＩＤ毎にステータス内容６０５の部分に前回送信されてきたリストテーブルと差分があるかどうかの判断を行う（Ｓ４０６）。ここでステータス内容６０５に変更があると制御部２１２が判断した場合はそのステータス内容に対応した特定モードに変更を行う（Ｓ４０７）。即ち、変更のあったステータス内容６０５のＩＤに対してこれまで行っていた特定モード６０６を一旦終了させ、新たなステータス内容６０５に対応した特定モード６０６をカメラ１０３は開始する。

一方、Ｓ４０６において、ステータスの変化が無いと制御部２１２が判断した場合は、リストテーブル中のＩＤの増加も無く、ステータスの変化も無い状況でリストテーブルが画像処理装置から送信されてきている事である。これはリストテーブル内の何れかのＩＤが終了し、リストテーブルから削除された事を意味する。
そこで、制御部２１２は、その削除されたＩＤを割り出し、そのＩＤに対応していた特定モード６０６を終了させる（Ｓ４０８）。これらの処理は、カメラ１０３の電源が切られる等の動作終了を検知するまで繰り返され（Ｓ４１１）、動作終了を検知すると終了する。

図６は、本実施形態を示す撮像装置の制御方法を説明するフローチャートである。本例は、顔認証により、個人の特定を行う際のカメラ１０３の処理例である。なお、各ステップは、カメラ１０３の制御部２１２、映像処理部２１４等が制御プログラムを実行することで実現される。
カメラ１０３の撮影された映像は映像処理部２１４にて顔認証に必要な前処理が行われる（Ｓ５０１）。前処理では、認証に用いる特徴の抽出を行う物体、人物、またはこれらの一部を含む画像を撮影部２１３より入力し記憶する。本実施の形態では、画像として人物の頭部を含む画像を入力し記憶する。
次に、映像処理部２１４が顔認証を行うための特徴抽出が実行される（Ｓ５０２）。入力される新たな画像データから認証に用いる特徴点を含む領域を抽出し、サイズ、特徴点の位置、濃度分布の正規化を行う。ここで、特徴点とは、画像データが例えば顔を含むものであれば目、鼻、口等が存在し、その人物を最も特徴付ける点である。次に、Ｓ５０３において、映像処理部２１４が予め撮像されていた画像データに対して、その画像の特徴抽出点において算出された特徴データをデータ保存部２１６から読み取る。

ここでの特徴とは、前述の画像に対して特徴点のデータを、所定の演算、たとえば予め撮像された画像データに対して複数のフィルタの畳み込み演算により算出した結果のデータのことを示す。第１実施形態においては、撮像された画像に対して、全部のフィルタに対して特徴算出が予め行われており、フィルタの全部について特徴算出結果が記憶されており、その全部または一部を取り出すことができる。
次に、映像処理部２１４が類似度算出処理を実行する（Ｓ５０４）。これは、映像処理部２１４がデータ保存部２１６で予め保持された特徴と、特徴抽出（Ｓ５０２）で算出された特徴とを比較し、類似度を算出する。次にＳ５０５で、映像処理部２１４が類似度算出処理により算出された類似度に基づいて入力された画像と登録された画像の対象物が同じであるか否かを判定する。ここで、映像処理部２１４が類似度算出処理により人物であれば同じ人物であるか否かを判定する。なお、判定結果は、カメラ１０３から画像処理装置１０１に転送される。
以上述べたように、本実施形態によれば、画像処理装置１０１から送信されてくるリストテーブルを元にカメラ１０３が顔認証を用いて人物特定を行う事で、認証速度及び認証精度の向上が図れる。

〔第２実施形態〕
図７は、本実施形態を示す画像処理システムの構成を説明するブロック図である。本例は、画像処理装置１０１が複数台存在する。及びカメラ１０３が複数台存在するシステム例である。本例では、基本的な構成は第１実施形態と変わらないが、図示するように画像処理装置とカメラが同一ネットワーク上に複数存在している。なお、カメラ７０３は、カメラ１０３と同等の構成、すなわち、図２に示したハ−ドウエアを備えている。

図８は、本実施形態を示す画像処理システムの制御方法を説明するフローチャートである。本例は、図７の構成において、カメラ１０３と画像処理装置１０１がペアリングされており、画像処理装置１０１から送信されたリストテーブルの内容に従ってカメラ１０３が人物の特定動作するようなケースの処理例を示したものである。

まず、画像処理装置１０１からリストテーブルを受信したカメラ１０３の制御部２１２は、同一ネットワーク上に他のカメラが存在するかの判断を行う（Ｓ８０１）。他のカメラが存在しないと制御部２１２が判断した場合には本処理は行わない。
一方、Ｓ８０１において、同一ネットワーク上に他のカメラ７０３が存在すると制御部２１２が判断した場合には、カメラ１０３の通信部２１１からからカメラ７０３にカメラ７０３が具備する特定モード６０６を問合わせる（Ｓ８０２）。問い合わせを受けたカメラ７０３は自身が実施できる特定モード６０６をカメラ１０３に応答する（Ｓ８０３）。

特定モード６０６を受信したカメラ１０３の制御部２１２は、画像処理装置１０１から受信したリストテーブルの中からカメラ７０３にも特定を依頼する特定モード６０６があるかを確認する（Ｓ８０４）。これは、カメラ１０３の映像内に特定対象の人物が特定できず、カメラ７０３がその特定する機能を具備する場合である。
例えば本実施形態では受信したリストテーブルの中の特定モード６０６の中にユーザ追跡６１４が存在した場合である。この際に、そのＩＤに含まれるユーザ名の人物をカメラ１０３の撮影部２１３で撮影された映像内に発見出来ない場合に、カメラ７０３がユーザ追跡６１４の機能を有していれば、特定を依頼するステータスがあると判断する。特定を依頼するステータスがない、もしくは依頼したい特定モードをカメラ７０３が具備しない場合は通信を行わない。

Ｓ８０４において、カメラ７０３に依頼する特定モードがあると制御部２１２が判断した場合には、カメラ７０３の通信部２１１は、リストテーブル中の該当ＩＤのリストテーブルをカメラ１０３は送信する（Ｓ８０５）。
このようにして、カメラ１０３からカメラ７０３にユーザ特定の依頼が実行された場合、リストテーブルを受信したカメラ７０３（Ｓ８０６）は、リストテーブルの解析を行い（Ｓ８０７）、その内容に対応した特定動作を開始する（Ｓ８０８）。
特定動作を開始したカメラ７０３の制御部２１２は、Ｓ８０９で、リストテーブルに対応した人物の特定が行えた場合は特定されたユーザ名６０３を含むＩＤの列情報６０１、６０２、６０３、６０４、６０５を抜き出す。そして、カメラ７０３の通信部２１１が特定位置と共に抜き出した情報をカメラ１０３に送信する（Ｓ８１０）。
カメラ１０３は、カメラ７０３から送信される情報を受信し（Ｓ８１１）、必要であれば、その情報をペアリング機器に送信する（Ｓ８１２）。この送信する内容としては、カメラ７０３の固有情報を特定人物と共にテキスト情報としても良いし、カメラ７０３が撮影している映像を別途受信し、その情報を送信しても良い。

図９は、図７に示した画像処理システムにおいて、カメラ１０３からユーザ特定の依頼を受けるカメラ７０３の撮影部２１３で撮影した映像の一例を示す図である。
図９において、カメラで撮影された映像９０１の中には画像処理装置１０１と画像処理装置７０１及びユーザ９０５、ユーザ９０４が撮影されている。
この場合、カメラ７０３は画像処理装置１０１と画像処理装置７０１とペアリングが行われている。カメラ７０３の制御部２１２は、１つの映像内で複数の特定モードが動作可能な場合、以下に示すユーザ検出モードを実行する。具体的には、画像処理装置１０１に近づいてきたユーザを検出する場合には映像９０１内の画像処理装置１０１を含む所定エリア９０２内で画像処理装置１０１から送信されてくるリストテーブルを元にユーザ検出モードを実行する。

それと同時に画像処理装置７０１に近づいてきたユーザも検出する場合には映像９０１内の画像処理装置７０１を含む所定エリア９０３内で画像処理装置７０１から送信されてくるリストテーブルを元にユーザ検出モードを実行する。
また同時に、映像９０１内の全領域において、ユーザ追跡モードを実行し、送信されてきたリストテーブルを元にユーザ９０４やユーザ９０５の人物特定を行う。
一方、カメラ７０３が１つの映像内で１つの特定モードのみしか実行できない場合は複数の中から所定の優先順位の高い特定モードを実行しても良いし、時系列的に順次特定モードの切り替えを行っても良い。

以上述べたとおり、画像処理装置及びカメラがシステム内に複数存在するような場合においては、１つのカメラ映像では人物を特定できないような場合においても複数のカメラ１０３とカメラ７０３が連携する。これにより広範囲でユーザの特定を可能にする事が可能となる。
また、１つのカメラと複数の画像処理装置がペアリングされているようなシステムにおいても、同一空間内でカメラ７０３の映像９０１内を複数のエリア毎に分割して特定モード６０６を実行する。これにより、１台のカメラで複数の画像処理装置に付随した特定動作を行う事が可能となる。

本発明の各工程は、ネットワーク又は各種記憶媒体を介して取得したソフトウエア（プログラム）をパソコン（コンピュータ）等の処理装置（ＣＰＵ、プロセッサ）にて実行することでも実現できる。

本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施形態の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。

２０１ 通信部
２０２ 画像処理部
２０３ 印刷部
２０４ 制御部
２０６ 表示部
２０７ 操作部
２０８ 認証部
２１１ 通信部
２１２ 制御部
２１３ 撮影部
２１４ 映像処理部
２１６ データ保存部

Claims (20)

1. 外部装置から送信されたプリントジョブに基づいて印刷する印刷装置と、
   前記印刷装置とネットワークを介して通信可能であって、前記印刷装置の周囲にいる人を撮像可能な撮像手段を有する撮像システムと、を備え、
   前記印刷装置は、前記プリントジョブに関する所定の情報を前記撮像システムに送信し、
   前記撮像システムは、前記撮像手段によって撮像された人の特徴情報と比較されるべき特徴情報を受信した前記所定の情報に基づいて予め記憶された複数の特徴情報の中から特定し、
   特定された前記特徴情報と前記撮像手段によって撮像された人の特徴情報との比較結果を、前記ネットワークを介して前記印刷装置に送信する、
   ことを特徴とする情報処理システム。
2. 前記印刷装置は、用紙に画像を印刷する印刷手段を備える、ことを特徴とする請求項１に記載の情報処理システム。
3. 前記印刷装置は、前記比較結果に基づいて、前記プリントジョブを実行する、ことを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記所定の情報は、前記プリントジョブを前記印刷装置に投入したユーザの情報である、ことを特徴とする、請求項１乃至３の何れか１項に記載の情報処理システム。
5. 前記印刷装置は、前記撮像システムによって特定された１又は複数の前記特徴情報と前記撮像手段によって撮像された人の特徴情報とが所定の類似度を示すことに基づいて、前記プリントジョブを実行する、ことを特徴とする請求項１乃至４の何れか１項に記載の情報処理システム。
6. 前記撮像システムは、前記撮像手段によって撮像された人の特徴情報と比較されるべき複数の特徴情報を、前記受信された複数のジョブの情報に基づいて、予め記憶された複数の特徴情報の中から特定する、ことを特徴とする請求項１乃至５の何れか１項に記載の情報処理システム。
7. 前記撮像システムは、前記撮像手段によって撮像された人の特徴情報と比較されるべき複数の特徴情報を、前記受信された複数のジョブの中からジョブ投入時刻に基づいて選択された複数のジョブの情報に基づいて、予め記憶された複数の特徴情報の中から特定する、ことを特徴とする請求項１乃至５の何れか１項に記載の情報処理システム。
8. 前記撮像システムは、前記撮像手段によって撮像された人の特徴情報を、前記撮像システムによって特定された前記複数の特徴情報の各々と比較する、ことを特徴とする請求項１乃至７の何れか１項に記載の情報処理システム。
9. 前記撮像手段によって撮像された人が前記情報処理システムの所定のエリアに侵入したか否かを判断する判断手段をさらに備え、
   前記印刷装置は、前記撮像システムによる比較結果及び前記判断手段による判断結果に基づいて、前記プリントジョブを実行する、ことを特徴とする請求項１乃至８の何れか１項に記載の情報処理システム。
10. 前記撮像手段は、ネットワークカメラである、ことを特徴とする請求項１乃至９の何れか１項に記載の情報処理システム。
11. 外部装置から送信されたプリントジョブに基づいて印刷する印刷装置と、
    前記印刷装置とネットワークを介して通信可能であって、前記印刷装置の周囲にいる人を撮像可能な撮像手段を有する撮像システムと、を備える情報処理システムの制御方法であって、
    前記印刷装置が実行する、
    前記プリントジョブに関する所定の情報を前記撮像システムに送信する第１の送信ステップと、
    前記撮像システムが実行する、
    前記撮像手段によって撮像された人の特徴情報と比較されるべき特徴情報を受信した前記所定の情報に基づいて予め記憶された複数の特徴情報の中から特定する特定ステップと、
    特定された前記特徴情報と前記撮像手段によって撮像された人の特徴情報との比較結果を、前記ネットワークを介して前記印刷装置に送信する第２の送信ステップ、
    を有することを特徴とする情報処理システムの制御方法。
12. 前記印刷装置が、用紙に画像を印刷する印刷ステップを備える、ことを特徴とする請求項１１に記載の情報処理システムの制御方法。
13. 前記印刷装置は、前記比較結果に基づいて、前記プリントジョブを実行する実行ステップを備える、ことを特徴とする請求項１１又は１２に記載の情報処理システムの制御方法。
14. 前記所定の情報は、前記プリントジョブを前記印刷装置に投入したユーザの情報である、ことを特徴とする、請求項１１乃至１３の何れか１項に記載の情報処理システムの制御方法。
15. 前記実行ステップは、前記特定ステップにおいて特定された１又は複数の前記特徴情報と前記撮像手段によって撮像された人の特徴情報とが所定の類似度を示すことに基づいて、前記プリントジョブを実行する、ことを特徴とする請求項１３又は１４の何れか１項に記載の情報処理システム。
16. 前記特定ステップは、前記撮像手段によって撮像された人の特徴情報と比較されるべき複数の特徴情報を、前記受信された複数のジョブの情報に基づいて、予め記憶された複数の特徴情報の中から特定する、ことを特徴とする請求項１１乃至１５の何れか１項に記載の情報処理システムの制御方法。
17. 前記特定ステップは、前記撮像手段によって撮像された人の特徴情報と比較されるべき複数の特徴情報を、前記受信された複数のジョブの中からジョブ投入時刻に基づいて選択された複数のジョブの情報に基づいて、予め記憶された複数の特徴情報の中から特定する、ことを特徴とする請求項１１乃至１５の何れか１項に記載の情報処理システムの制御方法。
18. 前記比較結果は、前記撮像手段によって撮像された人の特徴情報を、前記撮像システムによって特定された前記複数の特徴情報の各々と比較したものである、ことを特徴とする請求項１１乃至１７の何れか１項に記載の情報処理システムの制御方法。
19. 前記撮像手段によって撮像された人が前記情報処理システムの所定のエリアに侵入したか否かを判断する判断ステップをさらに備え、
    前記実行ステップは、前記比較結果及び前記判断ステップによる判断結果に基づいて、前記プリントジョブを実行する、ことを特徴とする請求項１３乃至１８の何れか１項に記載の情報処理システムの制御方法。
20. 前記撮像手段は、ネットワークカメラである、ことを特徴とする請求項１１乃至１９の何れか１項に記載の情報処理システムの制御方法。

Images