JPH0855133A - 顔画像による登録データ検索装置 - Google Patents

顔画像による登録データ検索装置

Info

Publication number
JPH0855133A
JPH0855133A JP6192468A JP19246894A JPH0855133A JP H0855133 A JPH0855133 A JP H0855133A JP 6192468 A JP6192468 A JP 6192468A JP 19246894 A JP19246894 A JP 19246894A JP H0855133 A JPH0855133 A JP H0855133A
Authority
JP
Japan
Prior art keywords
unit
image
face
search
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6192468A
Other languages
English (en)
Inventor
Kazue Fukushima
和恵 福島
Makoto Kosugi
信 小杉
Noboru Sonehara
曽根原　　登
Tomio Kishimoto
登美夫 岸本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP6192468A priority Critical patent/JPH0855133A/ja
Publication of JPH0855133A publication Critical patent/JPH0855133A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)

Abstract

(57)【要約】 【目的】 検索の対象となる相手に違和感を持たれない
ように，人物の顔画像を取り込み，取り込んだ顔画像か
ら人物を同定し，画面表示もしくは音声出力により当該
人物の属性データを教示する装置を提供する。 【構成】 データベース(300) にはモザイク顔ファイル
(301) のモザイク顔データに対応して人物属性データを
登録しておく。対象人物の顔画像をカメラ等により取り
込み(100) ，画像の多重解像度を利用して疎密探索で顔
画像の位置決めを行い，予め記憶したモザイク顔との距
離計算によるマッチングにより入力顔画像の人物を同定
し(210〜250)，その人物の属性データを得て，携帯型装
置または離れた場所でその人物属性データを画面表示ま
たは音声出力する(400) 。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は，人物の顔画像を小型カ
メラを用いて入力し，または離れた場所に設置されたカ
メラを用いて入力し，入力した顔画像についてデータベ
ースを検索して人物の同定を行い，人物の顔画像データ
および属性データを表示し，さらに合成音声による人物
属性データを教示する顔画像による登録データ検索装置
に関する。
【０００２】
【従来の技術】例えば，日常数多くの人と接する要人等
にとって，相手の名前，顔などの記憶すべきデータ量は
膨大なものであり，対面した人の名前と顔を全て記憶す
るのは大変な労力が必要である。しかし，従来は，相手
の顔の情報のみを用いてその人物に関する属性データを
検索できるような携帯型の装置は存在しなかった。
【０００３】また，顧客個人に応じたきめ細かいサービ
スを要するような接客業等において，店員が常連客の顔
や名前および嗜好を把握することが欠かせない。しか
し，店員が全ての来客の名前と顔を記憶するのは大変な
労力と熟練が必要とされるため，従来は，来客が何らか
の形で自ら身分を提示する方法が多くとられていた。
【０００４】一方，カメラで取り込んだ来客の画像から
人物の同定を行う場合，画面内から顔を見つけたりある
いは顔を認識するため，従来は顔画像の形状に注目し，
入力画像内から形状特徴の一致する候補を探索したり，
顔を形状特徴で表現するものであった。
【０００５】しかし，顔画像から正しい形状を抽出する
ことは至難であり，照明条件を厳しくしたり，背景を一
様にするなど種々の制約条件を課す必要があるため，対
象人物から気づかれずに撮像するのは困難であった。こ
のため，例えば特開平５−１７４１４９号公報に示され
る「画像認識装置」のように，画像の多重解像度を利用
して疎密探索で顔を見つけたり，顔をモザイクで表現す
る手法が開発されている。この「画像認識装置」では，
認識対象となる物体画像を粗くモザイク化し，これを探
索時の対象画像の特徴として用いて未知画像を走査し，
おおよその位置と大きさとを見つける。次に，認識対象
となる物体画像を細かくモザイク化し，これを用いて，
既に得られた大まかな位置付近を走査し正確な位置と大
きさとを見つけ，さらに認識対象の物体画像を細かくモ
ザイク化したものと未知画像のモザイクとのマッチング
により対象画像を認識する。
【０００６】これにより従来の問題点を基本的には改善
しえたが，これを人物の各種属性データを検索するため
の装置として用いるための周辺装置や，携帯型の装置と
して用いるための周辺装置に関する検討は残されてい
た。
【０００７】
【発明が解決しようとする課題】本発明は，検索の対象
となる相手に違和感を持たれないように，全体を携帯型
にした装置により，または離れた場所に設置した入力装
置により，相手の顔画像を取り込み，取り込んだ顔画像
で顔画像検索を行い，人物の同定を行い，画面表示もし
くは合成音声により人物属性データの教示を可能にする
ことを目的とする。
【０００８】
【課題を解決するための手段】本発明は，顔画像をモザ
イク化したモザイク顔ファイルと該モザイク顔対応に用
意した人物属性データファイルとが格納される記憶装置
と，顔画像データ入力部と，顔画像データ入力部から入
力された顔画像について予め用意した位置決め用辞書を
用いて所定の位置決めを行う位置決め部，位置決めがさ
れた前記顔画像から中心領域を決定して検索キーとすべ
き画像を切り出す中心領域切出し部，切り出された画像
をモザイク化するモザイク化部，およびモザイク化され
た画像をキーとして前記記憶装置から人物属性データフ
ァイルを検索する検索部とを有する検索処理部と，検索
により得られた人物属性データを出力する出力部とから
なる。
【０００９】顔画像データ入力部により，小型カメラま
たは離れた場所に設置したカメラから顔画像を入力し，
上記特開平５−１７４１４９号公報「画像認識装置」の
画像の濃淡情報を用いた顔画像検索同定技術を用いて，
対象となる人物属性データを検索し，携帯装置による表
示や，イヤホンからの合成音声出力により，近くにいる
相手に違和感を与えないようにして人物属性データの教
示を実現する。
【００１０】
【作用】このように，小型カメラによって入力した人物
の顔画像から，自動的に人物名，所属等の属性データを
検索し，携帯装置によって表示したり，イヤホンからの
合成音声でデータを出力することにより，自分で対面相
手の顔と名前を記憶せずとも，相手に違和感を与えず人
物属性データを得ることが可能になる。
【００１１】また，今店に訪れようとする顧客の顔か
ら，自動的に顧客名，嗜好等の顧客データ等を検索し，
店内にいる店員に対して表示することにより，突然の来
客でも，店員は顧客が来店する直前にその顧客の情報を
予習することが可能になる。
【００１２】特に，本装置を携帯型に構成することによ
り，多くの人と出会うような場所で有効に活用すること
ができる。また，人物属性データを合成音声出力により
イヤホンなどを通して聴取することにより，相手に違和
感を与えないようにすることができる。また，カメラか
ら入力した画像を離れた場所へ伝送し，そこで人物属性
データを教示することにより，来客等の情報を事前に知
ることができる。
【００１３】検索部における一致判断を距離計算で行
い，粗探索部での探索結果を用いて詳細探索を行うこと
により，効率的に検索を行うことができる。さらに，人
物の顔色の有無によって撮像範囲を制御することによ
り，人物の顔画像を効率よく撮像することが可能にな
る。
【００１４】
【実施例】以下，本発明の一実施例について図面を用い
て説明する。図１は，本発明の顔画像による登録データ
検索装置の基本構成例を示す図である。図１において，
１００は顔画像データ入力部，２００はＣＰＵ，メモリ
およびソフトウェア等によって構成される検索処理部，
２１０は位置決め部，２１１は粗探索部，２１２は詳細
探索部，２２０は位置決め用辞書，２２１は粗探索対象
画像辞書，２２２は詳細探索対象画像辞書，２３０は中
心領域切出し部，２４０はモザイク化部，２５０は検索
部，３００は記憶装置（以下，データベースという），
３０１はモザイク顔ファイル，３０２は人物属性データ
ファイル，４００は出力部を表す。
【００１５】顔画像データ入力部１００は，小型カメ
ラ，テレビ用カメラ，スキャナ等により顔画像を入力す
る手段である。位置決め部２１０は，顔画像データ入力
部１００で取り込まれた顔画像から既出願（特開平５−
１７４１４９号）で示した粗探索部２１１および詳細探
索部２１２による多重解像度を利用した疎密探索によ
り，予め用意された位置決め用辞書２２０を参照しつ
つ，顔の中心位置とサイズを求める手段である。
【００１６】中心領域切出し部２３０は，位置決め部２
１０で得られた顔の中心位置とサイズから，同定に必要
となる顔領域を目的に応じて切り出す手段である。モザ
イク化部２４０は，中心領域切出し部２３０により切り
出された顔領域をモザイク化し，モザイク顔データを生
成する手段である。
【００１７】検索部２５０は，モザイク化部２４０で生
成されたモザイク顔データと，記憶装置（データベー
ス）３００に格納されたモザイク顔ファイル３０１の各
モザイク顔データとの一致度の計算を行い，入力顔から
生成したモザイク顔データと最もよく一致するモザイク
顔データを順に抽出し，このモザイク顔データに対応す
る人物属性データファイル３０２の内容を検索して出力
部４００に送出する。
【００１８】出力部４００は，顔画像データ入力部１０
０における入力画像と，検索結果の顔画像および人物属
性データを表示する。 〔第１の実施例〕図２は，本発明の第１の実施例を示す
図であり，特に請求項２，請求項４〜請求項６記載の発
明に対応する実施例のブロック図を示している。
【００１９】図２において，図１と同符号のものは図１
に示すものに対応する。１１０は入力部，１１１は小型
カメラ，１１２はスキャナ，２０１は入力画像バッフ
ァ，２４１および２４２はモザイク化部，２６０はデー
タベース登録部，２７０は人物属性データ登録部，２８
０は音声合成部，３０３は顔画像ファイル，４１０は音
声出力部，５００は人物属性データ入力部を表す。
【００２０】入力部１１０において，小型カメラ１１１
を用い相手の顔画像を入力する。また，必要であればス
キャナ１１２を接続して，既存の写真データを読み取る
ことも可能である。入力部１１０において入力した検索
対象となる顔画像を，入力画像バッファ２０１に格納す
る。したがって，本バッファの内容は濃淡あるいはカラ
ーで表わされる画素の集合である。
【００２１】自動で顔画像の取り込みを行う場合，入力
画像バッファ２０１内の画像は顔有無判定部２０２に送
られる。顔有無判定部２０２では人間の顔色が画像中に
あるかないかが判断される。画像中に人間の顔色なし，
と判断された場合には，入力部１１０の小型カメラ１１
１をズームダウンし，広角の画像を取り込む。
【００２２】画像中に人間の顔色あり，と判断された場
合には，入力画像バッファ２０１内の画像は位置決め部
２１０に送られる。位置決め部２１０は，既出願の「画
像認識装置」（特開平５−１７４１４９号）で示された
多重解像度を利用した粗密探索により，位置決め用辞書
２２０を参照しつつ，顔の中心位置とサイズを求める。
【００２３】一方，手動で顔の取り込みを行う場合，入
力画像バッファ２０１内の画像は出力部４００に送られ
る。使用者はその画像をモニタしながら画像の選択を行
う。選択された入力画像バッファ２０１内の画像は位置
決め部２１０に送られる。位置決め部２１０は，既出願
の「画像認識装置」（特開平５−１７４１４９号）で示
された多重解像度を利用した粗密探索により，位置決め
用辞書２２０を参照しつつ，顔の中心位置とサイズを求
める。
【００２４】中心領域切出し部２３０はこうして得られ
た顔の中心位置とサイズから，まず，頭部画像領域を切
り出し，データベース登録部２６０は，この頭部画像を
データベース３００内に顔画像ファイル３０３として登
録する。具体的には，以下のような頭部画像領域の切り
出しおよび登録を行う。
【００２５】図３は頭部画像領域の例を示す。図３
（Ａ）に示すような顔画像において，「＋」で示す部分
が顔の中心位置であるとき，中心領域切出し部２３０
は，図３（Ａ）に破線で示すような頭部画像領域を切り
出す。データベース登録部２６０は，切り出された図３
（Ｂ）に示すような頭部画像領域をデータベース３００
内に顔画像ファイル３０３として登録する。
【００２６】次に，中心領域切出し部２３０は顔の中心
位置とサイズから，同定に必要となる顔領域を目的に応
じて切り出し，モザイク化部２４１はこの領域内を目的
に応じてブロックサイズを変えモザイク化し，このデー
タをデータベース３００内にモザイク顔ファイル３０１
として登録する。図４はモザイク顔のための領域と，モ
ザイク化の例を示す。図４における白枠部分がモザイク
顔領域であり，その中が目的に応じたブロックサイズで
モザイク化される。
【００２７】次に，人物属性データ入力部５００におい
て，該当する顔画像を持つ人物の属性データを入力し，
このデータを検索処理部２００ａの人物属性データ登録
部２７０においてデータベース３００内に人物属性デー
タファイル３０２として登録する。入力方法としては，
テキスト入力，手書き文字入力の他，名刺リーダを接続
して相手の属性を入力することが考えられる。人物属性
データとしては，人物名の他に，例えば年令，職業，会
社名，所属，趣味・嗜好，住所，家族の情報等，相手に
ついて知りたい情報を目的に応じて任意に決めることが
できる。
【００２８】以上を，登録すべき人数分繰り返し，顔画
像およびモザイク顔および人物属性データのデータベー
ス登録を終了する。登録データの検索では，顔の同定の
ための被検索対象となる人物の顔画像を同様の手順で入
力し，中心領域切出し部２３０はこの顔の中心位置とサ
イズから，同定に必要となる顔領域を目的に応じて切り
出し，さらにモザイク化部２４２は，モザイク化部２４
１と全く同様の手順でこの領域内を目的に応じてブロッ
クサイズを変えモザイク化する。モザイク化部２４２
は，前述したモザイク化部２４１を用いても良い。ま
た，領域とブロックサイズはモザイク顔ファイル登録時
と同一である。
【００２９】このモザイク顔データは検索部２５０に送
られ，検索部２５０はこのデータと，データベース３０
０内のモザイク顔ファイル３０１との一致度の計算を行
い，入力顔のモザイク顔データと最もよく一致するモザ
イク顔データをモザイク顔ファイル３０１から順に抽出
し，このモザイク顔データに対応する顔画像をデータベ
ース３００内の顔画像ファイル３０３から，また，同様
に対応する人物属性データをデータベース３００内の人
物属性データファイル３０２から引き出して出力部４０
０に送る。出力部４００は，入力部１１０における入力
画像と，検索結果の顔画像および人物属性データを順に
表示する。
【００３０】また，音声合成部２８０により上記モザイ
ク顔データに対応する人物属性データファイル３０２の
内容を合成音声に変換し，音声出力部４１０に送る。音
声出力器としてイヤホン等が考えられる。
【００３１】ところで，モザイク顔間の一致度は一般に
以下のように定義される。入力顔のモザイク顔データを
Ｘ＝｛Ｘｉ｝，ｉ＝１，２，…，Ｎ，データベース内の
モザイク顔データをＹ＝｛Ｙｉ｝，ｉ＝１，２，…，
Ｎ，とする。
【００３２】ここでＮは一つの顔を表現するモザイクの
数であり，各顔をこれらのモザイクを要素とするベクト
ルで表わす。二つのベクトルの一致度Ｓはベクトル演算
における公式から次式で与えられる。
【００３３】
【数１】
【００３４】これは二つのベクトル間の余弦を与えるも
ので相関値と同一であり，二つのモザイクが似ているほ
ど二つのベクトル間の角度は小さくなりＳは１に近い値
となる。
【００３５】そこで，これをデータベース３００内のそ
の他のモザイク顔ファイル３０１に対しても繰り返し，
Ｓが最も１に近いものを抽出する。本実施例の場合，図
２に示す各部を小型化し一体構造として携帯可能に構成
する。この際に入力部１１０は一体構造としないでケー
ブルで接続できるようにしてもよい。なお，この装置を
どのように携帯型にするかについては本発明の要旨では
なく，例えばペン入力コンピュータのような携帯型情報
処理機器や小型ビデオカメラ技術の応用により携帯型に
構成することは実現可能であるので，ここでの具体的な
説明は省略する。
【００３６】本発明は，複数の入力部を持たせること，
および，複数の出力部を持たせることが容易に実現でき
る。また，本発明はパスポート写真から手配写真を検索
する空港の入国審査システム，または，手配写真をデー
タベースから検索する警察の捜査用スクリーニングシス
テムなどに容易に拡張可能である。
【００３７】〔第２の実施例〕第２の実施例は，請求項
３〜請求項６に記載する発明に対応する実施例である。
図５は，この第２の実施例を示すブロック図である。
【００３８】図５において，図２と同符号のものは図２
に示すものと同一の機能を持つ。１５０は入力部，７０
０は伝送部である。入力部１５０は，ＴＶカメラ１５１
などを用い，建物の入口，エレベータ等，来店時に必ず
来客が通る場所で，初めて来店する来客の顔画像を入力
する。入力部１５０により入力した検索対象となる顔画
像は，伝送部７００によって入力部１５０と異なる場
所，例えば店内の検索処理部２００ｂへ伝送される。検
索処理部２００ｂで受信した画像は，入力画像バッファ
２０１へ格納される。従って，本バッファの内容は濃淡
あるいはカラーで表される画素の集合である。
【００３９】入力画像バッファ２０１の画像は位置決め
部２１０に送られ，位置決め部２１０では，既出願の
「画像認識装置」（特開平５−１７４１４９号）で示さ
れた多重解像度を利用した粗密探索により，位置決め用
辞書２２０を参照しつつ，顔の中心位置とサイズが求め
られる。
【００４０】中心領域切出し部２３０は，こうして得ら
れた顔の中心位置とサイズから，まず，頭部画像領域を
切り出し，データベース登録部２６０は，入力画像から
不要部を取り除いたこの頭部画像をデータベース３００
内に顔画像ファイル３０３として登録する。頭部画像領
域の例を前出の図３に示す。
【００４１】次に，中心領域切出し部２３０は，顔の中
心位置とサイズから同定に必要となる顔領域を目的に応
じて切り出し，モザイク化部２４１はこの領域内を目的
に応じてブロックサイズを変えモザイク化し，このデー
タをデータベース３００内にモザイク顔ファイル３０１
として登録する。モザイク顔のための領域と，モザイク
化の例を前出の図４に示す。
【００４２】次に，人物属性データ入力部５００におい
て，該当する顔画像を持つ人物の属性データを入力し，
このデータを検索処理部２００ｂの人物属性データ登録
部２７０により，データベース３００内に人物属性デー
タファイル３０２として登録する。
【００４３】以上を，登録すべき人数分繰り返し，顔画
像およびモザイク顔および人物属性データのデータベー
ス登録を終了する。登録データの検索では，顔の同定の
ための被検索対象となる人物の顔画像を同様の手順で入
力し，中心領域切出し部２３０はこの顔の中心位置とサ
イズから，同定に必要となる顔領域を目的に応じて切り
出し，さらにモザイク化部２４２は，モザイク化部２４
１と全く同様の手順でこの領域内を目的に応じてブロッ
クサイズを変えモザイク化する。モザイク化部２４２は
モザイク化部２４１を用いても良い。ここで，領域とブ
ロックサイズはモザイク顔ファイル登録時と同一であ
る。
【００４４】このモザイク顔データは検索部２５０に送
られ，検索部２５０はこのデータと，データベース３０
０内のモザイク顔ファイル３０１との一致度の計算を行
い，入力顔のモザイク顔データと最もよく一致するモザ
イク顔データをモザイク顔ファイル３０１から順に抽出
し，このモザイク顔データに対応する顔画像をデータベ
ース３００内の顔画像ファイル３０３から，また，同様
に対応する人物属性データをデータベース３００内の人
物属性データファイル３０２から引き出して出力部４０
０に送る。出力部４００は，入力部１５０における入力
画像と，検索結果の顔画像および人物属性データを順に
表示する。なお，第１の実施例と同様に，人物属性デー
タを合成音声によりスピーカまたはイヤホン等の音声出
力器に出力するようにしてもよい。
【００４５】ここで，モザイク顔間の一致度の定義は，
第１の実施例で説明したものと同様であるので説明を省
略する。次に，第１および第２の実施例において共通の
手段として用いられている位置決め用辞書２２０，位置
決め部２１０，中心領域切出し部２３０について，図６
および図７を用いて詳細に説明する。
【００４６】図６は，位置決め用辞書２２０，位置決め
部２１０，中心領域切出し部２３０の関係を示す図であ
る。図７は，図６の各部の詳細構成を示す図である。ま
ず，辞書作成部８００について述べる。スキャナ等の探
索対象画像入力部８０１から入力した画像は，探索対象
画像バッファ８０２に格納される。
【００４７】この探索対象画像を行列Ｆ＝［ｆ］で表
し，これをＷa ×Ｗa 画素のサイズのブロックでＭ×Ｎ
に分割し，このモザイク画像の各ブロックＦＣmnをブロ
ック内の代表値，例えば濃淡ならばブロック内平均値，
カラーならばブロック内で最大の頻度を有する色で表す
とすると，
【００４８】
【数２】
【００４９】ここで，ｍ＝１，…，Ｍ，ｎ＝１，…，
Ｎ，となる。粗探索対象画像モザイク化部８０３は，探
索対象画像バッファ８０２の画像をこの式でモザイクデ
ータＦＣとし，粗探索対象画像辞書２２１に蓄積する。
なお，必要であれば，複数の探索対象画像の平均値，こ
の例では複数の顔画像の平均値をとり，代表的な顔のモ
ザイクデータとするか，複数の粗探索対象画像を用意し
ても良い。
【００５０】また，探索対象をＷb ×Ｗb 画素（Ｗb ＜
Ｗa ）のサイズのブロックでＭ′×Ｎ′に分割する（各
ブロックを前記の場合と同様にブロック内の代表値で表
す）。詳細探索対象画像モザイク化部８０４は，この数
値を用いてモザイク化（ＦＤ）し，詳細探索対象画像辞
書２２２に蓄積する。ここで必要ならば，複数の詳細探
索対象画像の平均値をとるか，複数の詳細探索対象画像
を用意すれば良いのは，粗探索の場合と同じである。
【００５１】一方，未知画像（入力画像）Ｕは，入力画
像バッファ２０１を介して粗探索部２１１の中に示す未
知画像バッファ２１１１に取り込まれる。そこで未知画
像Ｕに対して，やはり，未知画像モザイク化部２１１２
でＷa ×Ｗa 画素のブロックサイズでＰ×Ｑに分割し，
ブロック毎に代表値を算出しモザイク画像ＵＣを得る。
【００５２】次に，未知画像のモザイクを走査して粗探
索対象画像モザイクと一致する場所を探索する。これ
は，次の原理に基づく。未知画像のＰ×Ｑのモザイクデ
ータＵＣのうち，任意のＭ×ＮのモザイクデータをＵi
としたとき，Ｕi と粗探索対象モザイクデータＦＣとの
距離Ｄi が最小値となるときのＵi の位置を粗探索結果
とする。この距離Ｄi として，種々の出し方があるが，
代表的なものとしてユークリッド距離がある。このユー
クリッド距離は以下のようにして求められる。
【００５３】
【数３】
【００５４】さらに，Ｄmin ＝Ｍｉｎ｛Ｄi ｝。具体的
には次の通りである。２１１３は候補選択部であり，未
知画像モザイク化部２１１２の中からＭ×Ｎブロック分
の枠に入る候補データＵi （ｉ＝１，２，…）を選択す
る。一般的には，はじめに未知画像の左上のＭ×Ｎブロ
ック分がＵ1 として選択される。このモザイクデータＵ
1 との粗探索対象画像辞書２２１からの粗探索対象モザ
イクデータＦＣとが距離算出部２１１４に入力され，上
記の距離が算出される。この結果は，このときの未知画
像モザイクデータＵＣにおけるＭ×Ｎの位置データ，す
なわちＵ1 の位置データ，ならびにモザイクのブロック
サイズＷa とともに，位置・サイズ・距離蓄積部２１１
５に蓄えられる。
【００５５】さらに候補選択部２１１３は未知画像モザ
イク化部２１１２から次の候補Ｕ2を選択し，距離算出
部２１１４は，この時の距離を算出して，候補Ｕ2 の位
置，ブロックサイズとともに位置・サイズ・距離蓄積部
２１１５に蓄える。同様に，未知画像モザイクの全領域
に対して，Ｍ×Ｎの候補Ｕi が順次選択され，選択され
た位置，ブロックサイズと算出された距離は，すべて位
置・サイズ・距離蓄積部２１１５に蓄えられる。
【００５６】ところで，以上では未知画像のモザイク化
において，探索対象画像と同じブロックサイズＷa ×Ｗ
a 画素を用いた。探索対象画像と未知画像内の探索対象
画像が同じサイズであればこのままでよいが，一般的に
は，未知画像内における探索対象画像のサイズもまた未
知である。このため，未知画像モザイク化部２１１２
は，ブロックサイズの画素数を，例えば，Ｗa の１／５
〜１０／５などのＷ′aに変化させる。そこで，一つ一
つのブロックサイズＷ′a ごとに上記の手順を繰り返し
て，得られた距離とその時の位置ならびにブロックサイ
ズＷ′a を位置・サイズ・距離蓄積部２１１５に蓄え
る。
【００５７】また，複数の探索対象画像を辞書においた
場合にも，同様にして，一つ一つの探索対象画像ごとに
上記の手順を繰り返し，得られた距離とその時の位置お
よびブロックサイズを位置・サイズ・距離蓄積部２１１
５に蓄える。
【００５８】こうして，全部の場合の距離が，位置・サ
イズ・距離蓄積部２１１５に蓄えられると，最小距離検
出部２１１６は，位置・サイズ・距離蓄積部２１１５の
中の距離データの内，最小値をとるものを検出する。こ
の値は探索対象有無判定部２１１７に送られ，この値が
ある閾値以下の時は，未知画像内に対象画像があると判
断し，その位置およびブロックサイズを位置・サイズ・
距離蓄積部２１１５からとり出して，結果を粗探索結果
出力部２１１８に出力する。粗探索結果出力部２１１８
は，ブロックサイズＷa をもとに未知画像内の探索対象
画像の大きさを［Ｍ×Ｗa ］×［Ｎ×Ｗa ］により算出
する。
【００５９】一方，最小距離値がある閾値を越えた時
は，未知画像内に対象画像がないと判断し，「無い」こ
とを粗探索結果出力部２１１８に出力する。粗探索結果
出力部２１１８は，これらの結果を直ちに詳細探索部２
１２に通知する。
【００６０】こうして粗探索により，認識対象のおおよ
その位置と大きさがわかると，モザイクのブロックを小
さくして，詳細にその位置を探索する。上記の粗探索結
果が，粗探索結果分配部２１２８に通知されると，未知
画像バッファ２１２１は，入力画像バッファ２０１から
未知画像Ｕを取り込むとともに，粗探索結果分配部２１
２８は，粗探索で得られた未知画像Ｕの中の詳細探索画
像のおおよその位置と大きさを未知画像バッファ２１２
１に通知する。そこで，画像切出しモザイク化部２１２
２は未知画像の中から該当部分を切り出し，これに対し
てＷb ×Ｗb 画素のブロックサイズでＰ′×Ｑ′に分割
し，ブロックごとに代表値を算出しモザイク画像を得
る。
【００６１】粗探索の場合と同様，未知画像の該当部分
画像のモザイクを走査して，詳細探索対象モザイクと一
致する場所を探索する。すなわち，部分画像のＰ′×
Ｑ′のモザイクデータＵＤのうち任意のＭ′×Ｎ′をＵ
j としたとき，Ｕj と，探索対象のモザイクＦＤとの距
離Ｄj が最小となる時のＵj の位置を，詳細探索結果と
する。
【００６２】具体的には，候補選択部２１２３は，画像
切出しモザイク化部２１２２の中からＭ′×Ｎ′分の枠
に入る候補Ｕj を取り出す。距離算出部２１２４は，こ
のＵ j と詳細探索対象画像辞書２２２からの詳細探索対
象モザイクＦＤの距離Ｄj を算出し，このときのＵj の
位置データ，ならびにモザイクのブロックサイズＷbと
ともに，位置・サイズ・距離蓄積部２１２５に送る。
【００６３】ここで，必要に応じ，ブロックサイズＷb
をＷ′b と変化させたり，複数の詳細探索対象画像を用
いたりすることも，粗探索の場合と同様である。こうし
て，最小距離検出部２１２６で最小値を検出すると，こ
の時のＵj の位置データ，ならびにブロックサイズＷb
が詳細探索結果出力部２１２７に送られる。詳細探索結
果出力部２１２７はブロックサイズＷb より探索対象画
像の正確な大きさ，すなわち，［Ｍ′×Ｗb ］×［Ｎ′
×Ｗb ］を算出し，位置データとともに中心領域切出し
部２３０に送出する。
【００６４】
【発明の効果】以上説明したように，本発明によれば，
小型カメラ等によって入力した人物の顔画像から，自動
的に人物名，所属等の属性データを検索し，携帯装置に
よって表示したり，イヤホンからの合成音声でデータを
出力することにより，相手に違和感を与えず人物属性デ
ータを得ることが可能になる。
【００６５】また，来客に違和感を持たれないようにカ
メラで顔画像を取り込み，異なる場所へ伝送し，取り込
んだ顔画像で顔画像検索を行い人物を同定し，離れた場
所にいる店員に対しその人物属性データの教示が可能に
なることから，突然の来客でも，店員は顧客が来店する
直前に来客の情報を予習することが可能になる。
【図面の簡単な説明】
【図１】本発明の基本構成例を示す図である。
【図２】第１の実施例を示すブロック図である。
【図３】頭部画像領域の例を示す図である。
【図４】モザイク顔のための領域とモザイク化の例を示
す図である。
【図５】第２の実施例を示すブロック図である。
【図６】実施例における位置決め用辞書，位置決め部，
中心領域切出し部の関係を示す図である。
【図７】実施例における位置決め用辞書，位置決め部の
詳細構成を示す図である。
【符号の説明】
１００ 顔画像データ入力部 ２００ 検索処理部 ２１０ 位置決め部 ２１１ 粗探索部 ２１２ 詳細探索部 ２２０ 位置決め用辞書 ２２１ 粗探索対象画像辞書 ２２２ 詳細探索対象画像辞書 ２３０ 中心領域切出し部 ２４０ モザイク化部 ２５０ 検索部 ３００ 記憶装置（データベース） ３０１ モザイク顔ファイル ３０２ 人物属性データファイル ４００ 出力部
フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｆ 15/64 Ｈ 15/66 ３３０ Ｒ (72)発明者 岸本 登美夫 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内

Claims (6)

    【特許請求の範囲】
  1. 【請求項１】 顔画像をモザイク化したモザイク顔ファ
    イルと該モザイク顔対応に用意した人物属性データファ
    イルとが格納される記憶装置と，顔画像を入力する顔画
    像データ入力部と，該顔画像データ入力部から入力され
    た顔画像に対し予め用意した位置決め用辞書を用いて所
    定の位置決めを行う位置決め部，位置決めがされた前記
    顔画像から中心領域を決定して検索キーとすべき画像を
    切り出す中心領域切出し部，切り出された画像をモザイ
    ク化するモザイク化部，およびモザイク化された画像を
    キーとして前記記憶装置から人物属性データファイルを
    検索する検索部を有する検索処理部と，検索により得ら
    れた人物属性データを出力する出力部とを備えたことを
    特徴とする顔画像による登録データ検索装置。
  2. 【請求項２】 顔画像をモザイク化したモザイク顔ファ
    イルと該モザイク顔対応に用意した人物属性データファ
    イルとが格納される記憶装置と，顔画像を入力する顔画
    像データ入力部と，該顔画像データ入力部から入力され
    た顔画像に対し予め用意した位置決め用辞書を用いて所
    定の位置決めを行う位置決め部，位置決めがされた前記
    顔画像から中心領域を決定して検索キーとすべき画像を
    切り出す中心領域切出し部，切り出された画像をモザイ
    ク化するモザイク化部，およびモザイク化された画像を
    キーとして前記記憶装置から人物属性データファイルを
    検索する検索部を有する検索処理部と，検索により得ら
    れた人物属性データを音声合成または画面表示によって
    出力する出力部とを備え，前記記憶装置，前記検索処理
    部および前記出力部，またはこれらと前記顔画像データ
    入力部とを一体構造とし，携帯型に構成したことを特徴
    とする顔画像による登録データ検索装置。
  3. 【請求項３】 顔画像をモザイク化したモザイク顔ファ
    イルと該モザイク顔対応に用意した人物属性データファ
    イルとが格納される記憶装置と，顔画像を入力する顔画
    像データ入力部と，該顔画像データ入力部で入力された
    顔画像を伝送する伝送部と，該伝送部により伝送された
    顔画像を受信し，その顔画像に対し予め用意した位置決
    め用辞書を用いて所定の位置決めを行う位置決め部，位
    置決めがされた前記顔画像から中心領域を決定して検索
    キーとすべき画像を切り出す中心領域切出し部，切り出
    された画像をモザイク化するモザイク化部，およびモザ
    イク化された画像をキーとして前記記憶装置から人物属
    性データファイルを検索する検索部を有する検索処理部
    と，検索により得られた人物属性データを出力する出力
    部とを備えたことを特徴とする顔画像による登録データ
    検索装置。
  4. 【請求項４】 請求項１，請求項２または請求項３記載
    の顔画像による登録データ検索装置において，前記検索
    部は，一致判断を距離計算により行うように構成された
    ことを特徴とする顔画像による登録データ検索装置。
  5. 【請求項５】 請求項１，請求項２または請求項３記載
    の顔画像による登録データ検索装置において，前記位置
    決め用辞書は，粗探索用辞書と詳細探索用辞書とを備
    え，前記位置決め部は，前記粗探索用辞書を用いる粗探
    索部と，該粗探索部での探索結果をもとに前記詳細探索
    用辞書を用いる詳細探索部とを備えたことを特徴とする
    顔画像による登録データ検索装置。
  6. 【請求項６】 請求項１，請求項２または請求項３記載
    の顔画像による登録データ検索装置において，人間の顔
    色を利用して撮像画像中での人間の有無を判断し，撮像
    画像中に人間の顔色がない場合に前記顔画像データ入力
    部を制御し，人間の顔色が得られるように撮像範囲を変
    化させる顔有無判定部を備えたことを特徴とする顔画像
    による登録データ検索装置。
JP6192468A 1994-08-16 1994-08-16 顔画像による登録データ検索装置 Pending JPH0855133A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6192468A JPH0855133A (ja) 1994-08-16 1994-08-16 顔画像による登録データ検索装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6192468A JPH0855133A (ja) 1994-08-16 1994-08-16 顔画像による登録データ検索装置

Publications (1)

Publication Number Publication Date
JPH0855133A true JPH0855133A (ja) 1996-02-27

Family

ID=16291802

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6192468A Pending JPH0855133A (ja) 1994-08-16 1994-08-16 顔画像による登録データ検索装置

Country Status (1)

Country Link
JP (1) JPH0855133A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233458A (ja) * 1996-02-28 1997-09-05 Toshiba Corp 画像選択方法および画像選択装置
US6137498A (en) * 1997-01-02 2000-10-24 Runaway Technology, Inc. Digital composition of a mosaic image
JP2001092838A (ja) * 1999-09-22 2001-04-06 Toshiba Corp マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
JP2001517839A (ja) * 1997-09-25 2001-10-09 レイセオン カンパニー モバイル生物測定識別システム
JP2001350551A (ja) * 2000-06-07 2001-12-21 Casio Comput Co Ltd 画像処理装置および記憶媒体
WO2002029636A1 (en) * 2000-09-19 2002-04-11 Chulhee Lee Method for finding a person by using an internet web site
JP2002288178A (ja) * 2001-03-23 2002-10-04 Toshiba Corp マルチメディア情報収集管理装置およびプログラム
US6549913B1 (en) 1998-02-26 2003-04-15 Minolta Co., Ltd. Method for compiling an image database, an image database system, and an image data storage medium
JP2004145395A (ja) * 2002-10-21 2004-05-20 Aruze Corp 個人認証方法、及び個人認証システム
EP1467549A2 (en) 2000-10-20 2004-10-13 Fuji Photo Film Co., Ltd. Image processing system associating information with identified subject persons of image
JP2005339000A (ja) * 2004-05-25 2005-12-08 Casio Comput Co Ltd 画像認識装置およびプログラム
JP2006165821A (ja) * 2004-12-03 2006-06-22 Nikon Corp 携帯電話機
JP2007213607A (ja) * 2007-04-16 2007-08-23 Casio Comput Co Ltd 画像処理装置および記録媒体
US8107725B2 (en) 2007-11-30 2012-01-31 Toyota Jidosha Kabushiki Kaisha Image processor and image processing method
JPWO2012104947A1 (ja) * 2011-01-31 2014-07-03 ビーエルデーオリエンタル株式会社 業務支援装置及び、業務支援システム
JP2017126352A (ja) * 2012-01-31 2017-07-20 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233458A (ja) * 1996-02-28 1997-09-05 Toshiba Corp 画像選択方法および画像選択装置
US6137498A (en) * 1997-01-02 2000-10-24 Runaway Technology, Inc. Digital composition of a mosaic image
JP2001517839A (ja) * 1997-09-25 2001-10-09 レイセオン カンパニー モバイル生物測定識別システム
US6549913B1 (en) 1998-02-26 2003-04-15 Minolta Co., Ltd. Method for compiling an image database, an image database system, and an image data storage medium
JP2001092838A (ja) * 1999-09-22 2001-04-06 Toshiba Corp マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
JP4610696B2 (ja) * 2000-06-07 2011-01-12 カシオ計算機株式会社 画像処理装置及び記録媒体
JP2001350551A (ja) * 2000-06-07 2001-12-21 Casio Comput Co Ltd 画像処理装置および記憶媒体
WO2002029636A1 (en) * 2000-09-19 2002-04-11 Chulhee Lee Method for finding a person by using an internet web site
EP1467549B1 (en) * 2000-10-20 2011-03-23 FUJIFILM Corporation Image processing system associating information with identified subject persons of image
EP1467549A2 (en) 2000-10-20 2004-10-13 Fuji Photo Film Co., Ltd. Image processing system associating information with identified subject persons of image
JP2002288178A (ja) * 2001-03-23 2002-10-04 Toshiba Corp マルチメディア情報収集管理装置およびプログラム
JP2004145395A (ja) * 2002-10-21 2004-05-20 Aruze Corp 個人認証方法、及び個人認証システム
JP2005339000A (ja) * 2004-05-25 2005-12-08 Casio Comput Co Ltd 画像認識装置およびプログラム
JP4501531B2 (ja) * 2004-05-25 2010-07-14 カシオ計算機株式会社 画像認識装置およびプログラム
JP2006165821A (ja) * 2004-12-03 2006-06-22 Nikon Corp 携帯電話機
JP2007213607A (ja) * 2007-04-16 2007-08-23 Casio Comput Co Ltd 画像処理装置および記録媒体
US8107725B2 (en) 2007-11-30 2012-01-31 Toyota Jidosha Kabushiki Kaisha Image processor and image processing method
JPWO2012104947A1 (ja) * 2011-01-31 2014-07-03 ビーエルデーオリエンタル株式会社 業務支援装置及び、業務支援システム
JP2017126352A (ja) * 2012-01-31 2017-07-20 パナソニックＩｐマネジメント株式会社 画像表示装置及び画像表示方法
US10366477B2 (en) 2012-01-31 2019-07-30 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus and image processing method

Similar Documents

Publication Publication Date Title
JPH0855133A (ja) 顔画像による登録データ検索装置
KR101010081B1 (ko) 미디어 식별
US6959099B2 (en) Method and apparatus for automatic face blurring
KR100883100B1 (ko) 이동 단말의 영상 파일 저장 방법 및 장치
JP4552632B2 (ja) 携帯機器
US20030081145A1 (en) Systems and methods for generating digital images having image meta-data combined with the image data
US7302113B2 (en) Displaying digital images
US7003140B2 (en) System and method of searching for image data in a storage medium
KR20120102043A (ko) 비디오 세션의 자동 라벨링
US11704934B2 (en) Information processing apparatus, information processing method, and program
WO2007004520A1 (ja) 検索システム及び検索方法
US20230359701A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US20070147681A1 (en) System and method for extracting a face from a camera picture for representation in an electronic system
JPH0950528A (ja) 人物検出装置
KR20150066009A (ko) 광고 삽입 방법 및 이를 위한 단말기
JPH07302337A (ja) 類似顔画像検索装置
JPH06282630A (ja) ビデオｉｄフォトシステム
JP2024035306A (ja) 情報処理システム、情報処理方法、プログラム、記憶媒体及び情報処理装置
JPH05120353A (ja) イメ−ジデータ管理装置
KR20210101736A (ko) 앨범간단정리 어플리케이션
KR20080036231A (ko) 정보 제시 시스템, 정보 제시 단말기 및 서버