JP4347882B2 - 特定の電子画像をユーザに配布する方法 - Google Patents

特定の電子画像をユーザに配布する方法 Download PDF

Info

Publication number
JP4347882B2
JP4347882B2 JP2006503384A JP2006503384A JP4347882B2 JP 4347882 B2 JP4347882 B2 JP 4347882B2 JP 2006503384 A JP2006503384 A JP 2006503384A JP 2006503384 A JP2006503384 A JP 2006503384A JP 4347882 B2 JP4347882 B2 JP 4347882B2
Authority
JP
Japan
Prior art keywords
image
face
customer
person
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2006503384A
Other languages
English (en)
Other versions
JP2006523334A (ja
Inventor
デイビッド・エイ・ゴールドバーグ
マーサ・ビー・ゴールドバーグ
ミリアム・ディ・ゴールドバーグ
ベンジャミン・エム・ゴールドバーグ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youfinder Intellectual Property Licensing LLC
Original Assignee
Youfinder Intellectual Property Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/360,197 external-priority patent/US20030118216A1/en
Application filed by Youfinder Intellectual Property Licensing LLC filed Critical Youfinder Intellectual Property Licensing LLC
Publication of JP2006523334A publication Critical patent/JP2006523334A/ja
Application granted granted Critical
Publication of JP4347882B2 publication Critical patent/JP4347882B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03DAPPARATUS FOR PROCESSING EXPOSED PHOTOGRAPHIC MATERIALS; ACCESSORIES THEREFOR
    • G03D15/00Apparatus for treating processed material
    • G03D15/001Counting; Classifying; Marking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00Individual registration on entry or exit
    • G07C9/20Individual registration on entry or exit involving the use of a pass
    • G07C9/22Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder
    • G07C9/25Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G07C9/253Individual registration on entry or exit involving the use of a pass in combination with an identity check of the pass holder using biometric data, e.g. fingerprints, iris scans or voice recognition visually
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07FCOIN-FREED OR LIKE APPARATUS
    • G07F17/00Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/26Coin-freed apparatus for hiring articles; Coin-freed facilities or services for printing, stamping, franking, typing or teleprinting apparatus
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/028Electronic editing of analogue information signals, e.g. audio or video signals with computer assistance
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00137Transmission
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00143Ordering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00143Ordering
    • H04N1/00145Ordering from a remote location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00148Storage
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00148Storage
    • H04N1/00151Storage with selective access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00167Processing or editing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • H04N1/00172Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00188Printing, e.g. prints or reprints
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/0019Image output on souvenir-type products or the like, e.g. T-shirts or mugs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • H04N1/00193Image output to a portable storage medium, e.g. a read-writable compact disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H04N1/00286Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus with studio circuitry, devices or equipment, e.g. television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H04N1/00299Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus with a television transmission apparatus, e.g. a videophone, a teletext system or a digital television system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00342Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with a radio frequency tag transmitter or receiver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • G07C2011/02Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere related to amusement parks
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C11/00Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere
    • G07C2011/04Arrangements, systems or apparatus for checking, e.g. the occurrence of a condition, not provided for elsewhere related to queuing systems
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537Optical discs
    • G11B2220/2545CDs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/90Tape-like record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/022Electronic editing of analogue information signals, e.g. audio or video signals
    • G11B27/024Electronic editing of analogue information signals, e.g. audio or video signals on tapes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Facsimile Transmission Control (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Facsimiles In General (AREA)
  • Image Analysis (AREA)

Description

本発明は、所与の人物に合致する画像の検索を可能とする、公共開催地での人物のデジタル画像に関する。
テーマパークディズニーワールド、またはシックスフラッグスオーバーテキサスなど、大きな、変化に富むエンターテインメント設備を客が訪ずれる際、多くの場合、客は、自分たちの訪問の永久的な記念品を集めようと願うものである。多くの場合、この記念品は、客または客と一緒に旅行している人達により撮影された写真を含んでいる。このタイプの画像を取得する困難さの1つは、適当なカメラアングルが、客にとって実現困難、または不可能である可能性があることである。例えば、一般に、ジェットコースターに乗っている間は、遠くから撮る必要がある写真撮影は禁じられている。さらに、客が自分自身の写真を撮ることが困難であったり、または、客が自前の撮影機材を有していなかったり、または忘れていたり、またはそれを用いる機会がなかったりすることもあるだろう。
これらの困難を補うには、客に適当な記念品を提供し、さらに、エンターテインメント開催地が、追加的収入源を得るために、商品として客に写真撮影を行うことである。これらの写真は、客が、コスチュームを身にまとったり、または、他の状況にある人物の身体写真に、自分たちの頭が丁度位置するように、板の切抜きからその頭を覗かせたりする、「古風」な写真としての演出写真であってもよい。代替的に、プロのカメラマンが、周知の漫画キャラクタのコスチュームを身にまとった俳優と並んでいる客の写真を撮影する場合もあろう。しかしながら、これらの演出写真では、客の画像を得る機会の回数は限られており、さらに、これらの方法は、一般に、1日にテーマパークを訪れるかもしれない何万または何十万人もの客には不適当である。
これらの困難性の若干を補うために、いくつかのテーマパークでは、特定の瞬間にライドコース内にいる各客をキャプチャするよう、戦略上、カメラが、ライド内に配置されている。例えば、カリフォルニアのディズニーランドでは、ウォーターライドの最大の興奮の瞬間に、多くの乗客の各々を撮影できるよう、カメラが設置されている。写真は、参加者が、記念品として写真を購入するよう気を引くために、降りる時、各参加者に提示されるよう配置されている。
ライド中の客の写真を撮るこの方法は、客に人気があるのは分かっているが、その有用性および適用性を限定してしまう多くの実際的な制約がある。例えば、客は、ライドのために並んだ後に、それらの写真を得るために、また別に並びなおさねばならない。客は、各ライドにつき、わずか1枚または数枚の写真しか購入できない。重要なことだが、毎日テーマパークで撮影される多数の写真から、自分たちの写真を得るために、客は、自分たちの写真に対応する番号を覚えていなければならない。したがって、一般に、客は、自分たちの番号を覚えておくことができるように、そのライドの直後に、自分たちの写真を購入しなければならない。この厄介で手間のかかる処理は、各客が1日の間に取得可能な写真の数を制限してしまう。これらの制限は、客の満足度およびテーマパークの収入の面の両方に影響する。
本発明が企図しているのは、これらの問題および他の問題に対してである。
本発明の目的は、偽陽性、および、偽陰性をより少なくする、顔認識手段を提供することである。
この目標を達成するために、通常、顔認識で分析される情報に追加される情報が考慮に入れられている。こうした追加情報は、宝石ならびに他の身につけた物品と同様に、衣服と同様に、人物の髪、および配色の態様を含むことができる。さらに、同一写真内に、他の特定の人物と共にいる傾向がある人物に関する情報が集められ、さらに分析され、さらに格納されている。イベントでキャプチャされた写真の大部分は短期間に撮影されるので、イベントの過程を通して、写真内の人物が同じ追加情報を有している傾向が強いことになる。さらに、他の人物(例えば、夫婦および家族、学校のグループ)に関連付けられた人物は、互いに同一写真内に写っている傾向があるだろうし、1人の人物に対して起こっていることは、その写真内の同じグループの別の人物にも起こっている可能性が高い。これらの分析法は、共に、顔認識の精度を大いに高める。
本発明はまた、電子的に格納された写真の集合からの画像の分類および収集に、顔認識を用いることにも関連しており、特定の人物または人物の組に関する画像の簡単な検索を可能にしている。
ステップの概観:
本発明のステップの概観は、図1のブロック図に概略的に示されている。対象リモート識別ステップ31は、画像がキャプチャされる対象を識別することを含んでいる。画像キャプチャ33の別のステップは、デジタルまたはアナログ方式による画像の電子キャプチャを含んでいる。対象識別およびキャプチャされた画像は、識別された画像の格納ステップ37において、一時的または永久的に結合され、格納装置内に配置される。最終的に、画像は、画像配布のステップ39において、通常、対象リモート識別ステップ31で識別された対象に配布される。
図1に示したように、対象リモート識別ステップ31および画像キャプチャステップ33は、互いに異なるものでもよく、さらに、これらのステップの出力は、識別された画像の格納ステップ37へ別々に入力されてもよい。リモート識別31および画像キャプチャ33の順序および、タイミングは変化してもよい。したがって、リモート識別31は、画像キャプチャ33に先行し、同時に起こり、または後続するものであってもよい。
対象リモート識別ステップ31および画像キャプチャステップ33の組合せは、本発明で最も重要である。キャプチャされた画像内での対象の識別を、リモート識別31によって自動的に確立することにより、適切な客への画像配布39を補助するための人的介入または意識的双方向処理(番号を覚えているなど)を要することなく、画像は格納されることができ、その後、テーマパークの個々の客により検索されることができる。これにより、大きな公共の開催地での画像配布における、実際的なボトルネックを取り除くことになる。
図2は、乗っているテーマパーク客の画像がキャプチャされ、分類され、および客に配布される斜視図である。対象リモート識別31と画像キャプチャ33のステップは、組合せ画像キャプチャおよびリモート識別ステップ41に結合されている。客43は、レール47上を走るテーマパークアミューズメントカー45に乗る。客は、そのシャツにリモート識別タグ49をつけている。タグ49は、リモート識別(ID)リーダー52から生成される信号に応答し、客43が乗った車45がリモートIDリーダー52を通過する際に、リモートIDリーダー52が受信して識別することが可能な信号を伝送する。客43の識別は、識別転送ワイヤ53を通して、画像格納装置71へ格納され、または識別された画像を画像格納装置71から検索する、格納コントローラ73へ伝送される。リモートIDタグ49およびリモートIDリーダー52の機能は、多くの形式を取ることが可能であり、以下に詳細に説明する。
赤外線光ビーム59は、赤外線送信装置55で生成され、赤外線受信器57により受信される。車45が赤外線光59の経路を通過すると、受信器57による光ビーム59のエネルギーの受けとりが中断され、信号がデジタルカメラ63に渡され、それにより、カメラ63が車45とその乗客43の画像をキャプチャすることになる。このようにしてカメラ63によりキャプチャされたデジタル画像は、その後、画像転送ワイヤ65を通して、格納コントローラ73へ伝送され、その後、画像は、そこから画像格納装置71へ格納される。
画像配布のステップ39は、配布ステーション77を組込んだキオスク75で実行される。配布ステーション77は、客43がレビューできるように、キャプチャされた画像を表示するモニター85を組込んである。統合リモートIDリーダー51は、配布ケーブル81を通して、画像格納装置71からどの画像を検索するかを決定するよう、客43を識別するために含まれている。双方向処理手段は、視覚スクリーン85上の画像表示により、画像を選択するために、客43に提供されている。選択された画像は、ワークステーション77内で印刷され、画像配布スロット87を通して客に配布可能である。
双方向処理手段は、客43に聴取可能なコマンドおよび支援を伝えるスピーカー79により補助された、複数のボタン83、84を含んでいてもよい。この場合は、ボタン83は「Yes」とラベルをつけられ、ボタン84は「No」とラベルをつけられている。スクリーンに提示される質問の性質に応じて、これらのボタン83、84は、購買する画像を選択するか、または画像が届けられる形式を選択するために用いることができる。例えば、スクリーンに「写真を紙上に印刷しますか?」という質問を提示し、ボタン83またはボタン84を押すことにより、客43は、画像を紙上に印刷するか否かを決定することができることになろう。
より多くのボタンを備えたものを含む、他の多くの可能なユーザインタフェースが使用可能である。また、ボタン83、84は、客43になされる質問に応じて変化する、プロブラム可能な形で構成されたラベルを有していてもよく、上に提示された質問の代わりに、「どの表面上に写真を印刷しますか? 紙または、プラスチック」という質問も可能であろうし、ユーザは、一時的に「PAPER」とラベルをつけられているボタン83を押すか、または一時的に「プラスチック」とラベルされているボタン84を押すことにより、応答することができる。画像を検索するという要求は、配布ケーブル81を通して画像格納装置71およびそのコントローラ73へ送り返される。
図3は、図2を参照して読むことができる、第1実施例の典型的なイベントの流れの概要を示した、ブロック概略図である。一旦実行されると、開始ステップ138では、タグ49が客43に与えられ、客43とタグ49の関連付けが確立する。その後の画像キャプチャおよび配布のステップは全て、タグ49の物理的な関連性にのみリンクされ、その結果、客43は、タグ49を物理的に所持している限り画像の検索が可能となる。しかしながら、客43がタグ49をなくしたり、または、客43がもはやタグ49を所持していない後にも、画像の検索が可能であることを補うために、一般に、客43とタグ49との関連性の記録がデジタルデータベース内に作成され、格納されることになる。その後、タグ49に関連付けられた画像は、自動的に対応する客43に関連付けられる。
ステップ139では、リモートID識別タグ49は、リモートIDリーダー52の範囲に入っている。ステップ141では、タグ49は、その識別信号をリモートIDリーダー52へ送る。この時点で、システムは、客43の識別に関する情報のみならず、一般にタグ49の短い伝送距離に起因して、ライド内の客の大体の位置を把握している。また、システムは、ライド内の各車45の位置についても把握しているので、この時点で、システムは、特定のキャプチャされた画像内の特定の車45に客43を識別することができる。
ステップ143では、客を乗せた車45がスイッチを通過し(この場合、赤外線送信装置55、その赤外線光ビーム59、および赤外線受信器57を含む)、それによりカメラ63が作動する。スイッチは個々の車45の瞬間的位置を示し、異なる車45内の客43の位置も把握しているので、その後、画像内の特定の客43の識別を推論することが可能となる。
ステップ145では、画像および客の識別は、潜在的に他の関連情報と同様に、通信網(この場合、識別転送ワイヤ53および画像転送ワイヤ65を含む)を通して、画像格納装置71(この場合、格納コントローラ73を通して)へ送信され、そこで、この情報は、ハードドライブのアレイなどの容易に検索可能な媒体上に格納される。配布ステーション77にいる、撮影された自分の画像のレビューを所望する客43は、ステップ147でステーション77と双方向処理し、格納装置71から1人物以上の客に対応する画像を検索するために、格納コントローラ73へのコマンドを開始する。ステップ149では、これらの画像は、画像格納装置71から検索され、さらに配布ステーション77へ送られる。ステップ151では、客は、画像をレビューした後に、画像の印刷要求を処理する。ステップ153では、画像は、紙上に、あるいは記念品として印刷され、客43に届けられる。
ステップ139、141、143、および145は、客がエンターテインメント開催地を通って移動し、様々なライドおよび活動に参加するにつれ記録される、各画像に対して一度ずつ、各客43に対して幾度でも実行されることになる。これらのステップは、自動化された手段で起こるので、概ねクライアントが気づかぬうちに起こっていることになる。他方、ステップ147、149、151、および153は、客43が画像をレビューしたり、印刷の発注を所望するときにのみ、1回以上実行されることになる。
以下のセクションでは、本発明の範囲内にあるこの好適な実施例に対する多くの変更を含む、手順のステップについてさらに詳細に説明する。
対象リモート識別ステップ31
リモート識別31では、例えば、磁気帯上の情報がリーダーにより読み込まれる、識別カードの物理的な転送とは違い、距離を置いた識別を必要とする。こうした物理的転送スキームは、客側が意識的に行動する必要があり、エンターテインメントの体験を中断し、さらに群衆力学が予定する干渉(例えば、入り口の線を通って移動する客の速度が遅くなること)を生じさせることになる。他方、リモート識別は自動化されており、客が処理に気付くことなく実行可能である。
リモート識別の例は、無線ICタグ(RFID)、光検出器による検出、音声伝送器およびマイクロホンを伴うLED伝送、およびバーコード、および顔認識、および虹彩スキャン、および視覚記号コード化などの視覚識別手段を含んでいる。これらの技術では、識別される物と識別を実行する機構の間には、物理的接触が全くない。これらの方法のうちのいくつかは1マイル以上の距離で作動する場合もあるが、これらの大部分は、本発明のための適切な距離である、数インチから何十フィートまでの範囲で最も良好に動作する。本発明に適用されるリモート識別が、1フィート未満のオーダーの比較的わずかな距離を含んでいることに留意すべきである。
一般に、リモート識別法は、少なくとも2つの異なる要素である、識別子と検知器を伴っている。識別子は、識別される物が他の類似の物と区別される特徴である。識別子は、電子的または機械的な装置によって遠方から識別子の検出が可能な、物理的サイズ、および顔の造作の配置などの、識別される目的物に本質的な特徴であってもよい。代替的に、識別子は、固有のコードを伝送する無線送信機のように、目的物を識別可能な付随的タグであってもよい。検知器は、遠方から識別子を検出し、目的物の識別を解釈する装置である。検知器は、機能的に識別子の形式に合致させられる。その結果、音声信号伝送を組込んだ識別子は、マイクロホンなどの検知器に合致し、バーコードなどの可視識別子は、反射照明を検出するデジタルカメラ、または、反射光エネルギーを検出するのみならず照明信号も生成するレーザスキャナのいずれかに合致する。
これらの付随的タグは、手首のブレスレット、ネックレスおよびペンダント、または、シャツ、帽子または他の衣類に付けることができる付属ピン、またはベルトに掛けるループで留められたカードを含む、多くの異なる物理的形式を取っていてもよい。一般に、タグをピンで止めたり、担持したり、身につけたりする方法は、識別子の特定形式に特有のものではなく、多くのタイプの識別子が、異なる物理的形式で使用可能となる。
各識別子は、特定時に、固有のコードに関連付けられることに留意すべきである。一般に、識別子は、必ずしもそうではないが、識別子の耐用寿命を超えて、異なる客43により再利用されることがある。したがって、識別子に新規コードを書き込む方法が利用可能でなければならないし、または、特定の日付または特定の時間に、いずれの客43が、いずれの識別子により識別されたかを示すよう、データベースが維持されなければならない。
多くの異なる識別子、およびそれらに対応する検知器は、それらを使用する技術と共に、以下のセクションで考察され、さらに、図4a〜図4eの斜視図に表されている。
無線ICタグ(RFID)
無線ICタグ(RFID)は、概ね、呼び出し無線周波数信号に対応して、短いデジタル識別信号(多くの場合、32〜128ビット)を伝送するようにうながされる、可動無線送信機を含んでいる。一般に、可動無線周波数送信機は、30〜500kHzまたは0.9〜3GHz範囲で信号を伝送する。RFID送信機は、受動的または能動的という、2つの一般的な形式をとる。能動的RFIDでは、ミニチュアバッテリーまたは他の電源が、可動送信機にローカルでパッケージされている。一般に、能動的RFID装置は、1フィートから何十フィートまでの距離にわたって伝送するが、この距離は、時として何千フィートにも及ぶことがある。
他方、受動的RFIDは、ローカルの電源を担持しておらず、そのため、その送信範囲は、受信機コイルおよび送信機内部に位置する関連回路により反射または蓄積可能な、呼び出し装置からの電源の量により制限される。受動的RFID装置は、多くの場合、送信範囲が2、3フィートから10フィート以上までに制限される。
RFIDリモート識別装置の1つの実施例は、図4aに斜視図で示されている。この場合、識別子は、検出される人物が身に着けたブレスレット89を伴っている。ブレスレット89は、RFIDリーダー54からの呼び出し信号95を検出し、RFIDリーダー54により検出されるデジタル識別無線信号93を伝送する、RFIDタグ91を組込んでいる。RFIDリーダー54は、呼び出し信号95の送信、およびデジタル識別無線信号93の受信の両方を実行する電子機器を含んでいる。代替的に、ブレスレット89は、無線受信機、および送信機、および可能なバッテリー(能動的RFID送信機の場合)を含む、RFIDタグ91の構成要素を組込むための十分な空いた体積および断面積を必要とするという制限はあるが、ネックレス、またはピン、またはバッジ、またはカード、または小立像を含む、身に付け、または担持する多くのアクセサリーから選択可能である。
RFIDタグ91は、受動的または能動的RFID送信機のいずれであってもよい。また、タグ91が能動的RFIDタグである場合は、バッテリーなどの電源を組込まれている。
タグ91内の呼び出し手段は、使用する必要はない。例えば、無線信号93は、単に呼び出し信号95に応答してというよりむしろ、連続して送信し、または離散的かつ頻繁なバーストで送信することが可能であろう。しかしながら、この運転モードは、能動的RFID設計、および、この頻繁な送信の電源となる、RFIDタグ91に対するより実質的なローカル電源が必要となる。
タグ91はあらゆる方向から検出可能であるので、RFIDは、このリモート識別アプリケーションに適切であり、信号は視線に制限されず、広範囲の非伝導材料を通しても検出可能となる。
SCS社(サンディエゴ、カリフォルニア)製のi2システム、およびサムシステクノロジー(SAMSys Technologies)(トロント、オンタリオ、カナダ)製のSAMsysシステムを含む、市場で入手可能な多くのRFID送信機およびリーダーがある。
音声送信機:
図4bは、音声送信リモート識別システムの斜視図である。この実施例は、音声送信機99が組込まれた識別子として、身に付けられた、または担持された装置が含まれており、この場合はブレスレット89である。音声送信機99は、この場合はバッテリー電源を含んでおり、一定の間隔でデジタル音声識別信号101を発する。この信号101は、方向性マイク102により検出され解釈される。
方向性マイク102は、無方向性マイクに取り替えてもよいことに留意すべきである。このスキームは、適切に方向付けされていることより、むしろ音声送信機99が無方向性マイクに対して近接していることにのみ依存するものである。さらに、パラボラコレクタ、およびノイズ低減マイクの使用を含む、マイクロホンの方向性を得る、多くの異なる手段が存在している。パラボラコレクタは、大きな収集表面を有し、距離をおいたマイクロホン感度を増大させる利点がある。
また、RFIDと同様に、図4bに表された音声伝送システムは、音声送信機99をトリガーする、方向性マイク102から音声送信機99へ送られる音声または無線周波数呼び出し信号(呼び出し信号95と同様)を含んでいることも可能であるが、この場合には、音声送信機99は、質問者信号用の受信機が組込まれている必要がある。
光送信機
図4cは、光伝送ベースのリモート識別システムの斜視図である。この実施例は、識別子として客43の外側の衣服に付けられたバッジ103に関係している。バッジ103上には、フラッシュがデジタル識別信号を組込むよう調節されたフラッシュ光源105が配置されている。
検出は、赤外線(IR)検知器109を伴う、レンズシステム107を用いて実行される。このIR検知器は、CCD(電荷結合素子)、またはCMOS(相補型金属酸化膜半導体)カメラなどのアレイ検知器、または代替的に、光ダイオードまたは光伝導セルを組込んだ電子装置などの一体式検知器であってもよい。レンズシステム107は、IR検知器109へ方向性を授与し、およびより多くの光を検知器109上へキャプチャすることにより、その感度を増加させる。
光源105は、赤外線または可視光線発光ダイオード(LED)を組込むことが可能である。LEDが光放射における強い方向性を示すので、光ディフューザは、バッジ103に対して様々な異なる方向からの識別を可能にするよう、光源105に組入れられていてもよい。
光学記号
図4dは、光学記号リモート識別システムの斜視図である。この実施例は、識別子として可視記号が印刷されたバッジ103を使用している。この場合、この記号は、印刷されたテキストストリング121(「GERRY」)と関連して着色された1組の4つの円113、115、117、119を含んでいる。図示されたように、円113、117は同じ色であり、円115は第2の色であり、さらに、円119は第3の色である。
検知器は、デジタルCCDカメラ125を伴うレンズシステム107を含んでいる。有色の円の配置は、デジタルカメラ125内の光キャプチャアレイ上のレンズシステム107により結像され、円113、115、117、119に割当てられる一連の色は、識別を提供する記号を含むことになる。例えば、異なる各色は異なる数を表すことが可能であり、円の位置は合成された多桁数での場所を表すことが可能である。例えば、各円が8つの色のうちの1つをとるなら、各円は、8進数(すなわち、8進数システムベースの数字)を表すことができよう。したがって、4つの円は、各円がその数の異なるケタを表した4ケタの8進数を意味することができ、4096通りの識別子を表すことが可能になる。有色の記号を用いるこのスキームでは、CCDカメラ125が色を区別するカメラであることを要することに留意する。
2つの可能な状態(例えば、白黒)の1つをとる、より多くの円を用いることにより、代わりに白黒のCCDカメラ125を備えた、2進数システムも使用可能であろう。代替的に、白黒のパターン(例えば、クリアー、対、水平縞模様、対、垂直縞模様、対、黒一色)も使用可能であろう。
印刷されたテキストストリング121は、追加的識別を提供することができる。この場合、テキストストリング121は、光学文字認識(OCR)を用いるCCDカメラ125によりキャプチャされた画像から解釈される。コグニティブテクノロジー(Cognitive Technology)社(コルテマデラ、CA)製のTIGER OCRなど、こうした多くのOCRプログラムが商業的に利用可能である。記号の1つが曖昧になったり、または破損したりするといけないので、図4dに示したように、補助を提供する1つ以上のタイプの記号が、同時に使用可能である。
多くの異なる潜在的可視記号が存在する。他の例は、印刷されたテキスト、標準バーコード、または各リングの存否が2進数の別々のケタを示す、同心円のブルズアイ(bulls−eye)な配置を含んでいる。バーコードまたは他の特定の記号と、レンズ107およびカメラ125のアセンブリを、バーコードスキャナで頻繁に使用されるレーザスキャンニング機構と取り替えることができよう。
識別子バッジ103、およびその組込まれた記号(この場合、円113、115、117、119、および印刷されたテキスト121)は、検出、および、リモート識別が成功するために、レンズ107およびカメラ125にとって可視である必要があり、これは、図4cの光伝送リモート識別のバッジ103に必要なことと同様である。このため、バッジ103の位置、および客43の方向、およびバッジ103が衣服または他の対象により遮られていない、という要件による制限が必要になる。これと対照的に、図4aおよび図4bで表される、RFIDおよび音声識別子の信号は、対応する検知器の視線上にある必要はない。
直接対象認識
先行するリモート識別の実施例は、全て、識別される対象に付随するブレスレットまたはバッジなどの識別子の使用が必要であった。対象自体も、識別を可能にする本質的な特徴として見ることが可能である。離れて検出可能でなければならないこれらの本質的な識別子は、顔認識および虹彩認識方法を含んでいる。
図4eは、顔認識リモート識別システムの斜視図である。識別子は、CMOSカメラ126に備えたレンズシステム107を用いて検出される客43の顔である。客43の顔の画像は、その顔に特有の造作に対して分析され、異なる造作の間の距離(目、鼻の付け根、および口の中央など)、および顔の固有顔や固有造作徴分解など、より抽象的な評価指標を含んでいるターク(Turk)およびペントランド(Pentland)に対する米国特許第5,164,992号明細書参照)。代替的に、個人の特有の虹彩の特徴の認識が実行可能であるウィルダース(Wildes)他に対する米国特許第5,572,596号明細書参照)。図4dのCCDカメラ125、および図4eのCMOSカメラ126は、機能上互いに同様であり、さらに、CCDカメラ125も、図4eの直接対象認識で有効に使用可能であり、逆に、CMOSカメラ126も、図4dの光学記号認識処理で有効に使用可能であることを理解すべきである。
光学記号および直接対象認識が、対象リモート識別ステップ31で用いられる場合、認識に使用される画像は画像キャプチャステップ33でキャプチャされた画像と同じであってもよい。したがって、画像キャプチャ33で得られた画像が格納され、その後、対象リモート識別31のそれ以降のステップで、光学記号および顔の特色がないか否かを調べられる。この場合、図1を参照して、対象リモート識別ステップ31は、画像格納ステップ37に続くことになる。代替的に、リモート識別31は、配布のために格納された別々の画像上で実行可能であり、または対象リモート識別は、識別された画像格納37に先行して画像キャプチャ33の間に得られた画像を用いて実行可能である。
図4aから図4eに示した、それぞれの実施例における検知器は、検出された信号を解釈し、環境ノイズを補償するために、デジタルコンピュータによる補助、またはデジタルコンピュータを必要とすることに留意すべきである。
画像キャプチャステップ33
好適な実施例では、画像を電子的に記録する手段は、一般に、電子的に画像を記録するために、電荷結合素子(CCD)またはCMOS画像記録チップを組込まれたデジタルカメラ63となろう。一般に、このカメラは、見通しが良く、妨害がない、客43の画像を記録可能な位置に設置されることになる。カメラには、客がカメラの視野内にいるとき、カメラに画像をキャプチャさせるトリガー機構が備えられていてもよい。例えば、図2では、客43を乗せた車45が赤外線光ビーム59を遮断すると、カメラ63に画像を取得させる。スイッチが一時的に異なる状態になる形で、車45によりスイッチが物理的に作動するように、車45が移動するレール47上に取り付けられた電気スイッチ(例えば、車45の重量で接点が閉じる、または車45に取り付けられた磁石に応答する電子スイッチなど)を含む、他のトリガー手段が可能であることに留意すべきである。
カメラ63は、リモート識別手段に近接しているか、遠方にあるかのいずれかである。画像の対象が識別可能であることは、本システムの必要条件に過ぎず、さらに、客43がカメラ63の正面にいる状態が、リモート識別手段に対するカメラ63の物理的関係を決定するであろう。例えば、図2では、車45はトラック47に拘束されており、トラック47に沿ってこの車および他の車45が位置を交換できないと推測され、どの客43がどの車45にいるかを把握しており、カメラ63の視野内にどの車45があるかを把握していることにより、どの客43がカメラ63の視野内にいるかを知ることが可能である。したがって、リモート識別手段およびカメラ63は、互いに距離を置いて配置可能である。
しかしながら、他の情況では、リモート識別手段およびカメラ63は、物理的に近接している必要があろう。例えば、エンターテインメント開催地が、ネイチャートレール、または、車45の他の車45に対する速度および位置が変化し、または客43の制御下での、機械化された車45を用いたライドのような場合に、客43がサイトを通して異なる速度で進むことができ、開催地内のそれらの順位が変化する。この場合、各画像を適切な客43に適切に合わせるためには、リモート識別手段およびカメラ63を物理的に近接させることが必要である。
最適画像の記録時点の客43の速度が、リモート識別手段による単純な電子的または視覚的識別を排除するほど大きい場合は、リモート識別手段とカメラ63との間が、物理的にかなり離れてしまう可能性も大切である。例えば、これは、高速ジェットコースターの場合に起こり得る。こうした場合は、リモート識別ステップは、客43および乗る輸送機が、静止し、または識別を容易にする程度に十分遅い速度であるとき、実行可能となる。
画像対象が採光で十分照らされていないのに、画像が記録される場合は、追加的な人工照明源が必要となろう。こうした照明は、赤外線送信装置55、受信器57、および赤外線受信器57を含んでいる、おそらく図2のものなどのトリガー機構と関連する、連続の、または律動的な、または画像記録時点で適切な照明を提供するよう調節されたストロボランプのいずれかであろう。
一般に、カメラ63は、客43をキャプチャする適切な視野で、客43のカラー画像を記録することになる。特定の場合には、客43の位置が十分な精度では把握されていないので、この視野は、1人の客43よりはるかに大きなものとなっていよう。こうした場合は、視野は、不確実な領域を取り囲んでいてもよく、さらに、その後、他の手段が、フレーム内部の客43の位置を見つけるのに使用されてもよい。より大きなフレーム内でヘッド位置を識別するこうした方法は、機械自動化顔認識の技術分野で周知である。代替的に、大きな視野を有する単一フレームが、多くの客43の画像を含んでいてもよい。各客43の位置が、十分正確に把握されているなら、特定の客43の画像として、より大きな単一フレーム内のサブフレームを用いてもよく、また、大きな視野の単一フレームから、個々の客43の複数の画像を収集することもできよう。
識別された画像の格納ステップ37
カメラ63がいったん客43の電子画像を作成すると、それは格納コントローラ73を通して画像格納装置71へ送られる。画像が電子的にキャプチャされているので、一般に、それをデジタル画像として格納可能である。好適な格納手段は、安価な費用、高データスループット、およびランダムアクセス記憶、および検索の利点を有する、コンピュータハードディスクアレイであろう。代替的格納手段は、磁気テープ、揮発性メモリ(RAMディスク)、および書き込み可能なデジタルコンパクトディスク(CD)またはデジタルビデオディスク/デジタル多用途ディスク(DVD)を含んでいる。磁気テープ記憶装置は比較的安価であるが、シーケンシャルアクセス記憶手段であるので、テープ上の情報にランダムアクセスする能力が全く存在しないという不都合を有しており、一般に、画像検索は遅くなる。揮発性メモリは、最も迅速な格納および検索が可能であるが、費用がより高くなる傾向があり、さらに、停電の場合に、情報が失われてしまう危険性がある。デジタルコンパクトディスクは、現時点では、多重書込みおよび消去がサポートされていないが、しかしながら、これは近く克服されそうであり、こうした技術は、いつか、この技術の実現に役立つことになろう。画像は、画像伝送および検索速度を増加させるためのみならず、画像格納に必要なデジタルメモリの量を減少させるために、デジタル的に「圧縮」されていてもよい。こうしたデジタル圧縮技術の例は、JPEGおよびMPEG圧縮(例えば、リオ(Lio)、およびサン(Sun)、およびウー(Wu)に対する、米国特許第4,791,598号明細書参照)、またはフラクタル圧縮(例えば、バーンスレイ(Barnsley)およびスローン(Sloan)に対する米国特許第4,941,193号明細書)で使用されているように、離散的コサイン変換(DCT)の技術を含んでいる。各画像は、客の興味をひくこともある他の関連情報(例えば、日付および時間、ライドの名前など)と同様に、対応する客識別と関連して格納される。
図2は、画像および識別が、格納装置71へ別々に送られるのを示している。しかしながら、画像格納装置71が、カメラ63とリモートIDリーダー52から遠くに位置する場合は、カメラ63からの画像と、リモートIDリーダー52からの識別を、別々のワイヤ65、53を越えて、よりむしろ、同一のワイヤを越えて転送するのが有利であろう。こうした場合、画像および識別信号は、デジタル的に多重送信される必要があるだろう。
図5は、単一伝送ワイヤを超えて転送されるのに適切な、識別および画像情報の両方を含む多重信号の論理的概略図である。各英数字は、各16進数の対がデジタルバイトを表すデジタル情報の16進ブロックである。ブロックイニシエータ127は、入って来る識別された画像データストリームに合図して、FFバイトと00バイトを交換することを含んでいる。カメラ識別子129は、画像が得られたカメラ63の識別を示す。1つ以上のカメラ63からの画像が同じ画像格納装置71内に格納されるときは、カメラ識別子129は、特に使用され、それにより、画像が取得されたカメラ63、したがって、対応するライドが識別される。カメラ識別子129の後には、リモート識別タグ49内に格納され、リモートIDリーダー52により受信された信号を表し、さらに、画像内の客の動向を把握するために用いられる、8バイトの客識別子131が続いている。そして、この識別子131の後には、一般に大規模なものとなる、数千から数百万バイトもの情報を含み、図5に、イタリック体で印刷されたテキストとして示されている、画像データ135のブロックが続いている。ブロックターミネータ133は画像データに続いており、この場合は、データの終了を示す、FFバイトとEEバイト(16進法における)を交換することを含む。本発明の趣旨内で多数の代替手段が存在することが理解されるべきであり、図5に表された各ブロックの順序および構成要素は、実施例の間で異なることもある。例えば、カメラ識別子129および対象識別子131は、順序が逆にされるか、または、画像データ135の始めよりも、むしろ終わりに配置されることもある。さらに、さまざまな異なるブロックイニシエータ127およびブロックターミネータ133が使用されていてもよく、または、それらが完全に省略されていてもよい。また、画像データ135は、生のデジタル画像データであってもよく、以前に言及されたアルゴリズムを使用して圧縮されていてもよい。
リモートIDリーダー52およびカメラ63は、客が単一タグ49を使用している間に、客43の様々な画像をキャプチャするよう、エンターテインメント開催地内の複数の固定ロケーションに配置されている。リモートIDリーダー52およびカメラ63を、様々な位置からクライアントの画像を撮ることができる、あちこち動く乗り物に取り付けたり、または写真家が担持することも可能である。一般に、画像格納装置は、単一位置または少数の位置にあることになる。このように、複数のカメラ63およびリモートIDリーダー52は、一般に、はるかに僅かな画像格納装置71と交信することになる。
標準のデジタル通信技術を用いて、画像を、カメラ63から画像格納装置71へ送ることができる。これらの潜在的に大きな数と同様に、送られる画像がかなりのサイズのため、高データ転送レートが好まれることになる。こうした通信手段は、光ファイバーおよびイーサネットを含む、ローカルエリアネットワーク(LAN)で広く使用されている多くの技術を含んでいる。代替的に、マイクロ波、または無線伝送手段が使用可能である。こうした無線リンクに関する例は、カムラス(Camras)に対する米国特許第4,097,893号明細書、およびストレック(Streck)他に対する米国特許第4,916,532号明細書において説明されている。また、公共の通りなど、特定の開催地では、電話回線が使われることもある。単一のエンターテインメント開催地では、異なるサイトでの、カメラ63とリモートIDリーダー52とを、同時に格納装置71にリンクするために、複数の通信手段を使うこともできる。
格納コントローラ73は、画像格納装置71からの画像の格納および検索を管理する、デジタルコンピューティング装置である。一般に、画像および識別は、格納コントローラ73において、画像転送ワイヤ65および識別転送ワイヤ53からそれぞれ受信されることになろう。代替的に、図5のようにデータが多重送信されると、格納コントローラ73は画像情報から識別および関連情報を抽出することになる。その後、格納コントローラ73は、データベース構造内の格納装置71上に画像および情報を配置し、それにより画像およびデータの簡単な探索および検索が可能となる。
一般に、画像がキャプチャされ、対象がリモート識別される、多くの位置が存在することを理解すべきである。一般に、複数の位置からのこの情報は、後の検索のために、1つまたは数箇所の位置にのみ格納される。したがって、各格納コントローラ73へ入力する多重識別転送ワイヤ53、および画像転送ワイヤ65は頻繁に存在する。
多くの遊園地ライドまたはテーマパーク活動では、客は、ジェットコースターのように密集する。したがって、本発明の方法によりキャプチャされた各画像は、1人の客43より多い画像を含むことになろう。この場合、各フレーム内の各客に対する識別子が、画像と共に格納される。この格納は、ほとんどの関係型データベースにより容易に扱われており、各画像のためのデータが、各客43と共に、システム上に登録される、双方向のポインタまたはリンクに関連付けられている。この格納手段により、単一画像で表され、各客43に対して別々に多量の画像データを格納する必要性が回避される。
代替的ストレージアーキテクチャ
上で議論したように、画像の格納は、特定の客の識別子と関連付けて実行可能である。しかしながら、画像内に、明白に客を識別する十分な情報がないこともある。例えば、顔認識において、客は、画像キャプチャに先立って、システムに登録しないこともあり、したがって、客の識別が、後の時間まで可能とならないこともある。さらに、顔認識システムでは、後で説明するように、客(例えば、開催地で誰と関連付けられたか)についての情報は、一定期間、蓄積されることもある。したがって、客の識別子よりむしろ、画像内部に表される、画像と関連付けられた客についての量的な情報を格納することが、必要または便利となる場合がある。
図28は、特定の客に関連付けられた画像の、その後の検索のために、画像と共に客記述子を格納する、画像内に客を伴った画像の関連付けのブロック・フローチャートである。ステップ700では、開催地内の多くの客の画像がキャプチャされる。ステップ702では、客の顔についての量的な情報、または他の態様(例えば、衣服の色、化粧―下記参照)が決定される、顔認識ステップが実行されている。ステップ704では、顔認識から抽出された量的な情報が、少なくとも1つの量的な記述子を計算するのに使用される。これらの記述子は、顔の主要な要素の記述、またはドレスの色、顔の毛の配布、眼鏡をかけているならその色、唇の色など、または画像内の客の多くの異なる特徴の組合せを含む、量的なコードを含んでいよう。そして、これらの記述子の少なくとも1つ、および、好ましくは記述子が計算したそれらの全てが、ステップ706での画像と関連付けられて格納される。
ステップ720では、客の参照画像がキャプチャされる。この画像は、ステップ700の画像キャプチャ前、ステップ700の画像キャプチャの後、またはステップ700でキャプチャされる最初と最後の画像の間でキャプチャすることができる。さらに、ステップ720の画像キャプチャは、システムの「外部」で実行可能である。例えば、客は、個人所有のデジタルカメラ上で画像を得るか、または写真をスキャン可能であり、その後、それを画像検索システムにアップロードすることができる。ステップ722では、この参照画像は、その後、ステップ702で使用されるような、同様の認識特徴を伴う顔認識システムに通され、さらに、ステップ724では、参照画像顔認識722から抽出された量的な情報は、少なくとも1つの量的な記述子を計算するのに使用される。ステップ704、724で計算された、この量的な記述子は、さらに、それらは以下に説明するように、直接的比較で使用されるので、好ましくは同様の方法(例えば、記述子と直接に匹敵する、同様の顔認識アルゴリズムなど)で抽出される。ステップ726では、参照記述子は、客の識別子(例えば、氏名、Eメールアドレス、郵便アドレス、クレジットカード番号などの情報を含むことが可能である)と共に格納される。この情報の格納は、その後のステップが直ちに実行されるなら(例えば、画像供給者が客についての情報を格納するのを、客が所望しない場合は)、任意である。
ステップ730では、ステップ704からの記述子、およびステップ724からの参照記述子が、客と客を表す画像との一致を確立するよう比較される。記述子は、一般に、画像自体より少ない情報量(ビットで)の多くの桁を含んでおり、この比較は非常に迅速に実行可能である。顔認識プログラムは、(表情、顔の方向、画像解像度、顔を含む画素数、照明状態などにより)人物のあらゆる画像に対する、いくらか異なるデータを生成するので、同じ人物の異なる画像から生成される記述子は、一般に、正確に同じものとはならないことに留意すべきである。したがって、ステップ730の比較をする際に使用されるアルゴリズムは、(例えば、主な構成要素の多次元マップの)2つの記述子、ツリー探索(例えば、人物が同じカラー衣服を着用しているか)、範囲一致、閾値決定、の間の数学的「距離」を計算するようなステップを含むことができ、一般に、画像が同じ人物のものであるという信頼レベルが得られる。以下では、顔認識、記述子計算、および記述子マッチングステップの追加的記述について議論することになる。
補足情報
客のリモート識別は、客についての既知の、または客について決定される、追加情報を使用することにより、改善可能である。この情報は、上に与えられた情報の組合せ、客により担持された追加識別データ、および全体としてシステムで利用可能な情報、およびその他に関連する場合がある。上に与えられた手段による識別が不完全であるときは、この追加情報が識別に役立つ。例えば、タグが部分的に見えなくなっている、または顔認識が不確実(一致を決定する信頼レベルより下の場合)である場合などである。以下での議論は、特に、客のリモート識別の手段としての顔の画像認識を参照するために書かれているが、本方法は他の識別手段に直接拡張可能である。
図23Aは、エンターテインメント開催地で得られた参照画像データベースの概略図である。例えば、メンバーがA1、A2、A3と呼ばれる家族である、3人のメンバーのグループの画像がある。参照画像が撮られた時の、A1、A3、A3の関連性に留意する。これは、人物A1、A2、またはA3からの手動入力、または、開催地アテンダントからの手動入力、または、同じ参照画像内でのA1、A2、A3の存在から、または、住居またはA1、A2、A3に関する他の情報を比較することから、または、A1、A2、A3の同様の時間または登録から、のいずれかに起因して、または、他の手段を通して可能であろう。この例では、人物B、C、Dである他の3つの関係ない個々の顔の画像が、データベースにある。このデータベースが接続されている顔認識プログラムは、格納された画像のそれに対する新規画像の合致の見込みを示す信頼パラメータを返す。所定の閾値を超えるなら、新規画像内の人物が、参照画像のうちの1つに写っている人物と同じであると考えられる。
図23Bは、1組の新規画像(画像A−F)内の人物と、参照画像データベース内の人物とが合致する、結果的な信頼レベルを示す。画像Aでは、人物Bが画像内に写っているが、人物Bの向き、または表情、または何らかの他の理由により、画像の品質に起因して、合致の信頼レベルは、所定の認容閾値より下である。したがって、システムはBの識別を拒否する。逆に、画像Bでは、人物Cの識別における信頼度、閾値より大きく、したがって、システムは、人物Bの合致を登録する。
画像Cには、人物A1と人物Dの双方がいる。人物Dに対する信頼レベルは非常に高い一方で、人物A1に対する信頼レベルは閾値よりずっと下にあるので、その画像に対しては、人物Dが存在していると認容され、人物A1は存在していないとされる。画像Dでは、A1、A2が共にいるが、2人の信頼レベルは、認容閾値よりかなり低く、したがって、両者は拒否される。
しかしながら、画像Eでは、人物A1、A3の両者が画像内にいるが、人物A3の信頼レベルは、認容閾値に近いがまだ下にあり、さらに、人物A1は閾値よりかなり下にある。しかしながら、A1、A3の既知の関連性により、同一写真に一緒にいることが、たとえ低い信頼レベルであっても、関連性のある人物の信頼レベルへ「引き上げ」る。この引き上げは、加算的(例えば、彼らが閾値を超えているか否かを確認するために、個々の人物の信頼レベルまたは断片的な信頼レベルを加算する)、または乗法的(例えば、信頼レベルが第2の所定の閾値より大きい、関連する人物も画像内にいるときに、1より大きな所定のファクターを各人物に掛ける)、または他の場合がある。一般に、画像内に3人の関連する人物がいると、画像内の人物の識別をさらに決定することになる。彼らが同じ画像に一緒に存在していることにより、人物A1、A3の双方が識別されたものと認容される。
画像Fでは、人物B、Cは、画像E内の人物A1、A3と同様の信頼レベルに格付けされる。しかしながら、BとCとは関係ないため、彼らはシステムにより識別されたものとするのを拒否される。
同じグループからの人物が、エンターテインメント開催地内のライドに、必ず一緒に行くとは限らないので、本発明の趣旨では、1つの画像に一緒にいることは、時間および/または場所に関連する画像内にいることを含むよう拡張可能である。図23Cは、1組の連続する新規画像(画像20123から画像10126まで)内の人物と、参照画像データベース内の人物との合致に対する信頼レベルの概略図である。画像20123では、画像内の1人の人物―人物C―が、識別信頼レベルが所定の閾値を超えるので、認容される。画像20124では、人物Dは、その識別が閾値より下にあるので、拒否される画像20125では、人物Bは高い信頼レベルのために認容されるが、人物A1は拒否される。次の画像20126では、人物A2は、その画像に関連付けられた不十分な信頼レベルにより拒否される。しかしながら、連続する画像に関連する人物A1、A2が共に存在していることで、A2が現在の画像から識別されたものとして認容され、人物A1は、前の画像(20125)から認容される形で、これらの人物に対する各々の信頼レベルが引き上げられる。
関連人物が共に存在していることは、連続した画像(20125および20126)内の存在に基づいて、近接した時間(例えば、1分など、所定のタイムセパレーション内)に基づいて、または接近性および時間(例えば、互いに近接して配置されたカメラからの、または同一のライドからの画像内に位置し、さらに、所定の時間間隔内で起こる関連人物の存在)に基づいて、または他の時間的および空間的な近接性に基づいて撮影されている。さらに、図23Bおよび図23Cでの例が、共に識別の信頼レベルより下の関連人物を扱う一方で、システムは、また、高い信頼レベルの人物に関連するのに近い、低信頼レベルの人物を識別されたものとして格付け可能である。
2人の関連する客の関連付けとは、その各人物が、関係のない2人の客に対して予想されるより大きな頻度で、同じ画像に写っていると期待されることを意味していることに留意すべきである。一般に、客の信頼レベルを増加させるこの方法は、各客が、いつもまたはほとんどいつも、好ましくは50%以上の頻度で一緒にいるときに、最も効果的に作用することになるが、彼らが時間のほんの数パーセントの割合(好ましくは時間の10%、またはさほど望ましくなくは時間の1%)で関連付けられる場合でさえ、結果を改善することができる。これは、例えば、画像が一般に2人の人物だけを含んでいる、20人の人物からなるグループなどで生じることにある。こうした場合では、時間のおよそ5%には、いかなる2人の人物の関連付けも起こり得るだろうが、こうした関連付けの全体は、客の識別の精度をかなり増加することができる。
人物は、なんらかの特定の方法で(例えば、親族としての、またはイベントに一緒に参加したグループのメンバーとして)「関係する」または「関連付けられる」ことが、実際には必要ないことに留意すべきである。彼らは、単に長時間に渡って互いに近接して立っていただけであり、その間に、彼らの表現が、一回以上、同じ画像内にキャプチャされてしまった、ということもあり得る。したがって、彼らは、普段は正式に無関係なのであり、この画像は、彼らが単に物理的または「社会的」に近くにいるところをキャプチャしただけという可能性もある。
この近接の概念は、敷衍可能なことにも留意すべきであろう。すなわち、あるイベントに3人の人物A、B、Cがいる場合、仮にAが多数のBの画像に存在しており、さらにAが多数のCの画像にも存在していたとするなら、BとCが同じ画像に存在しているものがその収集内で1枚のみであっても、彼らの関連性を通してBとCとの識別の可能性の増加に役立つだろう。
時間および近接性は、同じ客が2つの異なる画像に存在している可能性を除くよう使用可能である。例えば、異なるカメラによりほとんど同時に画像がキャプチャされ、これらのカメラが最も近接した位置にないなら、2つの画像に存在している客は同じ人物のはずがない。一般に、それらの画像が撮られた時間と同様に、それらの画像を撮影したカメラが判るなら、2つのカメラの間の時間の相対的違いも判ることになる。
参照画像から取得された追加情報を含んで、客についての他の要素または情報も使用可能である。図24Aは、客の参照画像500である。顔認識アプリケーションは、多くの場合、顔のグレースケール画像で動作することになる。従来の顔認識プログラムで使用される多くの異なるアルゴリズムが存在するが、一般に、顔を配置し、顔の特定要素(目、顎、口)を識別し、さらに顔のサイズおよび向きを決める、前認識ステップが存在している。その後、顔の特定の特徴は、最も大きく区別する特徴に従って、多くの場合、量的に顔を特徴付ける主要要素、ファクターの分析、またはニューラルネットワークにより識別される。多くの場合、「顔識別子」または顔ID(例えば、コグニテックジーエムビーエイチ(Cognitec GmbH)、ドレスデンのフェイシャルアイデンティフィケーションレコード(Facial Identification Record)(FIR)に該当する)とこの明細書で呼ばれる、顔の数値または複雑な記述が、処理の間に生成される。多くの顔認識プログラムでは、検査される新規画像内の顔に対する顔IDは、データベース内の参照画像からの顔IDと、数値的に比較される。
図24Bは、顔のデータベース内に含まれる、架空の人物Alfred Newmanに対する見本情報を示す概略図である。顔のデータベースでは、人物の名前、および問い合わせ先が提供されている。この場合、顔IDは、16の主要構成要素の各々に対する0〜128の値を示す、一連の対となった16進数として与えられる。これは、様々な異なる形式で顔IDをフォーマット可能な、顔IDの1形式である。
図24Cは、テスト画像から情報を得るためのブロック・フローチャートである。ステップ520の後に続くステップが、主に、分析の結果に影響されることなく、大きく変化し得ることに留意すべきである。ステップ520では、上に説明したように、顔の総合的位置、および顔の要素の位置が取得される。その後、ステップ522で、主要構成要素または他の顔認識の方法を用いて、顔IDが取得され、これは、ステップ530で格納される。
図24Aの画像から、追加情報を取得可能なことがわかる。こうした情報は、ステップ524でその人物の頭の先端の画像の位置から得られた、その人物の背丈を含んでおり、ステップ532でその背丈が格納される。ほとんどの顔認識プログラムでは、その人物の頭の形状が推定され、こうした推定が、その人物の帽子の頭または人物の髪のファッションに存在して、何かしら独立していることに留意すべきである。したがって、一般に、人物の背丈は、その人物の頭蓋骨の先端の計算された位置に推定される。また、このプログラムは、目の周りにアレイされた顔の皮膚でない色調を探知可能であり、これは眼鏡をかけていることを示している。この情報から、ステップ528およびステップ536で格納された情報のように、眼鏡の使用と眼鏡の色が推論可能である。
画像から、眼鏡の存否、眼鏡の色、メーキャップの色、宝石、顔の毛の配分、髪の色、および皮膚の色調を含む、他の情報を直接取得可能である。特徴のいくつかは、永久に、または比較的永久に(すなわち、何日もから何週間、または何ヶ月にもわたり)人物に関連付けられる。衣服、メーキャップ、または宝石など、人物に関連付けられる他の特徴は、日替わりで変化すると予想される。
例えば、ステップ526で、シャツの色は、顎の位置の下、ほぼ頭長で見ることにより推論可能であり、ステップ534で格納する。その位置の画素はサンプル可能であり、さらに、後の検索のために、2つの最も一般的な、異なるシャツの色が格納される。多くの例では、参照画像は、人物が、パーティー、バル・ミツバー(bar mitzvah:成人式)、会社のピクニック、スポーツ大会、またはコンベンションなどのエンターテインメント開催地を訪れるのと同じ日に撮影されることになる。こうした場合では、一時的情報は、識別または識別を有効にすることを補助することになる。図24Bのデータベースでは、これらの一時的特徴は、任意の信用測定と共に、参照画像の日付を伴って格納される。これらの一時的特徴は、参照画像が得られた日付に対してのみ、人物の識別に使用されることになり、その後、そのシャツの色は、データベースからパージされることになる。したがって、顔認識システムは、人物の長期にわたる特徴(例えば、人物の顔の測定基準)と、一時的特徴(例えば、衣服、髪、帽子)の双方を利用可能である。
図24Dは、厳密に顔の造作のみ以外の関連付けされた特徴を用いる、1組の新規画像内の人物と、参照画像データベース内の人物との合致からの信頼レベルの概略図である。画像Gでは、信頼レベルが認容閾値より大きな人物Bの存在が示されているので、人物Bの存在が認容される。画像Hでは、人物Bの存在は示されているが、信頼レベルは認容閾値のそれより下であり、さらに、垂直破線により示された所定の二次閾値よりも小さい。こうした場合、顔認識だけに基づくと、人物Bの不在が示される。
画像Jでは、信頼レベルが認容閾値のそれより下であるが、二次閾値のそれより上であるので、人物Bの存在が示されている。こうした場合では、ステップ536を通して、ステップ532で格納された付属の特徴も検証可能である。背丈の永久的な特徴のために、テスト画像と参照画像の間の背丈の不一致は、一般に、Bの存在に対して低い信頼レベルをもたらす。しかしながら、一時的特徴(シャツの色または眼鏡)の不一致は、その客がその眼鏡を外したり、またはそのシャツの上にセーターを着ている(または、反対に、参照画像にあったセーターを脱いだ)可能性があるので、一般に、Bの存在の信頼レベルにさほど影響を与えることはない。しかしながら、一般に、参照画像とテスト画像とが、一時的特徴で合致すると、Bの存在の信頼レベルは改善されることになる。そして、付属的特徴の合致に適応した後、Bの存在の拒否または認容が、閾値に対してなされることができる。
シャツの色、眼鏡の存在などに対する所与の加重は、特徴を評価することにおけるシステムの信用度により加重され得ることを留意すべきである。例えば、システムが客の髪の色の色評価に困難を有する場合(例えば、人物が帽子を被ったり、またはスカーフを付けている)は、関連する信頼性は、Bの存在についての信頼レベルが髪の色の一致/不一致に影響を受ける程度の加重に使用可能であり、髪の色に対する信頼性が増すにつれ、Bの存在/不存在に対する信頼レベルがさらに調整される。
一般に、特定の客に単一の参照画像だけが取得され、そこから、単一の顔IDが取得される。顔IDが、多くの異なる画像から取得された、何らかの統計的平均顔ID(例えば、平均または中間値)の近くにあることが最適である。しかしながら、参照画像が客のプロトタイプではなく、平均顔IDからかけ離れた顔IDをもたらすこともあり得る。以下では、この潜在的問題を修正する2つの方法について議論する。
図25Aは、その客の顔IDを改善するために、客の新規画像を用いるブロック・フローチャートである。客の初期の登録中に、ステップ542は、客Xに対する顔認識IDを計算し、さらに、同時に、またはそれに続いて、ステップ546で良好度(goodness)値も計算する。この良好度値(通常0.0〜1.0であるが、いかなる2つの所定値の間であってもよい)は、画像が十分な品質である程度、ライティングが十分である程度、顔のカメラからのアングルの程度、顔が主要構成要素または他のタイプの分析で用いられるプロトタイプと一致する程度、または顔IDの信頼性に影響する他のファクターについて示すものである。ステップ550では、顔IDと関連する良好度は、顔認識データベースに格納される。
登録に続いて、ステップ552で、何枚かが客Xの存在を含んでいる他の画像がキャプチャされる。ステップ556では、その画像内の顔の肖像に対して、顔認識IDが計算される。ステップ558では、ステップ552でキャプチャされた画像内の顔IDが、ステップ550で格納された客Xに対する顔IDのものと十分同様であるか否か―すなわち、客Xの表現が、画像内のものであると考えられるかどうか―が判定される。そうである場合、ステップ546と同様に、ステップ560で良好度値が決定される。ステップ562では、新規顔IDは、以前に格納された顔IDと、新規顔IDとの加重平均により計算される。平均に対する加重は変更可能(直線的または幾何学的に)であり、さらに、1を除いて加重の冪数が使用可能である。さらに、特定の顔認識プログラムには、複数の参照画像を用いて、新規の人物を登録したり、または以前に登録された人物に新規参照画像を加えたりするための、代替的手段を提供するものがあるが、これらの手段はこの目的にも使用可能であろう。
その結果は、同様に加重された新規良好度ファクターと同じく、以前に格納された、または、新規の顔IDのいずれとも異なる新規顔IDである。ステップ550では、新規顔IDと良好度値が、顔認識データベースに格納される。代替的に、データベースは、単に、最大の関連する良好度ファクターを伴って、顔IDを格納してもよい。
図25Aで説明された方法の結果、時間の経過と共に、より信頼できる顔IDが一つにまとめられることになる。以前または新規の顔IDの加重は、以前に格納された顔IDを生成するのにかかわったIDの数を考慮に入れていることに留意すべきである。例えば、システムが格納された顔IDを計算する際に、既に使用した4つの画像を持っている場合、新規顔IDは、(関連する良好度ファクターに応じて)格納されている顔IDに対しておよそ1/5の加重だけが与えられることになる。線形加重による数値で表現すると、格納された主要構成要素値の1つが、良好度Gを伴ったPCであり、I画像の合成から計算されるのに対して、新規画像は、匹敵する主要構成要素値PC、良好度Gを有し、および単一画像から来ており、加重された主要構成要素価値PCは以下の式から計算することができる。
PCW=[(PCS*GS*IS)+(PCN*GN)]/[(GS*IS)+(GN)]
図25Bは、その後の識別のために、客の全ての顔IDをコンパイルするブロック・フローチャートである。ステップ572では、客Xの登録写真がキャプチャされ、さらに、その後のステップ542では、客Xの顔IDが計算される。ステップ576では、Xの顔IDが、客XのIDの全てを格納している記録570内のデータベースに格納される。これらの顔IDが、Xのための記録へポインタを合わせることにより(図24Bに示したように)、代替的または追加的に、検索目的のためのIDリスト内にIDを格納可能であることに留意すべきである。新規画像は、ステップ552でキャプチャされ、その後、ステップ556で顔IDが計算される。マッチングステップ558では、新規顔IDが、記録570内のXに対して格納された全てのIDと比較される(または、全ての客に対するIDリストと比較可能である)。これらの顔IDのいずれかと十分に近い合致が見られたなら、その新規顔IDは、その後の検索での使用のために、データベースレコード570内(または全てのIDのリスト内)に格納される。図25Bの方法は、所与の客の顔IDを、画像ごとに変更する利点があり、マッチングステップ558では、新規画像顔IDを、既知の範囲で客の顔IDと比較可能である。これにより、特に登録画像の品質が劣る場合(例えば、画質、画像における動き、客の顔での歪んだ肖像、顔の部分のあいまいさ)、客との正確な合致がなされる可能性が改善される。
画像配布のステップ39
客43は、物理的にキオスク75に統合されるか、または代替的にビル内に位置する、画像配布ステーション77へ格納された画像にアクセスすることになる。一般に、配布ステーション77は、一体化されたリモート識別装置51を組込むことにより、客43の識別手段を組込むことになる。一旦客43が識別されると、客43に対応する画像は、画像格納装置71から検索することが可能であり、さらに、画像は、客がレビューするよう観察スクリーン85上に投影される。観察スクリーン85は、この目的用に構成された、標準のコンピュータスクリーン(例えば、陰極線管、または能動的、または、受動的マトリクスディスプレイ)であってもよく、または、標準のまたは投影用のテレビスクリーンであってもよい。配布ステーション77では、客は、以下のような、特定の動作を実行可能であろう。
・画像を印刷すること、
・コントラストまたは色の調整、トリミング、拡大などの、特殊撮影効果を生み出すよう画像を操作すること、
・画像に、テーマパーク、マスコットの画像、または日時またはライド名についての文字情報などのコンテンツを追加し、または取り去ること、
・製作される「アルバム」へ画像を追加し、または「アルバム」から画像を削除すること、
・特定の記念品(例えば、マグカップ,証明書、グリーティングカード、Tシャツまたは他の衣服)の上に画像を印刷すること、
・クライアントが選択した電子アドレス(例えば、電話回線を用いるFAXマシン、または電子メールインターネットアドレス)へ画像を送ること、
・標準のコンピュータ格納手段(ディスケットまたはCD)、または標準のデジタル写真フォーマット(例えば、KodakPhotoCDフォーマット)のいずれかで、写真画像のデジタルコピーを生成すること、
・写真スライドをクライアントに提供すること、
・クライアントによるその後の印刷のために写真のネガを提供すること。
スタンドアロン実施例では、配布ステーション77は、現金支払いスロットまたはクレジットカード支払スロットのうちの1つまたは両方を使う、クライアントからお金を受ける手段を含むことができる。さらに、画像は配布装置内で印刷され、画像配布スロット87を通してクライアントに渡すこともできよう。
客43の複数の画像は、収集され、アルバムとしてパッケージすることもできよう。さらに、客がエンターテインメント開催地をグループで訪れている場合は、開催地内の彼らの経路が分岐していても、彼らの画像を単一アルバム内に一緒に収集することもできる。これは、グループ内の複数の客が、同じデジタル識別子を有するタグを担持可能にすることにより処理してもよく、それにより、単一の識別子に対応する要求画像が、すべてのグループメンバーから画像を検索可能となる。代替的に、各客は、異なる識別子を有しているが、その後、グループベースで画像検索を実行可能となるよう、画像格納装置に所与のグループに客が属しているという追加情報を含むことができる。
クライアントと双方向処理するサイト、および材料の配布は、変更可能である。図6aおよび図6bは、印刷と配布とを統合する、2つの異なる方法のブロック概略図である。図6aは、図2に示したような配布スキームを表している。リモート識別リーダー52からのデータは識別転送ワイヤ53を超えて受け取られ、画像は画像転送ワイヤ65を通して受け取られ、これらの2つの情報の断片が格納コントローラ73により格納装置71へ転送される。配布ステーション77は、配布ケーブル81により格納コントローラへ結合される。各配布ステーション77内には、配布ステーション77での客43への配送用の印刷画像を作成するプリンタ137がある。配布ケーブル81は、配布ステーション77から格納コントローラ73へ画像を求める要求が送られ、格納コントローラ73から配布ステーション77へ画像が送られる、双方向通信が可能でなければならないことに留意すべきである。
図6bは、プリンタ137が配布ステーション77に位置しない、代替的配布スキームを表している。この場合、画像がレビューされて選択される配布ステーション77は、客43の双方向処理に対してのみ使われる。印刷を求める要求は、配布ステーション77から格納コントローラ73へ送られる。格納コントローラ73は、記憶装置71から要求された画像を検索し、その後、印刷のために、画像を適当なプリンタ137へ送る。特定のプリンタ137の適合性は、印刷のサイズ、または印刷される基板(セラミック製マグカップ、金属フィルム、織物、またはポスター)の指定される印刷出力の特徴により決定されてもよい。代替的に、印刷リソースは、その可用性に基づいて選択可能である。この配布スキームは、事実上、多くの配布ステーション77からの要求にリソースを完全に占領できて、スケールメリットを可能にする、印刷リソースを利用する。例えば、写真画像アルバムは、より高速度、かつ低価格という利点を有することが可能な、さらに自動製本などの特別の特徴を備えた、大容量装置上で最も良く製作されることになろう。
多くの場合、印刷は、配布ステーション77で客43と双方向処理するのとは異なる時に実行されてもよい。例えば、客43は、配布ステーション77で画像を選択可能であり、さらに、画像は適切な媒体(紙、Tシャツ、またはマグカップ)へ転送され、後に、その日の内または異なる日のいずれかに、おそらくは郵便により、客43に配送される。
画像配布は、配布ステーション77などの専門化したハードウェアを伴わない、代替的手段により実行可能であることに留意すべきである。例えば、客に対応する画像は、写真校正刷のように、荒い、またはサイズ縮小フォーマットでコンパイル可能であり、それを家にいる客43に送致可能であろう。その後、客は、購買する画像を選択し、電話、メールによる注文、またはインターネット取引を通して、これらの画像を注文することができよう。しかしながら、この実施例では、画像が格納されていなければならない継続期間は、数週間または数カ月間となり、長期画像格納用の安価でアクセスしやすい手段が必要となる。一般にデータベースは、特定の日付または特定の時間(例えば、図3のステップ138)に、どのタグ49またはタグ49上に格納されたどのコードに一致する、どの客43に、どの関連付けがされているか、維持しているので、かなりの時間の期間、格納された画像を、一致する客43に関連付けることができる。
識別された画像の検索のための識別子の改造
画像識別が顔認識を通して実行される場合、客の顔―常に客と存在する―は顔認識識別子(顔ID)の改造に使用可能であり、それにより、その画像はデータベース内に関連付けられる。客がエンターテインメント開催地を去った後(そして、恐らくは、家)でも、まだ画像の検索が可能である。
顔ID改造を実行する1つの方法は、客が、インターネット上の電子文書(例えば、JPEGファイル)として、電話回線またはインターネット通信回線を通したFAX画像経由で、ストリーミング画像経由で、または郵便による自分たちの写真を送ることにより、彼ら自身の画像を送ることである。その後、配布システムは、客の画像を検索するときの使用のために、顔IDを計算することができよう。
結婚式やパーティーなどの、より小さいイベントに関しては、客は、彼ら自身の顔がある画像が現れるまで、選択されていない画像(例えば時間的に連続した、またはランダムな)に目を通すことができる。客は、画像を選択し、その後、画像から彼ら自身の顔の肖像を―例えば、カーソルで彼らの顔をクリックすることにより―選択することができる。その後、この顔の画像は、上に説明したように、客の追加画像を検索するときの使用のために、顔IDを計算可能である。
この処理は、客がスキャンするように、画像の慎重な選択により、加速することができる。例えば、より多くの顔を含む画像は、客の肖像を含んでいる確率がさらに大きくなるだろう。さらに、画像内の全ての顔が以前に提示したことがある画像を、客に提示することは、何の役にも立たない。したがって、客には、以前に見ていない顔が提示されている画像のみを提示しなければならない。
この表現形式を実行するアルゴリズムは、画像集内で人物を見つける効率的な検索アルゴリズムのブロック・フローチャートである図29を参照して、以下の通りである。ステップ760では、画像集内の全ての画像は、各画像内に存在している人物を決定する、顔認識プログラムにより分類される。識別は、2つの異なる画像内に存在する人物を、何らかの信頼性により同じ人物であるとして見分けることができる程度まで実行可能である。例えば、各人物は実質的に固有のIDを与えられ、さらに、その後、各画像は、その画像内に表される全ての人物に応じた顔認識により分類可能である。ステップ762では、各画像に関連付けられた固有のIDは、その後、ランダムアクセスメモリーなどに一時的に格納されるか、またはファイルまたはデータベースに永久的に格納可能である。識別される顔の肖像のおよその位置、およびサイズが格納されていることも便利である。
ステップ764では、第1の画像が客に提示され、提示された画像は、最大数の表された顔を伴っており、格納された固有のIDを捜すことにより決定される。客は、ステップ768で、可視検査を通して、所望する人物(彼自身、または客が、画像がほしいと所望している人物の肖像)が存在しているか否かを判定する。客が所望する肖像を見つけられない場合、そして、全ての画像が客に提示されるわけではないステップ770において決定される場合、その後、ステップ766の反復で、以前に客が見ていない最多の表された顔を有している画像が、客に提供される。その後、この処理は、客に、全ての固有の顔が表されている画像が提示されるまで、繰り返され、ステップ772において、そのポイントで失敗により処理が終えられる。客がまだ彼自身の肖像を見つけていないなら―おそらく、彼自身の顔が第1の組の画像で認識されなかったので―同じ評価基準を、この処理による第1の試行で客が見ていない画像に適用するよう用いることにより、この処理を繰り返すことができ―事実上、同じ人物が表されているとして割り当てられた画像を用いてこの処理を繰り返すが、これに対して客がその人物を認識しないなら、客側の誤りか、または、画像内の各人物の肖像に固有のIDを割り当てるシステム側の誤りかのいずれかに起因していることになる。
客が所望する人物の肖像を含む画像を見つけた場合、その画像は、ステップ774で、所望する人物に対応する画像内の肖像を識別するために客に提示される。客は、所望する人物を指差すが、これは、マウスを使用して、カーソルが所望する人物の肖像の顔にあるときにボタンを押すことにより、実行可能である。このステップは、1人の人物の肖像のみが画像内に存在しているときにスキップ可能である。しかしながら、その場合でさえ、所望する人物の肖像がその画像内に存在するにもかかわらず、顔認識ソフトウェアはそれを認識していなかった可能性がある(例えば、所望の人物の肖像が余りにも小さく、ぼけており、または横を向いている)ので、客に、所望する人物の肖像の位置を確認させることは役立つことになる。ステップ776では、ステップ774で取得された所望する人物の肖像の位置から、顔の肖像の大体の位置およびサイズが格納されているなら、ステップ762で、その人物に関連付けられた固有のIDが、格納されたIDから検索可能である。代替的に、画像は、検索され、ステップ774で選択された肖像の固有のIDを決定するために、この時点で、顔認識により分析可能である。ステップ778では、各画像に対して格納された固有のIDは、所望する人物の表現を含む画像を決定するために捜すことができる。その後、これらの画像は、客または配布により、見るために検索可能である。
図29のアルゴリズムに応じて分類される画像の画像キャプチャの間の時間における分離、およびソート処理が、数カ月または数年にさえなることに留意すべきである。さらに、その画像は、多くの異なる位置での多くの異なる人物によりキャプチャ可能であり、公共的および個人的の双方となることが可能で、さらに、単一データベースまたは多重リンクデータベースのいずれかに格納可能である。したがって、このアルゴリズムは、例えば、オンライン写真共有サイトおよび写真アーカイブサイトなどで、格納された画像に有益に適用可能である。これらのアルゴリズムは、客が、1人物以上の人物を有する、数百または数千枚もの個人的な写真を分類する新規方法を提供する。
客が、例えば、「デヴィッド(David)」の肖像を含む画像を、データベースの隅々まで捜すことができるように、名前は、格納される固有のIDを伴って、データベース内に関連付けることができることに留意すべきである。検索は、「デヴィッド(David)とマーティ(Marty)を含んでいるが、エド(Ed)は含まれない画像」など、ブール組合せを実行可能である。顔認識ソフトウェアはまた、顔のサイズ、または画像内にいる人物の数を決定することも可能であり、検索評価基準は、顔画像のサイズ、または画像にいる人物の数を含むことができる。検索は、画像の日付など、顔認識に関係ない検索評価基準を含んで実行可能である。
図30は、アーカイパル画像集を捜すためのユーザインタフェースである。ボックスA内では、ユーザは、画像内の人物の数を選択可能である。一般に、顔認識における第1のステップでは、顔の位置を位置決めして、ブロッキングし、さらに、この情報は、画像内で識別される顔の数を決定するのに使用可能である。以下のラジオボタンは、ユーザが、画像内の人物の数に従って、評価基準を満たす画像を分類可能にする。加えて、それぞれの顔の肖像は物理的に見つけられ、大きさに従って分けられるので、写真は、追加的または代替的に、顔の肖像のサイズにより分類することができる。ボックスBでは、画像内で肖像が捜される人物は、直接入力により、または、図示したように、プルダウンメニューの使用により選択可能である。図示された例では、ユーザは、2人の人物を伴う画像のみが選ばれたボックスAで選択しており、さらにボックスBでは、画像がパミラ(Pamela)とバーバラ(Barbara)の両者を含んでいることが示されている。異なるブライアン(Brian)の指定(すなわち、ブライアン[A]、ブライアン[B]、ブライアン[C]、ブライアン[全て])は、この明細書とは他の場所で説明された方法で、ブライアンが異なる年令または全ての年令で表される、画像を表している。
客IDを生成する代替的手段は、客による顔ID生成のブロック・フローチャートである図26に提供されている。この議論では、顔認識プログラムは、単一の特徴(例えば、幅に対する背丈の比率、瞳間の距離)、または複雑なファクター(主要構成要素など)となり得るファクターにより、組織されていると仮定している。さらに、これらのファクターが、ファクターを可視的に表現した顔の画像、または顔の部分(例えば、耳または口などの要素がない顔)を使用可能であると仮定されている。さらには、最終的に、ファクターが直接顔IDに変換されるか、またはファクターにより構成された画像がIDに変換されるかのいずれかであると、仮定している。例えば、顔IDが80/AB/62/E7/OD/81/B7/23/AO/06/F2/30/7C/3F/11/2Dである、図24Bのリレーショナルデータベースの記録を考えると、そこでは、各対の16進数が主要構成要素(または、ファクター)の値である。したがって、本方法では、第1の主要構成要素「80」は、顔の画像の一部分を取り出すのに使用可能であり、さらに、第1および第2の主要構成要素の組合せ―「80/AB」―が、さらに認識可能な顔の画像を取り出すのに使用可能である。
第1ステップ600では、カウンタNは1にセットされる。第2ステップ614では、1組の画像は、最も特徴的なN番目(この場合、第1番目)のファクターに対する所与の値の範囲で取り出される。ステップ602では、例えば、客は、ウェブページにおいて、彼ら自身の顔の特徴に最も近い顔を選択するインストラクションと共に、ステップ614で取り出された1組の画像が提供される。顔の選択により、そのファクターに対応する値が取得される。ステップ604では、データベース内で、ほぼそのファクター値に近い画像の数が捜される。決定ステップ606では、合致した数が所定の数K(その数は一般に10より小さい)より大きい場合、ステップ610で、カウンタNが増加される。その後、すでに選択したファクター値(1からN−1のファクターに対して)により(しかし、ここではN番目の可変ファクターにより)、1組の画像が生成される。ステップ602では、ユーザは、前記画像が追加ファクターにより、さらに高度に制約され、詳述された形で、この画像の組から選択する。
データベース内の合致した顔の数が、所定の値Kより少ない場合、ステップ606で、合致する顔IDに対応する画像が客に表示される。客が画像の1つに、自分の顔の肖像を見つけた場合、ステップ608で、この画像は購買対象に選ばれる。客が、自分の顔を提供された画像内に見出さない場合は、以前に選択したファクター値のうちの1つが間違っているはずである。こうした場合、ステップ612では、ステップ604の合致処理の厳密性を減少させ、ステップ610でカウンタNが増加され、さらに他のファクターで実行する上記処理が繰り返され、新規のN番目のファクター値にわたる1組の画像の生成が開始される。厳密性を減少させた後に、他のファクター値を指定することなく、データベースに対する他の合致を生成可能であることも、本発明の趣旨内である。こうした場合、客の画像を発見するために(ステップ606)、以前にデータベースから客に対して提供され、かつ拒否された画像を、再度客に提示することはない。
本発明の趣旨内にある、使用可能な上記の方法には、多くの変形がある。例えば、合致する可能性のある画像の数を縮小する際に用いるファクターの数を、合致の可能性のある数が閾値の下となるまで増加させる上述の制御スキームに代えて、指定されるべきファクターの数を、所定の数にすることもできる。また、ファクターについて、図面によるより、むしろ単語で説明可能である。さらに、以前に推定された値が不正確であったと決定された場合は、一旦それらが選ばれた後にファクター値を変更するツールを客に提供することも可能である。加えて、補足パラメータに眼鏡の存在、背丈、髪の色、または、通常、顔ID(図24A〜D参照)の一部として提供されない他のデータなどの情報の入力を、客に要求することもできる。こうした情報は、ステップ606で、客に提示される画像の数を制限する合致処理の一部として使用可能である。
画像集内の若干の画像は、数年間にわたって撮影された画像を含むことができる。こうした場合、特に人物が若い(例えば、20歳未満)なら、その人物の顔IDの変化に関係する画像内の人物の年令は、かなり変化することになる。図32は、数年間にわたって撮影された所与の画像で、1人の人物に対する1つ以上の顔IDを処理するためのアルゴリズムのブロック・フローチャートである。第1のステップ800では、人物は、画像集からの画像内で識別され、さらに、顔IDは、データベースへ永久に、またはバッファへ一時的に格納される。第2のステップ802では、ステップ800で格納された顔IDに合致する、他の顔の肖像が識別され、顔IDに合致する全ての例の一時的な例リストが作成される。例リストは、画像の日付のみならず、各画像(または、画像の格納位置へのリンク)からの両方の顔IDを含むことになる。ステップ804では、例リスト内の例が日付に基づいて分類される。ステップ806では、K番目に古い例に対する顔IDが、合致する顔のコレクションを捜すのに使用される。おそらく、これらの合致する顔は、主として、すでに認識されたものより前に撮影された画像から成っていることになり、一方で、新たに識別された画像内のこれらの顔は、K番目に認識された顔と合致し、これらは、他の、後の画像とはさほど良く合致しないこともある。数Kは1〜10であることが好ましく、さらに好ましくは2〜5である。
決定ステップ807では、新規の顔がステップ806で識別された場合は、新規の例が例リスト内へ統合され、日付により分類され、ステップ806が繰り返される。この反復は、ステップ800で識別された人物の識別を、より前の可能な日付へ拡張するように設計されている。ステップ807でいかなる新規画像も集められない場合、ステップ808では、K番目に新しいか、または最新の例を伴う画像集に対する合致により、K番目に新しい例がより最近の時間まで識別拡張を試みるのに使用される。再度、新らたな例が例リストに追加されて、分類される。ステップ809では、ステップ808で新規の例が識別されたか否かが判定される。新規の例が識別された場合は、ステップ808が繰り返される。識別されていなければ、画像集を通しての、いかなる新規検索も実行されない。
ステップ810では、例リストは年齢幅に分離される。等しい持続時間(例えば、1年)を有する年齢幅が選択可能である。代替的に、これらは、各年齢幅を一括する顔ID間の計量距離が等しいサイズとなる形で選択可能である。分離の他の評価基準またはアルゴリズムは、各年齢幅での年齢幅の「サイズ」は、年齢幅から取得された全ての画像が、その後のステップで、その年齢幅から抽出された顔IDを参照することにより、顔認識ソフトウェアにより認識可能であるようなものでなければならない、という但し書を伴って、本発明の趣旨内である。ステップ812では、こうして集められた画像の顔IDが、その年齢幅に対する合成IDを作成するために使用される。過去の時間での人物の新規画像を撮像することはできないが、過去の時間の画像を画像集に追加することはできるので、各年齢幅に対する合成顔IDを作成することにより、顔認識プログラムが画像集の顔の肖像を最も正確に識別することが可能となる。
上のアルゴリズムは、人物の顔IDの変化が年齢以外の理由である例にも使用可能であることに留意すべきである。こうした場合は、負傷、形成外科、顔の毛、メーキャップの変化、および他の永久的または一時的な出来事を含むことができよう。さらに、画像が撮影された年齢に基づいて、画像を分類する(または、システムに索引をつける)のではなく、相違点に基づいて分類を実行することができる点に留意すべきである。例えば、画像を年齢幅へ分ける代わりに、画像を、類似性で重なっている組の画像に分けることが可能であり、さらに、グループ内で最も異なる画像(すなわち、アウトライアー)を探すことにより、この組を拡張可能である。この使用モードは、アーカイバルコレクションからの画像に索引をつける必要があり、さらに、その画像の撮影日付が有効なものではなく、日付に基づく分類が排除されているような場合には、特に役立つだろう。
顔認識ソフトウェアプログラムでの顔IDの比較の一部は、閾値厳密性である。2つの顔IDの差がこの厳密性を下回るならば、顔が合致すると考えられ、また、差がこの厳密性を上回るならば、顔が異なっていると考えられる。厳密性レベルが増加すると、一般に偽陽性合致は減少するが、一般に偽陰性合致が増加することになる。同様に、厳密性レベルが減少すると、一般に偽陰性合致が減少するが、偽陽性合致が増加することになる。正しい厳密性レベルの選択は、正しい合致を得るために非常に重要であり、さらに、異なる組の画像は、単一画像アーカイブ内のものでさえ、照明強度や、顔の表情や、横を向いている顔の総計などの差により、厳密閾値が異なっていることがよくあるであろう。
最適の分類のための異なる厳密性を考慮に入れ、画像の収集を組織化する特に有用な方法は、クラスタ分析を使用することである。クラスタ分析は、物体間の計量距離に基づいて、物体をクラスタに組織化する多くの異なるアルゴリズムを含んでいる。この測定は、ユークリッド、二乗ユークリッド、シティブロック(city−block)(すなわち、線形測定基準の絶対和)、指数距離、および他の測定基準であってもよい。一般に、指数距離計量が便利であり、この指数は0.5〜2が好ましい。一般に、顔IDは、一連の数値に分解可能であり、したがって、そこでは、計量が多次元計量であると考えられる。
クラスタを重ね、または接合する、連結規則は、単独連結、完全連結、単純ペア‐グループ平均、加重ペア‐グループ平均、単純ペア‐グループ中心、加重ペア‐グループ中心、ウォード法、双方向接合、または他の方法を含む、多種多様な連結規則を使用可能である。これらのアルゴリズムは、一般に組織内で階層的である計量距離により、関係づけられるクラスタを作成する。すなわち、クラスタ化閾値距離が非常に大きい(例えば、2つの最も異なる画像間の計量距離より大きい)なら、すべての画像が同一クラスタに存在していると考えることができる。逆に、クラスタ化閾値距離が2つの最も似ている画像間の距離より小さいなら、すべての画像が別々のクラスタに存在していると考えることができる。クラスタ化アルゴリズムは、使用されている閾値距離の計量に対応して、どの画像がどのクラスタにあるかを示す階層的組織、または代替的に、固定距離クラスタ化アルゴリズムが適用可能な、同様の情報を与える異なる閾値での、マルチプルタイ(multipleties)のいずれかを提供可能である。
この情報により、画像内の人物に従って画像を分類するための自動化手段が提供可能となる。しかしながら、顔の配置、照明、および画素による顔肖像のサイズ、顔の表情、およびその他の違いのために、特定の人物の顔の肖像は、クラスタ化アルゴリズムにより、顔が異なるクラスタに配置される程度に変化可能である。実際、各クラスタが1人の人物に関係する画像の全てを含むように、全ての画像をクラスタ化する単一の厳密閾値計量は存在しそうにない。
多くの場合、画像をクラスタ化するための、初期の厳密閾値が画像をクラスタ化するために使用される、半自動処理を使用するのが好ましい。この厳密閾値は、一般に、予め決定され、さらに、人物の肖像が1つより多いクラスタに存在するような(すなわち、厳密閾値が高く、存在する人物より多くのクラスタを生じさせる)大きさとなる。この時点で、ユーザは、1つのクラスタから参照画像を与えられ、その後、他の密接に関係づけられたクラスタからの画像に、同一人物の肖像があるかどうか尋ねられる。ユーザが肯定的な返答をした場合は、2つのクラスタが単一クラスタへとマージされる。1つより多いクラスタからの画像が、同時に、参照画像と比較可能であることにも留意すべきである。このクラスタ化アルゴリズムを使用することにより、なさねばならない比較の数は、あらゆる画像を分類するよりも、かなり減少させることが可能となる。
この半自動化クラスタ分析は、図32で説明したように、年齢に従って顔の特徴が変化する場合に使用可能であることに留意すべきである。しかしながら、この場合、顔の年齢が異なる画像は、異なるクラスタに配置されることになりやすく、さらに、その後ユーザは、可視検査に基づいて、手動でクラスタをマージする。
例えば、オンライン写真共有システムまたは個人的画像集の場合には、何らかの個人の画像を選択することを所望した時、または、例えば、彼らが各画像内の認識可能な顔の数に基づく、収集の分類を希望した時に、顔認識をいつでも実行する必要があるなら、これは便利なものであることに留意すべきである。この目的のために、一度顔認識を実行し、その後、画像による顔認識から抽出された顔識別子を関連付けるのが好ましい。例えば、各画像に関連付けられたデータベースレコードは、画像内で認識された各顔のリスト、顔の空間的座標(例えば、顔の画像のサイズの何らかのしるしも提供する目の座標)、および顔識別子を含むことができる。加えて、格納された情報は、上述したように、画像内の人物のより正確な識別の実行を補助するために、使用可能な追加情報(例えば、衣服の色、宝石の存在、およびその他)を含むことができる。こうした場合、収集からの画像の検索は、その後、インデックス情報または日付を手動で入力するよりもむしろ、本明細書の他の場所で説明した方法で、顔識別子を参照してユーザにより実行可能である。
装置構成
前のセクションでは、リモートIDリーダー52、カメラ63、格納コントローラ73、および格納装置71など、本発明の異なるステップを実行する、多くの装置が示されてきた。2つ以上のこれらの装置が、共通の物理的な筐体を共有したり、または、共通の電子機器および他の構成要素を共有することまでもが、本発明の趣旨内である。本発明におけるこれらの自然な物理的接近、および密接な機能的協働の要件により、リモートIDリーダー52およびカメラ63は、部分的にまたは完全に統合されていてもよい。また、格納コントローラ73および格納装置71にとっては、この統合は都合がよいことになろう。
正確なタイミングを求める要求、および異なる装置間の協働により、上述のように、本発明の動作に参加する装置の多くの動作では、専用マイクロプロセッサおよびコンピュータを含む、デジタルコンピューティング装置の使用が役立つ。例えば、カメラ63は、おそらく、画像転送ワイヤ65を超える伝送前に、カメラ63からの画像をバッファリング可能となるよう、「フレーム取り込み器」カード(マサチューセッツ州、マールボロ(Marlboro)のデータトランスレーション(Data Translation)製、または、カナダ、ケベック州、ドーバル(Dorval)のマトロックス(Matrox)製)を用いて、コンピュータへ、事実上結合されていてもよい。さらに、コンピュータは、リモートIDリーダー52から入力を取り、その後、格納装置71へ転送する、図5で説明した方法により、画像データによる識別を多重化することができるだろう。
また、画像転送ワイヤ65、識別転送ワイヤ53、および配布ケーブル81を含む、装置間のリンクは、電気伝導ワイヤならびにケーブル、無線伝送スキーム、光ファイバーケーブル、および赤外線伝送スキームを含んでいてもよいことを理解すべきである。こうした伝送スキームの使用は、費用、帯域幅、距離、干渉する物理的障壁、および電気雑音に影響する環境ファクターを含む、様々な問題により決定される。
ビデオ撮影録画を用いる実施例
図7は、単一フレーム画像よりむしろビデオ画像がキャプチャされ、および画像が出力フォーマットで直接格納される、本発明の実施例の絵概略図である。リモート識別ステップ141は、上で議論した、図2および図3のものと同様である。しかしながら、デジタルスチールカメラ63を用いる代わりに、ビデオ撮影画像をキャプチャするために、ビデオカメラ157が代替的に使用される。「ビデオ撮影」という用語は、連続したビデオ録画の複数の画像フレームを含むビデオ録画画像を示すために使用されている。方向性マイク158は、ビデオカメラ157に接続され、その音声入力をビデオカメラ157へ伝送する。RFIDリーダー54は、ローカル識別転送ワイヤ56を通して、ビデオカメラ157に接続され、タグ49により伝送される識別をビデオカメラ157へ転送する。
ビデオカメラ157からの出力は、ビデオカメラ157によりキャプチャされたビデオ撮影画像、方向性マイク158からの音声信号、およびRFIDリーダー52から取得される識別子を含んでいる。これらの信号は、ビデオカメラ157および関連する電子機器(マイクロプロセッサベースのコンピュータを含んでいてもよい)により、図5に示したものと同様の方法で多重化可能である。例えば、音声情報および識別子は、ビデオデータの個々のライン(列)間のスペース、またはフレーム間のスペースに配置されてもよい。この多重化されたデータは、ビデオ撮影画像転送ワイヤ66を通して、画像入力コネクタ159で、ビデオ撮影画像転送ワイヤ66から入力を受ける、画像/音声ルータ155へ転送される。
データ収集および転送の多くの構成が、本発明の趣旨内にあることに留意すべきである。例えば、離散的転送ワイヤは、データ多重化を必要とすることなく、ビデオカメラ157、方向性マイク158、RFIDリーダー54から、画像/音声ルータ155へ、情報を個別に転送することができよう。代替的に、方向性マイク158は、ビデオカメラ157に一体化されていてもよい。加えて、ビデオカメラ157内で行われる多重化の代わりに、ビデオカメラ157内に専門のハードウェアを必要とすることは、様々な装置(ビデオカメラ157、マイクロホン158、およびRFIDリーダー54)からの入力を受け取り、さらにビデオ撮影画像転送ワイヤ66を通ってルータ155へ転送する前に多重化を実行する、別々のローカルコントローラに対して便利であろう。
画像入力を受け取り、それらを永久出力装置(この場合は、ビデオ録画機163用アナログフォーマットのビデオテープおよびDVD録画機165用DVDディスク)上に配置するよう、複数のビデオ録画機163およびDVD録画機165が、複数のルータ出力コネクタ161(A〜D)を通して、画像ルータ155へ接続されている。画像ルータ155は、識別信号を取り、どのビデオ録画機163またはDVD録画機165に画像を発送させるかを決定する。恐らくは数時間、1日、または数日間という特定の期間、特定のビデオ録画機163またはDVD録画機165が、特定の客43の識別子に割当てられることになり、さらに、その識別子を伴ってタグ付けをされた全ての画像が、特定の出力記録装置に送られることになろう。例えば、Cとラベル付けされたDVD録画機165は、1日の間、デジタル識別子83871により客43に割り当てられ、さらに、任意の画像入力コネクタ159を通して、ルータ155へ連結された、テーマパーク内の多くの任意のカメラソースからの、その識別を有する全ての写真が、適切なCとラベル付けされたケーブル出力コネクタ161を通してビデオ録画機Cへ発送されることになる。図7には、ルータ155への4つの入出力接続のみが示されているが、実際の実装における接続数は、数百、または数千、またはそれ以上に達することになろう。
ビデオカメラ157からの信号が、ビデオ撮影画像転送ワイヤ66を通してデジタルまたはアナログフォーマットで移送されることは、本発明の趣旨内である。さらに、ビデオ撮影画像転送ワイヤ66を通る画像信号の形式に応じて、画像ルータは、デジタルアナログコンバーター(ビデオカメラの出力がデジタルであり、出力フォーマットが、ビデオ録画機163のようにアナログである場合)か、アナログデジタルコンバーター(ビデオカメラの出力がアナログであり、出力フォーマットが、DVD録画機165のようにデジタルである場合)のいずれかを含んでもよい。
出力フォーマットでの画像の格納は、単一フレーム画像キャプチャと同様に実行可能である。例えば、印刷前に画像を格納する代わりに、全ての画像を、画像内の客43の識別と関連して、印刷し、および格納してもよい(例えば、画像の裏に印刷され、または格納ラックの特定スロット内に画像を格納する)。代替的に、この情報は、客43インターネットアドレスへ直接転送可能である。しかしながら、この方法は、ビデオ撮影画像に関しては、特に便利である。こうした場合、画像データの量は非常に大きくなり、必要となる一時的画像格納装置はそれ相応に高価なものとなるため、画像を永久格納フォーマットで直接記録するのが経済的に魅力であることになろう。
この実施例は、一般に、客43が、配布ステーション77内の画像からえりすぐることを可能とする、別の手段を含んでいなことに留意すべきである。代替的に、客43に関係する画像は、永久的なフォーマットで格納されているので、客43は、永久的な出力を購入するか否かを選ばなければならないのみである。図8は、本発明の実施例のためのデータの流れのブロック概略図であり、それにより、永久記憶装置から容易に利用可能な、全ての情報を必要とすることなく、格納された画像を客43がプレビューするのを可能にする、情報の断片が一時格納手段内に格納される。ビデオカメラ157からの画像の収集289、およびRFIDリーダー54からの識別の全体を、永久記録装置へ転送する。永久的に格納した画像の収集291として、その全体におけるこのデータは、配布のステップ293内で客43への配布に利用可能とされるが、画像集289の大きな部分は、配布のステップ293の前に客43がレビューできない。しかしながら、画像集289の部分集合、恐らくビデオテープからの単一フレームまたは短い断片は、一時格納装置として格納される、一時格納画像295として集められる。これらの一時的に格納された画像295は、客43が永久的に格納された画像291を購入する否かを決定するために、永久的に格納された画像291のうち一時格納されている画像の部分集合295をレビューする、レビューステップ297で、客43に利用可能となる。永久的に格納された画像291をいったん客が購入すると、一時的に格納された画像295が上書きされるか、あるは削除されてもよい。
画像および識別子の物理的な転送に関する実施例
これまでの本発明の実施例は、画像キャプチャおよびリモート識別手段から、共通の識別画像格納装置への、データの電子転送に関係している。特定の開催地では、遠方サイト間の電子通信は、高価または不便となり得る。図9は、格納された情報が、中央の識別画像格納装置に物理的に転送される、画像キャプチャおよびリモート識別手段に対してローカルな記憶装置を利用する、代替的システム構成の概略図である。複数のビデオカメラ157およびその関連するRFIDリーダー54は、それぞれローカルな一時格納装置167に接続されている。一時記憶装置167は、ビデオカメラ157からの画像情報のみならず、RFIDリーダー54からの識別情報の双方が格納される、着脱可能格納媒体169を利用している。着脱可能格納媒体169は、着脱可能磁気ディスク、磁気テープ、または、電子情報を格納して記録電子機器から別々に物理的に転送される他のこうした媒体を含んでいてもよい。
数分または数時間の中断で、着脱可能格納媒体169は、他の着脱可能記憶媒体からの情報が収集されたときに、一時格納装置167から取り外され、中央の記憶装置171へ物理的に転送される。この時点で、着脱可能格納媒体169からの情報は、多くの着脱可能格納媒体169からの情報を含む中央格納媒体173に転送される。
こうした他の構成は、上述したデータの物理的転送の趣旨内であることに留意すべきである。例えば、図2に示したように、複数の着脱可能格納媒体169からの情報を、単一の中央格納媒体173へ統合する代わりに、客43への画像の配布で用いられるよう、それぞれが着脱可能格納媒体169からの情報を読み出す、複数の中央格納装置171が使われてもよい。例えば、主要な印刷、またはビデオテープ、またはDVDの生産設備では、個々の客43に合致した画像を求める要求は、複数の中央格納装置171に伝送されてもよく、その後、中央格納装置が、画像を適切なプリンタ137、ビデオテープ録画機163、またはDVD録画機165に送ることになる。
データフォーマットおよびデータの流れ
アナログデータ
本発明では、様々な画像、音声、および識別子フォーマット、および対応する転送プロトコルが想定されている。図10aは、アナログ状態の音声および画像データの転送を用いる、データの流れを示すブロック図である。客43のアナログ画像データ179およびアナログ音声データ181がキャプチャされる。これらのデータは、音声/映像アナログ多重データ183の単一データフォーマットへ多重化される。こうしたアナログ多重化可能な多くの形式が存在し、さらに、普通の方式は、アナログ画像データ179を振幅変調形式でコード化し、一方、アナログ音声データ181を対応する周波数変調形式でコード化する。これは、多くの場合、例えば、テレビジョン信号の伝送で使用されている。この多重化は、図7のビデオカメラ157および方向性マイク158の位置での一般に利用可能な回路により、好都合に実行されてもよい。
その後、アナログ多重化データ183は、画像/音声格納ルータ155へ、同軸ケーブル、無線伝送、または他のなんらかな適当な伝送手段で転送可能である。一般にリモート識別子は、適切な格納位置に到着するために、別のワイヤまたは送信手段を通して伝送される、デジタル識別子185である。格納された音声/映像多重化データ189と共に識別子を格納するために、デジタル識別子185は、格納の物理的位置によりコード化されてもよい。例えば、音声/映像多重化データ183に対応する識別子185が、その音声/映像データ183が所与の客43に対するものであることを示しているならば、その後、そのデータは、ある位置で、例えば、その客43に対応するビデオテープ録画機163またはDVD録画機165などに格納されるだろう。所与の格納位置は、エンターテインメント開催地での客の滞在中、客43により、彼らの画像のために排他的に使用されることになろう。識別子185は、もはやデジタルまたはアナログフォーマットでも維持されず、音声/画像データがアナログで格納189された位置に基づく位置コード化識別子187が格納されるのに従って封入される。その位置に転送された全てのデータは、単一の客43に対応し、したがって、所与の客43に対応する多重化データ185は、その客43に対応する録画機163または165へ行くことにより簡単に検索可能である。
アナログ画像データ179が、デジタル画像データ175として任意に生成可能であり、さらに、D/Aコンバータによりアナログ状態に変換可能であることに留意すべきである。同様に、アナログ音声データ181は、デジタル音声データ177として生成され、D/Aコンバータによりアナログ状態に変換可能である。さらに、デジタル識別子185を、対応するアナログ多重化データ183で直接転送可能なアナログフォーマットに変換可能であろう。例えば、ここでアナログフォーマットとなっている識別子185は、インターフレームアナログデータとして、振幅変調形式のアナログ画像データ179と共に転送可能である。
デジタルデータ
図10bは、デジタル状態の音声および画像データの転送を用いる、データの流れを示すブロック図である。客43のデジタル画像データ179およびデジタル音声データ181がキャプチャされる。これらのデータは、デジタル識別子185と共に、音声データ、画像データ、および識別子データを含む、デジタル多重化データ193の単一データのフォーマットへ多重化される。この多重化は、図5に示した、音声データのコード化のために作られた条件により、単一画像多重化データのものとおそらく同様である。例えば、音声データの大きな、連続したブロックが、転送される各画像に添付されている。代替的に、音声データのより小さな断片、1バイトまたは2バイトの音声データまでもが、画像データの各水平なラインの終わりに配置されていてもよい。従来の1秒あたり60フレーム、さらに、1フレームあたり250本以上の水平なラインで転送される画像に、これは、容認可能な品質の音声信号を渡すのに十分なデータ帯域幅を提供する。この多重化は、図7のビデオカメラ157および方向性マイク158の位置で、好都合に実行されてもよい。
その後、デジタル多重化データ193は、別にデジタル的に格納されたANデータ195およびデジタル的に格納された識別子197としての、マルチメディアデータベース内に音声データ、および映像データ、および識別子データを収納可能なデジタル格納手段へ、デジタル伝送ワイヤ、無線伝送、または他の何らかの適当な伝送手段で転送可能である。
デジタルデータを伝送し、および格納することには、特定の潜在的利点が存在する。例えば、デジタルデータは、そのソースで高度に圧縮されて、データ転送量を減少させることができる。さらに、データは、修正ノイズリダクション技術で転送可能である。また、データがいったんデジタルフォーマットで格納されると、標準のデジタル技術を使用する画像への変更を、容易に適用可能である。
デジタル画像データ175が、アナログ画像データ179として任意に生成可能であり、さらに、A/Dコンバータによりデジタル状態に変換可能であることに留意すべきである。同様に、デジタル音声データ177は、アナログ音声データ181として生成可能であり、A/Dコンバータによりデジタル状態に変換可能である。さらに、格納手段へのデジタルデータの転送後、膨大な量の音声および映像データが与えられれば、適当なD/Aコンバータを用いてデータをアナログフォーマットに変換し、図10aに示したようにアナログフォーマットでデータを格納することが有用であろう。
リモート識別および画像キャプチャシステムの配置
以前の実施例では、画像キャプチャシステムおよびリモート識別システムは、固定位置に配置され、客がこれらのシステムの範囲または視点に入ると作動する。ある場合には、特に客がライドで運ばれているとき、固定位置にリモート識別システムまたは画像キャプチャシステムのいずれかを配置するのは、困難または不便であろう。例えば、客43により担持されたタグ49の範囲が小さいなら、リモート識別リーダー52は、容易にタグ49を作動でき、またはその識別信号を受信できる程度に近くには、容易には配置できないことになろう。さらに、乗り物が動いているなら、固定位置から撮るビデオ録画の持続時間は、短過ぎる持続時間であり、さらに、容認できる長い時間、客43を可視の状態に保つために、ビデオカメラ157がパンすることが必要であろう。固定配置に代わる手段として、リモート識別システムまたは画像キャプチャシステムを、ライドの車45の上に配置してもよい。
図11は、リモート識別システムまたは画像キャプチャシステムが、実質的に客43に呼応して動くシステムの斜視図である。客43はアミューズメントライドの車45で運ばれる。客43は、手首ブレスレット上に、RFID送信機91からの識別信号を受信する可動リモート識別リーダー233によって、伝送するように刺激されるRFID送信機91を身につけている。可動ビデオカメラ235も車45上に取り付けられ、車45の乗客が常にその視野内にいるよう配置されている。この必要条件を満たすために、リモートビデオカメラ235は、広い視野を有する特別なレンズを使用してもよい。
可動リモート識別装置233および可動ビデオカメラ235は、車45上に配置されるので、これらの装置からの識別子および画像は、それぞれ固定地面位置へ転送可能でなければならない。これは、様々な手段で達成可能である。例えば、図11では、可動リモート識別装置233および可動ビデオカメラ235の双方が、ビデオ撮影画像データおよび識別子データの両方を受ける固定受信ステーション237へ、これらのデータを伝送する送信機として機能する。受信は、車45が赤外線送信装置55から放射され、受信器57で受信される、赤外線光ビーム59の経路を遮断するときに引き起こされる。固定受信ステーション237により受信されなければならない、異なる同時情報ソースを減少させるために、可動リモート識別装置233および可動ビデオカメラ235は、ワイヤにより接続されていてもよく、それにより、1つのデータの移送で固定受信ステーション237へ伝送する多重化データフォーマットへ組み込まれるよう、識別子を可動ビデオカメラ235へ渡すことができる。
代替的に、可動リモート識別装置233および可動ビデオカメラ235からのデータは、適当なフォーマット(例えば、ビデオテープ)で車45上に格納され、図9で説明した方法により一定の間隔で検索可能である。
カメラおよびリモート識別装置は共に位置が固定され、または客43に対して所定の経路で移動する、本発明の実施例が説明されてきた。特定の場合には、固定リモート識別リーダー54を可動カメラ235と、または可動リモート識別リーダー233を固定ビデオカメラ157と、結合することは、有用であろう。
さらに、所定の経路ではなく、場合によれば、気まぐれに移動する可動リモート識別リーダー233およびビデオカメラ235を有しているのが、有用なこともある。例えば、テーマ遊園地では、客は、流しの写真家によって、漫画または他のコスチュームの俳優と一緒にいる写真を撮ってもらいたいこともあろう。この写真家は、可動リモート識別リーダー233を担持しており、さらに、データを無線伝送により転送可能な、または通信網へデータをダウンロードすることが可能なデジタルカメラで画像をキャプチャする。写真家は、固定位置に留まる必要はなく、リモート識別装置またはカメラの配置に関連した制限なしで移動可能である。
さらに、画像をキャプチャされた客が、カメラおよびリモート識別装置のサイトへライドにより運ばれる必要はない。例えば、周知のアトラクション、または美しく印象的な眺望の正面では、カメラおよびリモート識別を固定的に配置可能であろう。客が所定の位置に移動すると、リモート識別装置は、客の識別を決定し、その後、カメラは、前記眺望が背景となっている客の写真をキャプチャする。客が、スナップ画像のキャプチャではなく、ポーズをとった画像を所望する場合は、画像キャプチャは、固定時間だけ遅れてカメラを作動させるボタンを押すなど、客が開始させるコマンドを必要とすることもできよう。
製品の特徴
画像変更
本発明の方法により取得された画像は、画像の購入を促すよう、客の関心およびエンターテインメントに合わせて変更可能である。こうした変更は、ビデオ撮影画像のみならず、静止した単一フレーム画像の両方に実行可能である。画像データがアナログフォーマットでも非常に簡単な画像変更プログラムが実行可能であるが、デジタルフォーマットの画像なら、ほとんどの高度な変更が最も容易に実行される。
図12a〜12eは、画像キャプチャおよび画像変更を含む、一連の画像である。図12aは、ジェットコースターなどのアミューズメントライドで、タグ49を身につけた客43の、一連のビデオ撮影画像からの単一画像を表している。この画像は、画像フレーム241により囲まれている。この画像は、遊園地の背景シーンのみならず、客43が乗る車45の一部分を含んでいる。この画像は客43にとり十分に興味があるものとなろうが、以下の画像および説明は変更された画像がどのようにして作成されるかを示している。
図12bでは、車45を含む画像の背景要素が画像から排除されている。この減算は、以下の技術の1つ以上により実行されてもよい。第一に、画像をキャプチャする可動ビデオカメラ235は、一般に、車45に対して固定された位置にあり、車45を表す領域は、1日中、全てのフレームの同じ画素位置に配置されているので、これらの画像はフレームから排除可能である。第二に、車45および客43の画像と比べて、他の背景画像は急速に変化しており、これらは排除可能である。各背景画像は客43および車45に対する、可動ビデオカメラ235からの距離が与えられ、いくらかピンぼけになっていることに基づいて、やはり排除可能である。加えて、フレーム内の客43の顔の位置は、前記のように特色認識プログラムを使用することで、容易に確認可能であり、さらに、身体は顔に対して大まかに推定可能であり、その後、客の身体の範囲を決定するために、従来のエッジ検出プログラムが使用可能となる。客に相当しない画素には、背景のために予約してある所定の色値(以後、予約色値と呼ぶ)が与えられるが、客に相当する画素は、元の画素色値を保有したままである。
図12cは、図12bのように、背景から抜粋された客の画像を、関係ない背景に配置する例を示している。この場合、図12bの客の画像は、手書きの漫画の背景(この場合、異星人物を含む、他の惑星の想像図)に配置されている。アミューズメントライドからの状況から抜き出された客の顔の歪曲は、エンターテインメントを提供する。これは、漫画と客の顔のビット画像をマージすることにより実行され、その色が予約色値ではない場合かつその場合に限り、漫画画像からの画素は図12bからの色値をとり、そして、その画素が予約された色値を有する場合は、その漫画の画素色値に取り替えられる。
図12dは、客に相当する画素を、関係ない画像画素で置き換えることにより、客の画像を変更する例を示している。図12dでは、客の画像は、客の頬の傷跡の画像、客の耳のイヤリングの画像、客の目の眼帯の画像、客の頭のバンダナの画像、および客の身体の破れたシャツの画像を配置するよう変更されている。さらに、この画像は、図12cの方法を用いて、客が海賊として海賊船上にいる印象を与えるよう、帆船から撮影した背景に配置されている。客の画像の変形を実行するために、客の顔の造作(目、耳、鼻、および口)は、造作の位置を見つけて方向を合わせる、従来の顔認識ソフトウェアを用いて分析される。様々な顔の変更(傷跡、イヤリング、眼帯、およびバンダナ)を表す画素は、造作の寸法および配置に応じてスケーリングされ、および回転され、その後、顔および背景画像に相当する領域を表す画素と置き換えられる。相似変換は、シャツに合致する画像に対して実行可能であり、または代替的に、適切な衣服を着て記録された俳優の画像を背景画像の一部とすることもでき、そして、客の頭に相当する画素のみが、その画像内に配置されることになる。この後者の方法により、画像は、別人物の肩の上に、客の頭がある画像に相当することになろう。
図12eでは、図12bのように、客の画像は背景から取り除かれ、その後、画像は歪曲により変更される。図12eでは、例えば、頭の幅が大きくなり、身体の幅は小さくなっている。こうしたひずみは、デジタル結像および画像変更技術で周知であり、一般に、結果として得られる画像が確実に滑らかで、エッジ効果を伴っていないよう、特定画素の移動だけでなく、画素色値のマージにも関係している。
本発明の方法によると、以下を含んで、画像に対する様々な変更がなされると認識すべきである:
・画質を改善するよう、画像を変更すること(例えば、画像コントラスト、または輝度を変更すること)、
・様々な人物または物体が一緒にいる、または客が異なる環境にいるという印象を作り出すために、異なる記録画像からの画像を、同じ画像へ配置すること、
・時間の流れ、および動作が連結していることの印象を作り出すために、連続画像を他の連続画像に散りばめること、
・周波数コンテンツを変更したり、または、ある録画の音声出力を別の録画からの画像と結合させることにより、音声出力を変更すること。
さらに、所望の効果を生成するよう、同じ組の画像に、1つより多い変更技術が適用されてもよい。
顔IDおよび関連付けられた情報の使用
顔認識識別子(顔ID)および顔認識の他の態様を使用することにより、他の変更方法が可能となる。図27は、顔IDおよび他の関連情報を用いる画像変更のブロック・フローチャートである。第1ステップ620では、客の画像がキャプチャされ、その画像が変更されるように所望される。ステップ622では、顔の位置ならびに方向、および、目ならびに口などの顔の要素の位置が決定される。このステップ622は、通常、顔認識プログラムで実行され、そこから情報を抽出することができる。最も簡単な形式では、ステップ626で画像を変更する際に、この情報が使用可能である。例えば、識別された顔の画像に対して、その顔の所与の位置に、海賊の傷跡を配置することができる。顔の要素のこうした位置は、顔がビデオ撮影のフレーム内で動いているときに、顔の、比較的一定の位置を維持することができる。
また、より高度な形式の変更では、多くの場合、顔認識分析の一部である、主要構成要素分析(ステップ628)からの情報を使用することができる。顔の位置および主要構成要素分析の両方が与えられている場合、客に対応するアニメの顔は、ステップ630で生成可能である。すなわち、顔の要素が結合している、説明された主要構成要素は、顔IDが生成された客の画像に似た画像を与えることになる。こうしたアニメの顔は、変更において、客の顔の代わりにすることができる。さらに、こうした変更は、眼鏡の形状や色、髪の色など、通常主要構成要素分析に関連付けられない関連情報を用いることにより改善可能である。
さらに、平均値から主要構成要素分析の値を誇張することにより、ステップ632で、戯画に対応する大袈裟な顔の人物を生成可能である。値の全ては、平均値から離れて、または漫画世代の美的な効果を有するよう決定された特定の値のみ、調整可能である。
図31は、画像変更、および顔認識を用いる処理のためのユーザインタフェースである。中央ボックスは、考慮中の画像を含んでいる。画像の下には、肖像がその画像内で識別された人物のリストが表示されている。図示したように、左の人物は「Sammy」として識別されており、右の人物は未確認(すなわち、彼の識別は一連の疑問符により示されている)である。その後、ユーザは、収集内に既に登録されている人物の名前を選んだり(例えば、顔認識プログラムが、画像内の肖像をデータベースの顔IDへ正しく関連付けられなかった場合)、または新たに人物を登録することができる。「人物登録(Register Person)」ボタンが選択されると、人物の名前と他の情報(例えば、Eメールアドレス、または他の問い合わせ先)を求めるダイアログボックスが開かれる。
Sammyについては、2つのオプションがユーザに与えられている。第1のオプションでは、SammyのEメールアドレスがSammyの顔IDに伴ってデータベースに登録されているなら、図示したように、ボタンまたはチェックボックスをピックすることにより、ユーザは画像を自動的にSammyへ送ることが可能である。代替的に、ユーザは、Sammyの顔または身体を、その画像から切り取ることができる。顔の切り取りは、一般に、顔認識の処理の一部として、顔認識ソフトウェアから利用可能になっている、直接的情報である。身体を切り取るために、画像は、顔の先端から下方へ、顔の高さのおよそ1/2〜1を囲んで、顔の幅のおよそ3〜5倍(顔を中心にする)、および、垂直方向に顔の高さのおよそ6〜8倍を、顔から切り取ることができる。画像の縁に出会うと、切り取りは停止する。
製品フォーマットおよび基板
本発明の方法は、付随の音声トラックと同様に、単一画像フレームおよびビデオ撮影画像の両方を含み得る画像を作成する。これらの画像および音声トラックは、変更不能記録である場合もあろうし、または以前のセクションで説明した方法などにより変更されていることもあろう。これら画像は、客のこれらの画像の購買心をそそるように、多くの異なる出力フォーマットで作成され、その魅力を改善するために、様々な基板上に配置可能である。これらのフォーマットおよび基板の方法および変形形態は、以下で説明される。
図13aは、様々な異なる出力装置を組込んだ、単一画像の配布システムのブロック概略図である。一般に、単一画像は、デジタル的に格納された画像データ196として、ハードドライブのアレイなど、デジタル格納装置71に格納されているであろう。画像格納装置71に接続されるのは、多くの異なる出力装置へ画像データを選択的に転送する通信バス199である。この装置は、紙画像209、またはプラスチックシート画像213として、印刷された画像を出力するプリンタ137を含んでいる。複数の紙画像209は、アルバム223を形成するよう集められ、一緒に製本可能である。
代替的に、画像データ195は、Tシャツ215またはキャップなどの織物基板への配置のために織物プリンタ201に転送されてもよい。また、画像は、セラミックのマグカップ217、彫像、または他の記念品へ配置するために、セラミック転写装置203へ転送可能である。
画像は、必ずしも物理的フォーマットに変換しなくてもよく、電子格納フォーマットで配置することもできる。例えば、画像データ195は、イーストマンコダック(ロチェスター、ニューヨーク州)が開発し配給しているPhotoCDフォーマットなどのPhoto CD219を出力する、Photo CDマスター装置205へ転送されてもよい。代替的に、画像データは、電子メール221の添付ファイルとして、客43のインターネットアドレスに転送可能なインターネットサーバ207へ移送されてもよい。
図13bは、異なる出力装置を組込んだ、アナログデータとして格納されたビデオ撮影画像のための、配布システムのブロック概略図である。アナログビデオ撮影格納装置218は、上述したように、アナログ的に格納されたビデオ撮影データ189を含んでいる。このデータは、これをビデオテープ229に記録する、ビデオテープ録画機163へ直接転送可能である。
代替的に、アナログデータ189は、電子メール221として、またはDVDディスク227上へ転送するため、それぞれ、インターネットサーバ207またはDVDマスター装置165上のいずれかへ転送されてもよい。しかしながら、インターネットサーバおよびDVDマスター装置は、一般にデジタルデータを処理するので、アナログデータ189は、まず、A/Dコンバータ225により、アナログフォーマットからデジタルフォーマットへ変換されなければならない。図13bに、2台のA/Dコンバータ225として示されているが、これらは、異なる出力装置間で切り換えられる単一A/Dコンバータに取り替えられてもよい。
図13cは、図13bに示したものと同じ出力装置が組込まれた、デジタルビデオ撮影格納装置220上に、デジタルビデオ撮影データ195として格納された、ビデオ撮影画像のための配布システムの概略図である。以前と同様、画像データは、電子メール221、DVDディスク227、およびビデオテープ229作成のための、インターネットサーバ207、DVDマスター装置165、およびビデオテープ録画機163へ転送される。しかしながら、データは、デジタル格納装置165上にデジタル的に格納されたビデオ撮影データ195として保存されるので、このデータは、インターネットサーバ207およびDVDマスター装置165へ直接転送可能である。しかしながら、ビデオテープ録画機163はアナログデータ入力を受けるので、デジタルデータ195は、先ずD/Aコンバータ231により、アナログフォーマットに変換されなければならない。
環境開催地動作を伴う能動的統合
画像キャプチャが、ライドにおいて、または開催地での活動において、客が得るエンターテインメントの邪魔をしないよう、これまでの本発明の実施例は、テーマパークや遊園地のような、エンターテインメント開催地の通常動作へ継ぎ目なく統合可能である。実際、客は、活動の間に画像キャプチャが行われているとは、おそらく気付いていないであろう。しかしながら、本発明を用いる以下のモードは、客が画像キャプチャをともに意識し、および写真撮影ならびにレビューによる双方向処理へ能動的に参加する、ライドおよび活動へ、画像キャプチャおよびリモート識別を能動的に統合することを提供している。
エンターテインメントとしての画像のレビュー
図17は、エンターテインメント開催地の待ち行列で使用する、レビューモニター273の斜視図である。多くのテーマパークでは、特に頻繁な使用に際しては、客が、ライド、ショー、または活動における、自分たちの順番を、待ち行列内で何時間も待つ場合があることに留意すべきである。この時間の間は、一般に、客はさほど楽しんではいない。レビューモニター273は、固定物(この場合、群衆の管理のバリアとして用いられる水平なポール271)に取り付けられている。多くのストラップ275が使用されているが、様々な異なる配置固定具に取り替えられていてもよい。レビューモニター273は、待ち行列など、一般に、彼らが別の方法で楽しめないとき、可視となるような形で、客43に向かって並んで配置されている。レビューモニター273と統合された、統合リモート識別リーダー51は、客43が身につけたタグ49(図示せず)を感知して、客43の識別を、図2の画像コントローラ73のような中央コントローラに伝送する。画像コントローラ73は、客43がレビューするよう、多くの画像をスクリーンに配置する。客43が見る画像の選択を可能にするよう、多くのボタン277が、レビューモニター上に配置されていてもよい。情報または方向は、スクリーン上に書かれている単語を通して、または、レビューモニター273に組込まれたスピーカー79により伝送される聴取可能なスピーチを通して、客43へ伝えられてもよい。
画像コントローラ73とレビューモニター273との間の通信は、無線伝送、光ファイバー、および電気伝導ワイヤを通したデジタルまたはアナログ伝送を含む、多くの異なる手段により仲介されてもよい。図17では、水平バリアポール271は空洞であり、ワイヤーおよびケーブルの配置が可能となり、ケーブルを通してモニターへ繋がる。
レビューモニター273は、これは、待ち行列内に収容される配布ステーション77の同等物を有するよう容易に配置可能ではあろうが、購買のための画像を選択する手段を備えている必要はない。しかしながら、一般に、待ち行列内の客43の普通の動作は、意志決定を抑制する。しかしながら、レビューモニターは、スチール写真またはビデオ撮影による、おそらく、上述のように変更された(図12参照)自分たちの画像により、待ち行列にいる客43を楽しませる。さらに、客43が、画像購買のために配布ステーション77にやって来る可能性を増加させるように、画像は、どの画像が購買可能であるかを客に知らせる。
客が、彼らの画像を見るために留まっているより、待ち行列を進み続けるように、レビューモニター273は、限られた持続時間だけ所与の客43の画像を表示し、その後、新規タグ49識別子が統合リモート識別リーダー51により検出されるまで、空白のスクリーンを提示してもよい。多くのレビューモニター273が並んでいることもあるので、客43は、自分たちの写真を見る機会が多くなる。
エンターテインメントとしての画像キャプチャおよび表示
写真を撮影する行為は、特に結果が客43の変更された画像である場合、非常に愉快なものとなろう。本発明の次の2つの実施例は、エンターテインメント過程の本質的部分の画像を撮影し、レビューする行為を統合している。図18は、画像キャプチャ、変更、およびレビューが、客43を楽しませるために使用される、待ち行列の上面斜視図である。各々がRFIDブレスレットタグ91を有している多くの客43は、図17に示したものと同じように、水平ポール271により境界づけられた、待ち行列にいる。彼らの動きの方向は、左右の矢印により示されている。待ち行列がU字型に曲がるところでは、ポール271は、ポケット279を形成するよう配置されており、ここで、客43はポケット279の階段に最も近づくことになる。RFIDリーダー54は、ポケットの客43を識別するために、ポケットの正面に配置されている。デジタルカメラ63は、大きなモニター281上にあり、客43の画像をキャプチャする。エンターテインメント開催地のオペレータ283は、システムを操作するために、ポケット279の隣に立っており、画像キャプチャを起動するために、一般に、コンソールにあるボタン285を押すことになる。
画像がキャプチャされた後に、それは、客画像の愉快な変更を提供するように、上述のように変更される。オペレータ283は、コンソール287を用いて、異なる変更内から選択してもよい。これは、客を楽しませるために、変更にさらに変更を加えることを提供し、さらに、客43の年齢または性別に適切な変更の使用を可能にすることにも役立つ。変更がなされると、これらは大きなモニター281上に表示される。このモニター281は、客43がこれら様々な変化を見ることができるように、高いところに設置されているのみならず、多くの客43が見ることができるサイズとなっている。また、モニター281のサイズは、複数の変更された図が表示可能なサイズとなっており、または、代替的に、エンターテインメント効果のために、変更されていない画像と変更された画像の両方が図示されるものであってもよい。
客43がポケット279を去り、モニター281から顔をそむけると、彼らの注意は、レビューモニター273の配置により(図17で説明されたように)、他の時にエンターテインメント開催地内で作成された他の画像と同様に、作成されたばかりの画像のレビューのために、平行に前方へ向かっている。若干のテーマパークおよび遊園地の待ち行列は、2時間以上にも達することがあり、この長期間の間、客が他の人物と自分自身を見る機会が多くなるように、こうした画像キャプチャおよびディスプレイシステムは、待ち行列内の多くの曲がり角に配置されていてもよい。さらに、特定の行列で用いられる画像変更は、彼らが待っているライドのものに一致するテーマを有するように選択されていてもよい。
リモート識別法(RPIDブレスレット91およびRFIDリーダー54に関係する)の使用は、客43がその後画像を購入するのを可能にするために必要である。待ち行列における、維持運動の要件のために、客43は並んで待っている間、印刷画像を購入することができない。したがって、リモート識別法は、上述のように(例えば、図2参照)、客43を画像に関連付け、後に画像が販売されるのを可能にする。
光学的記号識別の代替的実施例
光学的記号認識のカラースキーム
自然界の画像はかなり複雑で予測できず、光学的識別子を見つけるのを困難にしている。この困難さは、均等でない照明およびカメラ応答により、高められる。例えば、多くの光学システムでは、色は、赤色、緑色、青色の光検出画素によりキャプチャされ、各色での応答は、0〜255の強度範囲のバイト値として与えられる。しかしながら、純粋な黒および純粋な白の識別子は、予想通り、0〜255の赤色、緑色、青色のそれぞれで与えられるのではなく、一般に、強度範囲は何らかのより小さな範囲へ圧縮される。さらに、入射する照明が、純粋に「白く」ないならば、赤色、緑色、青色の強度範囲は、互いに異なるものになるだろう。したがって、識別子タグ上の色は、解釈することが困難であるのみならず、一般に、タグ自体の検出が困難となる。
本発明は、自然な設定では、各色が一緒に現れるとは考え難いので、標準色ではない色をより簡単に解釈できるようにする方法により、標準色を組込んだ識別子タグを教示している。要するに、各色の、赤色、緑色、青色の成分の変化が、所定の珍しい形となるように3つの色が選択され、これにより、他の色の解釈のための内部規準が提供される。
図14aは、セクター化された有色識別子タグ300の斜視図である。外側色セクター302、304、306、308、310、312は、中央の円形セクター314を囲んでいる。セクターのうち3つが標準色を表すために選択されるが、好都合には、タグ300の周りで均等に離れている3つの外側セクター、この場合は、セクター302、306、310である。以下の議論では、色は、角括弧内に配置された、赤色、緑色、青色の値を表す、0〜255の三連数によって示される。したがって、[24、51、213]は、赤色値24、緑色値51、青色値213の色を表す。この関係では、赤色値255が、標準のカメラにより検出される、完全に反射する赤色光であり、そして、赤色値0は、同じ赤色光を完全に吸収することを意味している。
3つのセクター302、306、310は、各セクターに対する赤色値、緑色値、青色値のうちの1つが色値255を有しており、他のものは色値127、他のものは色値0を有しているように選択される。各セクターに対しては、いかなる他のセクターと異なる色値255が存在し、さらに、いかなる他のセクターとも異なる色が色値127を有し、さらに、いかなる他のセクターとも異なる色が色値0を有している。例えば、図14では、セクター302は色[255,127,0]を有し、セクター306は色[0,255,127]を有し、セクター310は色[127,0,255]を有している。
セクター302、306、310に対する、標準色の可能な配置は、図14b(色の表)に与えられている。この例に示したように、セクター302は、色[255,127,0]を有している。セクター306への変遷には、所定のシーケンス(赤色では255が127へ、緑色では127が0へ、さらに青色では0が255へ)で、3色の全てを変化させることが組込まれている。したがって、色の「海(Sea)」にあるタグを識別する際には、ソフトウェアプログラムは、タグの2つの特徴をピックアウトすることが可能である。第一に、3つの色セクター302、306、310があり、その各々は、図14bの要求を満足しており、さらに、その色は、正しく時計回りの方向で変遷を満足している。
実際には、その後、ソフトウェアアルゴリズムは、以下のタグ識別評価基準を満たす、3点を捜す:
1)3点は中央点に対して120度の方向に存在し;
2)点の半径は、所定の画素範囲内にあり;
3)各点の内部に対しては、赤色、緑色、青色の点は、図14bのような関係を有しており;さらに、
4)3色に対する変遷の順番は、図14bで与えられたようになっている。
色値の範囲は、一般に、異なる色に対して255よりずっと少なく制限されているので、閾値を用い得ることに留意すべきである。例えば、セクター302に対する色が[255,127,0]であることを必要とする代わりに、アルゴリズムは、赤色値が少なくとも所定の閾値Aだけ緑色値より大きく、緑色値が少なくとも所定の閾値Bだけ青色値より大きく、しかも、赤色値が少なくとも所定の閾値Bだけ青色値より大きくなっていることを要求することになる。多くのアプリケーションでは、閾値Aと閾値Bの値は好都合にも30未満であり、閾値Cの値は、好都合にも50未満であり、さらに好適には、閾値Aおよび閾値Bの値は10未満であり、閾値Cの値は25未満である。低い閾値は、色値のダイナミックレンジが小さい、影に入ったタグがある場合を想定したものである。
同様に、セクター302からセクター306へなどの変遷を分析する際に、赤色値が255から127へ変わることを必要とする代わりに、アルゴリズムは、単に値の減少、または代替的に、特定の所定の閾値だけ減少することを必要とすることになる。一般に、増減に対する所定の閾値は、大きな変遷(すなわち、0が255へ、または255が0へ変化する)に比べて、小さな変遷(例えば、0が127へ、または255が127へ変化する)の方が小さくなる。127の違いがある変遷は、上の変遷閾値A、Bに対して同等な閾値が使用可能であり、255の違いがある変遷は、変遷閾値Cと同等な閾値を使用して区別可能である。
このタグ構築には多くの利点がある。第一に、ほとんどの設定において、この厳しい色分けを満たす唯一の画素配置はこのタグであり、偽陽性タグ識別の数を減少させる。第2に、ごくまれな色が現れるので、プログラムが、シーンを隅々まで捜しながら、4つの識別評価基準の全てをチェックする必要はめったにない。前述の評価基準により、かなり多くの潜在的タグが排除されるので、アルゴリズムの性能はかなり加速される。
最終的に、タグが内部的に、一連の色度標準を含んでいることに留意すべきである。本方法は、赤色、緑色、青色の各々に対して、0、127、255の色値のためのタグ規格を決定する。これらは、照明強度および照明バイアス(例えば、赤色より多くの青色を含んでいる入射光など)を修正し、他のセクターの色値を識別する際にも使用可能である。
本発明の趣旨内において、3つのセクターに対する特定色を変えることができ、同様に、セクターの順序も変えることができることに留意すべきである。例えば、標準色[255,127,0]、[127,0,255]、[0,255,127]の代わりに、代替色の組[0,127,255]、[127,255,0]、[255,0,127]が使用可能であろう。さらに、本発明の趣旨から逸脱することなく、時計回りの、および、反時計回りの変遷も変えることができる(すなわち、変遷の色に関する順番がAからBからCである代わりに、AからCからBの順番にすることもできる)。実際、標準色が時計回りの方向であるか、または反時計回りの方向であるかに結び付けて、情報の2進ビットを転嫁させることによる、ファクター2により、特定可能な識別子の数を増加させることができる(例えば、色が時計回りであるときのそのビットは0に等しく、さらに、色が反時計回りのときのそのビットは1に等しいなど)。さらに、このパラグラフで上述された2組の標準色のいずれが用いられているかに応じる、他のファクター2により、識別子の数を増加させることもできるだろう。変遷の順番といずれの色が用いられているかの両方を用いると、結果として、ファクター4による色数の増加をもたらすことができよう。
タグの標準的でないセクター304、308、312、314は、様々な異なる色であってもよい。各セクター色が、赤色値、緑色値、青色値が0、127、255に制限されているなら、各セクターは、27色をコード化可能である(標準色が許容されていないなら24色)。したがって、残ったセクター304、308、312、314は、24個の識別、即ち331776個の固有識別子をコード化可能である。この識別子の数は、写真撮影されるイベントのタイプに応じて、調整可能である。例えば、小規模なイベントでは、残ったセクター304、308、312、314は、0と255だけの、赤色値、緑値色、青色値の採用を可能にするよう構成された、より少ない識別子を用いたり、または、より僅かな数のセクター(例えば、中央セクター314を排除することによることによる)を有するのが好ましいかもしれない。加えて、色値0、127、255を有する標準色を用いる代わりに、この場合は、標準色を0と255の値であるものに制限することが可能である。例えば、標準色の組が[0,0,255]、[255,0,255]、[255,255,0]であるものを代替的に使用可能である。
識別子の数を増加させるために、例えば、放射状のセクター数を6から、より大きな数(例えば、7)まで増加させることにより、セクター数を増加させることもできる。代替的方法は、2つの内部セクター322、324を有する、セクター化された有色識別子タグ320の斜視図である図14cに示したように、中央セクターをいくらか拡大して、分けることである。この配置により、追加有色セクターが提供され、結果的に、ファクター24で識別子数が増加される。上述のように、標準の識別および時計回りの順番を変えることにより、ファクター4によってタグ数が増加可能であることに留意すべきである。
識別子数を増加させる追加手段は、画像分析を用いて、セクター322、324を分離している線326の方向を判定することである。この線326が中央で交差している標準色セクター302、または306、または310に応じて、0、または1、または2の値を割り当てることができるので、これにより、他のファクター3により識別子数を増加させることができる。
それほど目立たないタグ
図14aにおける、タグ300のセクター化されたパターンは、タグ300のデザインを非常に制限する。タグ300は、顕著に表示される必要があり、イベント内の各人物が、この方向、またはデザイン、または彼らの衣服と調和しない色を伴ったタグを所望することはないだろうということに留意すべきである。本発明は、これらの問題に対処する2つの手段を含んでいる。
第1の方法では、色識別子の形は、円形のパターンでなければならないわけではない。上述のように、有色セクターの相対的方向は、ことさら上の4つのタグ識別評価基準に従う必要はない。図15は、色がクジャク図案340内部に隠れている、識別子タグの斜視図である。クジャク図案340は、身体および頭部342から成っており、クジャク340の全ての間で色および形は均一であってもよい。ここで、尾は3つの羽のベース344、346、348を含んでおり、これらが、前のセクションで説明された所与の標準色である。羽の先端350、352、354は、識別子色が与えられており、これは、クジャク図案340識別子を確定するために使用される。羽の数は、識別子数を増加させるために増加可能であり、または追加色としてクジャクの身体を使用することが可能である。
3個の羽のベース344、346、348の標準色と同様に、単一画像をクジャクの身体および頭部342に提供可能であることに留意すべきである。その後、24の残った色の中から、円形のタグを付けることにより、各タグに固有識別子を与えることができる(すなわち、3つの赤色値、3つの緑色値、および3つの青色値を混合し、任意に3つの標準色を取り除くことによる)。このスキームの利点は、参加者と同数程度の多くの識別子タグを印刷する必要はなく、単一タグだけを印刷し、それとは別に、残った24色で円形を印刷すればよいことである。3つの異なる有色の円を、クジャク図案340に配置することにより、タグを組み立てることができる。したがって、全てが異なる色を有するタグとは違い、イベントの参加者全員に対する総合的な印象は、よく似たタグということになる。
タグの組み立てに対する、多くの異なるパターン、デザイン、形状、および構成が存在し、さらに、タグが、共通の要素に取り付けられた別々の有色の要素から組み立てられるのは、明確に本発明の趣旨内である。
値0、127、255から選択された、赤色値、緑色値、青色値の全ての可能な組み合わせを混合することで利用可能となる、色の広い範囲は、タグの残りとの、互いに対する、またはイベントの参加者が着ている衣服との合致により、微笑ましくないものになることもあろう。タグ内に存在する色数を減らすために、色の部分集合のみを使用してもよい。例えば、上述のように、図14aのタグ300は、331776個の識別子に対応する(ほとんどのイベントの出席者よりはるかに多い)。こうした場合には、特定の色値(例えば、赤色255)、色の組合せ(例えば1つの色が255で、他の色が0値)、または色の強度(例えば、赤色値、緑色値、青色値の和が255以下の色)などを使用してもよい。
反射インクを組込んだタグ:
自然な背景内でタグを識別する代替的方法は、タグを「目立たせる」反射インクを用いることである。こうしたタグの使用例は、反射的境界362を組込んだセクター化された有色識別子タグ360の斜視図である、図16に示されている。反射境界362は、微小体を含むインク(例えば、ミネソタ州、セントポールの3M社製3M Reflective Ink参照)など、非常に反射的なインクを用いて印刷される。微小体には、あらゆる方向からの入射光を反射するという特性がある。したがって、境界362は、フラッシュ照明で撮影される、あらゆる写真の内部で、最も明るい物の1つになるだろう。したがって、タグを見つけるアルゴリズムは、3つの色の全てが、同時に最高値をとっている画素をスキャンし、その後、丸い境界362を形成している画素を判定するために、標準画像解析ルーチンを用いる。セクター302、304、306、308、310、312、314からの識別子の値を判定するために、上述の分析を使用することができる。識別子は、反射境界362内の2進コードにより補うことができる。例えば、一連のドットおよびダッシュを形成するために、反射的境界が中断されているなら、それは、追加識別子データをコード化することができる。
しかしながら、反射インクの使用により、必要な識別子数が比較的僅かな場合にも使用可能となり、さらに、コードは2進コードであってもよい。図17aは、通常の照明で可視の、反射タグ380の斜視図である。タグを印刷する際に、4つのタイプのインクが使用される:
1)反射黒インク
2)反射白インク
3)無反射黒インク
4)無反射白インク
ビューアから実質的に異なる方向に発光する、通常の拡散照明下では、反射および無反射黒インクは、両方とも黒く見える。対照的に、反射および無反射白インクは、両方とも白く見える。異なる白黒のインクは、共に、ビューアに対しては、可読の英数字コードに見える。
図17bは、最も多い構成要素がビューアと同様の方向から来る、フラッシュ照明下で見られた、反射タグ380の斜視図である。こうした場合、反射光は、主としてビューアに向けて戻される。この場合、タグ380は、正方形の2進コードとして見られる。白い正方形382は、反射白黒インクの双方から成るが、黒い正方形384は、無反射白黒インクの双方から成っている。すなわち、白黒の外見は、インクの可視色の作用ではなく、むしろ入射する照明を反射するそれらの能力である。図示したように、フラッシュ照明の下では、まだ写真には、「Bill」という名前の何らかの外見が残っているようであるが、この外見は、黒い正方形384と白い正方形382との関係では僅かである。要するに、白黒の正方形384、382は、2進コードを含んでいる。図17bに示された場合には、正方形を左から右、さらに、上から下へ読むと、10進法で14964に対応する、2進コード「011101001110100」となる。
図17cは、図17aおよび図17bのタグの、異なるインクの配布を示す、インクレイアウトである。このインクレイアウトは、この場合、白い反射インク388、黒い反射インク390、白い無反射インク386、および黒い無反射インク392を含んでいる。拡散照明で白く見える領域(すなわち、図17aに示したもの)は、白い反射インク388および白い無反射インク386を用いて作成され、反射光で白く見える領域(すなわち、図17bに示したもの)は、白い反射インク388および黒い反射インク390を用いて作成される。
上に示した、本発明の趣旨内にある方法には、多数の変形があることを、理解すべきである。例えば、反射光での白黒の外見の配置を、一次元または二次元のバーコード、または非2進数(例えば、テキスト)、または2色で表示可能な他のコードの配置と同様にすることが可能である。加えて、基本的な白黒の色は、他の色で補い、または代用することができる。例えば、タグ識別子がコード化される領域で、各色に対応する反射および無反射インクがある限り、このタグは多色インクを含むことが可能である。
反射率、およびコード化された識別子情報、および人間のオブザーバーから見た視覚情報は、タグ上に複数の層を使用することにより、物理的に切り離し可能である。図22は、反射識別子情報およびタグの視覚的外見が、物理的に切り離される反射タグの断面図である。反射タグ394は、下にある反射層396、および、上にある視覚層398の、2つの層から成っている。反射層396は、タグ394コード(例えば、図17bの2進コードにより表されている)が白反射インク、および白無反射インクで書かれるなどした、白などの中立色の反射層を含むことができる。その後、情報を配置するために、拡散照明で目視可能な、比較的透明なインクを使う視覚層398が、トップに配置可能となる(例えば、図17aのタグ外見で表されている)。反射光がなければ、トップの視覚層398の情報が白地を背景に目視可能であるが、強い反射光が存在するときは、下にある視覚層398のコードが見える。
反射インクの多くが、多くの形式の印刷に不適当であるので、物理的に切り離される反射タグ394のこの使用は、反射鏡として微小体を取り入れた反射インクの使用に良好に適合する。したがって、反射層396上への反射インクの印刷は、これらのタイプのインクに良好に適合する処理(例えば、スクリーン印刷)により実行可能であるが、上にある視覚層398は、従来の処理(例えば、オフセット印刷、またはインクジェット式印刷)を用いて印刷可能である。その後、2つの層は、層396、398を接着剤でマッチさせるか、または、場合によれば、単純に、2つの層を、参加者の衣服に取り付け可能な透明な袋に、一緒に入れることもできる。
プリンタに対する色のマッチング
上のタグ識別法は、タグ識別をコード化するために、色の組合せを使用している。印刷方法は、安価なインクジェット式プリンタから、ダイ昇華型プリンタへ、カラーレーザープリンタへ、高度な商業オフセットリソグラフィー印刷処理へ至るまで、異なる精巧さ、および精度のものとなることを理解すべきである。色値をプリンタに入力することは、結果として生じる、カメラを通して検出された色が、印刷するよう命令した色と、必ずしも一致していなければならないというわけではないだろう。タグの画像をキャプチャするために使用されるカメラの色感度と関連して、印刷から出力される色が、プリンタに伝送された色[0,127,255]が、結果として、画像内で合理的に同じ様な色になるということを確実にすることは、本方法の利点である。すなわち、カメラ画像で識別されるべき色が[127,0,255]であるなら、この色は、印刷および写真家が用いる撮影技術の組合せを通して、達成することはできないかもしれない。しかしながら、他の値(例えば、[91,17,230])を印刷するようプリンタに命令することにより、結果として生じる画像は、以下に説明するように、赤色127、緑色0、青色255と解釈可能な、赤色、緑色、青色の広がりを有しているかもしれない。
この目標を達成するための本発明の方法は、所与のプリンタにより生成される広範囲な色を、系統的に提示した標準色チャートを作成することである。図18aは標準色チャート400の斜視図である。このチャートは、印刷された情報の特性が2つの場合で同様のものになるように、タグ印刷で後に使用される同様の基板上に印刷されている。標準色チャートには、好都合にチャート400のコーナーに配置可能で、さらに、カメラによる、チャート400から成っている画像内の、チャートの位相的構成を設定可能にする、1組の参照マーク402を組込んである。左上のコーナーのレジストレーションマーク403は、画像内のチャートの直立および回転の配置を補助するために、より暗く、または別の方法(例えば、形状)で区別されるように作られている。
色ボックス404、406、408は、チャート400上に整列し、さらに、各ボックスは、その中に一連の有色の長方形を含んでいる。各ボックス404、406、408は、所与の色に対する単一色値、例えば赤色を有している。例えば、ボックス404は赤色値0だけを有し、ボックス406は赤色値36だけを有し、さらに、ボックス408は赤色値73だけを有している。全体的に見て、チャート400に含まれる8つボックスが、おおよそ均等に、0〜255の色値の範囲にわたっていることになる。
図18bは、ボックス406の斜視図である。上述したように、このボックス内の全ての色値には、赤色値36を有している。ボックス406内の所与の縦列の各長方形は、一定の緑色値を有している。この場合、縦列410の全ての長方形は緑色値0を有し、縦列412の全ての長方形は緑色値36を有し、縦列414の全ての長方形は緑色値73を有し、以下同様である。同様に、ボックス406内の所与の横列の各長方形は、一定の青色値を有している。この場合、横列416の全ての長方形は青色値0を有し、列418の全ての長方形は緑色値36を有し、列420の全ての長方形は緑色値73を有し、以下同様である。その結果、縦列410および横列420にある長方形は、色[36,0,73]を有していることになる。
要するに、標準色チャート400は、チャート400を作成する際に使用されるプリンタが、出力可能である色にわたっている。このチャート画像はカメラによりキャプチャされるが、客の画像の撮影に使用されるカメラと同様のものであり、さらに、客が身に付けている光学的可読タグを識別するのに使用されるものであるのが好ましい。この画像は、コンピュータへ入力され、さらに、自動的技術がコンピュータコードで例示化され、その後、以下に説明されるように、画像が分析される。
レジストレーションマーク402、403の存在は、従来の、および確立された画像認識方法により確立されることができる。これらの方法は、レジストレーションマーク402、403に珍しい色の組合せを持たせることにより、タグの光学的記号認識で用いられるカラースキームで使用されるように、補うことが可能である。レジストレーションマーク402、403が一旦識別され、位置を見つけられると、画像内の位置を元の標準色チャート400内の位置へ関連付ける、幾何学上の関係は容易に決定可能である。
タグに用いられる、印刷された色を選択する好適な方法は、色における大きな広がりを得ることは、印刷ではさらに難しくなるという観察を前提としている。すなわち、赤色値が大きく、緑色値が小さく見える色は、赤色値も緑色値も両方とも大きい色を得るより、印刷するのが難しい。さらに、一般に、255と0の理想的な値が達成不可能なので、色値間に最も大きな違いを有する色が、使用される高い値と低い値の定義を決定することになる。
図19は、印刷色を選択するためのフローチャートである。先行するステップとして、標準色チャート400はカメラにより結像され、その後、その画像は、分析のためのコンピュータ上に配置されたと仮定されている。第1ステップ430では、標準色チャート400の画像内の全ての有色の長方形がスキャンされ、最も大きい色値と、それに次いで大きい色値との間の広がりが最大の長方形が識別される。すなわち、各画素または平均化した画素のグループにおいて、最も大きな色値を有する色が、それに次いで大きな色値を有する色と比較される。赤色、緑色、青色の各々に対して、最も大きな広がりを有する長方形からの、赤色値、緑色値、青色値が格納される。
第2ステップ432では、第1ステップ430で格納された値からの最大値が、それぞれの赤色、緑色、青色に対して値255を表すように使用され、一方で、最小値が、色0を表すよう選択される。このステップ432により、各々の所望する色に対する赤色、緑色、青色が、最大値および最小値を確実に持つことができるようになる。
第3ステップ434では、第2ステップ432の、値255と値0との間の中間値が、中間値127を表すよう使用される。例えば、ステップ432で、最大の赤色値が212であり、そして、最小の赤色値が28であるなら、赤色に対する中間値(色値127を表すために用いられる)は、(212+28)/2=120として与えられる。
赤色、緑色、青色の各々に対して、0、127、255の理想的な値に対する目標色値が選択される。第4ステップ436では、標準色チャートの画像内の全ての長方形を、どの長方形が目標色の組み合わせに近いかを知るためにチェックする。0、127、255の目標色値に対して、27(すなわち、赤、緑、青の3色に対する、値0、127、255の全ての組み合わせ)しか合致する色がないことに留意するのは重要である。これらの27の色の各々に対して、理想に近い標準色チャートの画像内の長方形が選択される。長方形色値と目標色値との間の類似性の計量として、他の計量(例えば、誤差の二乗の合計)も使用可能ではあるが、差の絶対値を選択することができる。この方法の出力は、所望する色(一般に、値0、127、255からなる、色値三連数)をプリンタ色値へマッピングすることであり、それにより、赤色、緑色、青色の各々の、大きい、中間の、または小さい色値として、最も容易に区別可能な、カメラ画像内の色を生じさせることになる。このマッピングは、プリンタとカメラとの特定の組合せが使用される時は、いつでも用いられるよう、コンピュータ内に格納される。
エラー訂正コード
色のエラーを処理に導入可能な多くの方法が存在している。例えば、衣服により、1つの有色のセクターが不明瞭になったり、タグが曲がってしまい、それにより、その全体が可視というわけではなくなったり、タグをある角度で見ることができたり、セクターを不明瞭にする光の反射があったり、タグが、画素の色をほとんど判定できないほど小さかったり、画像圧縮が画像に悪い副作用を与えたりすることなどである。こうしたエラーを検出して、できれば、これらのエラーを修正可能な機構を備えていることは、有利であろう。2進のデジタル通信における、同様の目標をめざしたこうした多くの方法は、エラー検出コード、およびエラー修正コードと呼ばれている;これらのコードのいくつかは、ハミングコード、リニアーブロックコード、巡回冗長検査、リード‐ソロモンコードなどと呼ばれている。
これらのコードの多くは、通常、2進情報に対して実行される。しかしながら、上述の色コード化方法は、各情報(すなわち、各セクター内の各色)が値0、または127、または255を含むことができる、「ベース3」コードである。エラー検出および修正コードは、この場合、支援するために確立されている。このコードに対して、セクターの1つ(タグ300の中央セクターであってもよい)は、エラーコードを含んでおり、これは、エラーセクターと呼ばれる。識別子情報を含む、他の3つのセクターは、識別子セクターと呼ばれる。
図20は、特定の色(例えば、赤色)に対するエラーコードを計算するためのフローチャートである。第1ステップ440では、エラーコードは、識別子セクターの赤色値、緑色値、青色値が、色値ゼロに対して0、色値127に対して1、色値255に対して2の識別値を持っているとみなすことにより構成される。第2ステップ442では、識別セクターに対応する識別値が合計され、さらに、modulo3の値が決定される。例えば、識別セクターの赤色値が、0、127、255である場合は、識別値は、それぞれ0、1、2であり、その合計は3で、そのmodulo3の値は0である。第3ステップ444では、modulo0は色値0に変換され、さらに、modulo1は色値127に変換され、modulo2は色値255に変換される。ステップ440、442、444が、赤色、緑色、青色の各々に対して実行されるとき、エラーセクターに対する色はこのようにして計算される。
各エラーセクター色値に対して、そのエラーセクター色値をもたらし得る、3つの可能な識別セクター色値が存在する。こうした三連値のリストは、エラーセクター値をもたらす識別セクター色の表である、図21に提供されている。例は、この表がどのように使われるかを示している。
タグの識別セクターのうちの1つが不明瞭になっているか、または、その観察された色が疑わしい場合を考えてみる(例えば、その色値のうちの1つが62であり、これは、おおまかに、期待値0と127の中間値なので、1つまたは他の値が与えられているのか解釈不能である場合など)。エラーセクターに対する緑色値は127で、図21で与えられている中央セクター値に一致している。表を調べると、図20で説明した方法を用いて、エラーセクター値127をもたらすことができる値は、{0,0,127}、{0,255,255}、および{127,127,255}だけであることが示されている。ここで、括弧の数字は、いかなる順番になっていてもよい。他の2つの既知の識別セクターの緑色値が127と0であるなら、127のエラー値をもたらす三連数は、第1の三連数{0,0,127}であり、したがって、不明瞭なセクターの欠けていた値は、別の0でなければならない。実際、エラーコードが既知であるなら、任意の識別セクターの値が不明瞭であっても、識別セクターの値が回復可能であることが、図21の表の特徴である。
上述したコード以外にも、使用可能な多くのエラー訂正コードが存在する。例えば、エラーセクターの赤色値を形成するよう、異なる識別セクターの赤色値を用いる代わりに、所与のセクターの3つの異なる色値(赤色、緑色、青色)を、図20の方法と同様に合計して、その結果もたらされるエラー値を、エラーセクターの色値の1つに配置することも可能である(例えば、セクター302に対するコードを含むエラーセクターの赤色値、さらに、セクター306に対するコードを含むエラーセクターの緑色値、そして、セクター310に対するコードを含むエラーセクターの青色値)。他のコードは、ハミングコード、リード‐ソロモンコード、リニアーブロックコード、および、タグ構造でどのようなコードスキームが使われているかで決定される他のものを含むことができる。
識別タグ、リーダー、画像録画機、画像格納装置、および画像配布ステーションを包括する構成要素は、多くの異なるシステムの特徴および効果を提供するよう、カスタム設計することが可能な、多くの電子およびデジタル構成要素を含んでいよう。さらには、本システムの構成要素は、利用しているアプリケーションにより、異なる組合せおよび順序で使用されてもよい。
また、配布は、画像の写真またはビデオ撮影公演での物理的プレゼンテーション(紙、または他の物理的な基板上などに印刷される写真など)を意味するだけでなく、テレビジョン、LCD、またはCRTモニター、またはプロジェクターなどの、電子メディア上への画像のプレゼンテーションを意味し得ることに留意すべきである。
当業者は、本発明の趣旨および範囲から逸脱することなく、他の様々な非常に多い構成を、容易に工夫することができる。さらに、本明細書に列挙した、その特定の例のみならず、本発明の原則、態様、および実施例の全ての記述は、その構造的および機能的な同等物の双方を含むことを意図している。加えて、こうした同等物は、現在知られている同等物のみならず、将来において開発される同等物の両方、すなわち、構造にかかわらず、同じ機能を実行するよう開発されたあらゆる要素を含むことを意図している。
この明細書および特許請求の範囲では、指定された機能を実行する手段として表されるいかなる要素も、その機能を実行するいかなる方法も含むことを意図している。こうした明細書および特許請求の範囲で定義される本発明は、様々な列挙された手段により提供される機能が、明細書および特許請求の範囲が求める方法で結合され、および集合されているという事実に基づいている。したがって、出願人は、本明細書に示したような、これらの機能を提供可能なものは、いかなる手段であれ、同等物と見なす。
本発明の方法の機能的ブロック図である。 ライドに参加したテーマパーク客の画像がキャプチャされ、分類され、および客に配布される、図1に示した方法を利用した、人物特定イメージングシステムの斜視概略図である。 図2に示した人物特定イメージングシステムに対する、典型的なイベントの流れを示したブロック概略図である。 本発明で使用可能な、1つのリモート識別システムに対する識別子および検知器の斜視図である。 本発明で使用可能な、他のリモート識別システムに対する識別子および検知器の斜視図である。 本発明で使用可能な、さらに他のリモート識別システムに対する識別子および検知器の斜視図である。 本発明で使用可能な、さらに他のリモート識別システムに対する識別子および検知器の斜視図である。 本発明で使用可能な、さらに他のリモート識別システムに対する識別子および検知器の斜視図である。 識別および画像情報が共通の通信キャリヤ上でデジタルで伝送される、人物特定イメージングシステムで用いる、識別および画像情報の両方を含んだ、多重化されたデジタル信号の論理的概略図である。 印刷を、人物特定イメージングシステムの画像配布へ統合する、1つの方法のブロック概略図である。 印刷を、人物特定イメージングシステムの画像配布へ統合する、他の方法のブロック概略図である。 ビデオ画像が出力フォーマットで直接格納される、人物特定イメージングシステムにおける、リモート識別、画像キャプチャ、および画像格納の、斜視概略図である。 客がプレビューするために、情報の断片が一時記憶手段に格納される、人物特定イメージングシステム内のデータの流れのブロック概略図である。 格納された情報が、物理的に、中央識別画像格納装置へ伝送される、画像キャプチャおよびリモート識別手段に対してローカルの、一時記憶装置を利用する人物特定イメージングシステム内での、リモート識別、画像キャプチャ、および画像格納の斜視概略図である。 アナログ状態での音声および画像データの転送を用いる、人物特定イメージングシステム内のデータの流れを示すブロック図である。 デジタル状態での音声および画像データの転送を用いる、人物特定イメージングシステム内のデータの流れを示すブロック図である。 リモート識別手段および画像キャプチャ手段が、実質的に客に呼応して移動する、人物特定イメージングシステム内のリモート識別および画像キャプチャの斜視略図である。 人物特定イメージングシステムで使用可能な、画像変更方法を示す、一連の画像の1つである。 人物特定イメージングシステムで使用可能な、画像変更方法を示す、一連の画像の1つである。 人物特定イメージングシステムで使用可能な、画像変更方法を示す、一連の画像の1つである。 人物特定イメージングシステムで使用可能な、画像変更方法を示す、一連の画像の1つである。 人物特定イメージングシステムで使用可能な、画像変更方法を示す、一連の画像の1つである。 異なる出力装置を組込んだ人物特定イメージングシステムの一部である、単一画像に対する配布システムのブロック概略図である。 異なる出力装置を組込んだ人物特定イメージングシステムの一部である、アナログデータとして格納されたビデオ撮影画像に対する、配布システムのブロック概略図である。 図13bに示したものと同じ出力装置を組込んだ、人物特定イメージングシステムの一部である、デジタルデータとして格納されたビデオ撮影画像に対する、配布システムのブロック概略図である。 セクター化された有色識別子タグの斜視図である。 図14aなどのタグで使用される色の表である。 2つの内部セクターを有する、セクター化された有色識別子タグの斜視図である。 クジャク図案の内部に隠された色の識別子タグの斜視図である。 反射境界を組込んだ、セクター化された有色識別子タグの斜視図である。 通常の照明下で見られる、反射タグの斜視図である。 最も多い成分がビューアと同様の方向から来る、フラッシュ照明下で見られる、図17aの反射タグの斜視図である。 図17aおよび図17bのタグのインクレイアウトの斜視図である。 標準色チャートの斜視図である。 図18aの標準色チャート内のボックスの斜視図である。 図18aの標準色チャートから色を選択するフローチャートである。 特定色に対するエラーコードを計算するフローチャートである。 エラーセクター値を生じさせる、識別セクター色の表である。 反射識別子情報およびタグの視覚的外見を、物理的に切り離す、反射タグの断面図である。 参照画像データベースに格納された画像の概略図である。 新規画像の組内の人物を、参照画像データベース内の人物と合致させるための、信頼レベル概略図である。 連続する新規画像の組内の人物を、参照画像データベース内の人物と合致させるための、信頼レベルの概略図である。 客の参照画像である。 架空の客、Alfred Newmanに対する、顔データベース内に含まれた見本情報を示す概略図である。 テスト画像から情報を取得するブロック・フローチャートである。 厳密な顔の造作以外の関連する特徴を用いて、新規画像の組内の人物を、参照画像データベース内の人物と合致させるための、信頼レベルの概略図である。 客の顔IDを改善するために、客の新規画像を用いるブロック・フローチャートである。 その後の識別のために、客の全ての顔識別子をコンパイルする、ブロック・フローチャートである。 客による顔IDの生成のブロック・フローチャートである。 顔IDおよび他の関連情報を用いる、画像変更のブロック・フローチャートである。 特定の客に関連付けられた画像の、その後の検索のために、画像と共に客記述子が格納される、画像と画像内の客との関連付けのブロック・フローチャートである。 画像集内で人物を見つけるための、効率的な検索アルゴリズムのブロック・フローチャートである。 収集が電子的に格納されている、アーカイバル画像集を検索するための、ユーザインタフェースである。 顔認識を用いた画像変更および処理のための、ユーザインタフェースである。 何年もの期間にわたり撮影された画像が与えられている人物に対する、1つ以上の顔IDを処理するアルゴリズムのブロック・フローチャートである。

Claims (20)

  1. ユーザに、多くの人物の肖像が収容された電子画像の収集の中から、特定の人物の表現を含む特定の電子画像の配布をコンピュータで実行させる方法であって、
    画像集内の各電子画像に顔認識分析を実行し、それにより、各電子画像内に表された各顔に対する顔識別子を決定するステップと、
    各電子画像を、その電子画像内に表された、各人物の顔識別子に関連付けて格納装置に格納するステップと、
    前記格納装置に格納されている特定の人物が表現されているソース電子画像から、参照顔識別子を取得するステップと、
    第2の人物の顔識別子との関連性を含む追加情報に関連する、特定の電子画像に関連付けられた顔識別子に対する、参照顔識別子の類似性に基づいて配布するために、特定の電子画像を選択するステップであって、前記第2の人物の顔識別子が、収集内の1つより多い電子画像に関連付けられていて、特定の人物の顔識別子もその画像と関連付けられている、特定の電子画像を選択するステップと、
    を含む、特定の人物の表現を含む特定の電子画像の配布をコンピュータで実行させる方法。
  2. 追加情報が、配布する特定の電子画像と、第2の人物の顔識別子との関連性を含んでおり、特定の人物の顔識別子が、収集内の第2の電子画像に関連付けられていて、第3の人物の顔識別子もその画像に関連付けられていて、さらに、第2と第3の人物の顔識別子が、収集内の第3の電子画像に関連付けられている、請求項1に記載の方法。
  3. 追加情報が、特定の人物の一時的な外観の特徴を含んでおり、その外観の特徴が、配布画像から決定可能である、請求項1に記載の方法。
  4. 一時的な外観が、衣服の色、眼鏡の存在、眼鏡の色、髪の色、メーキャップの色、宝石、帽子の形、帽子の色、および顔の毛の配分から成るグループから選択される、請求項3に記載の方法。
  5. 追加情報が、画像集内部の電子画像からの、顔識別子上のクラスタ分析を用いて形成された、顔識別子の第1のクラスタ内部の、顔識別子のメンバーシップを含む、請求項1に記載の方法。
  6. 第1および第2のクラスタの各々からの少なくとも1つの画像の可視検査に続いて、ユーザからの手動入力を用いて第1および第2のクラスタを接合することにより、顔識別子の第1のクラスタが変更される、請求項5に記載の方法。
  7. 顔識別子の第1のクラスタが年齢に基づいて分類され、さらに、追加的顔識別子が、最も古い画像、最新の画像、または最も異なる画像から成るグループから選択された所定の数の顔識別子に対する、それらの類似性に基づいて、クラスタに追加される、請求項5に記載の方法。
  8. 顔識別子の所定の数が5未満である、請求項7に記載の方法。
  9. ソース電子画像が収集内に存在しない、請求項1に記載の方法。
  10. ソース電子画像が、インターネットを通して伝送される、請求項9に記載の方法。
  11. ソース電子画像が収集内に存在し、さらに、ユーザが、画像の可視検査に続いて、特定の人物の肖像をソース画像から手動で選択する、請求項1に記載の方法。
  12. 収集からの画像が、画像に関連付けられた顔識別子に基づいて、ユーザに対するプレゼンテーションのために分類される、請求項11に記載の方法。
  13. ユーザがこれまでに提示を受けたことのない、多くの顔識別子を有する画像を、ユーザに対して提示し、ユーザが、画像の部分集合のみを検査することにより、画像の収集内の特定の人物を、効率的に見つけることができる、請求項12に記載の方法。
  14. 配布用の画像が、画像に関連付けられた顔識別子の数に基づいて選択される、請求項1に記載の方法。
  15. 選択ステップが、2つの異なる顔識別子の、合致の見込みに関係する類似性計量を利用し、所定の値に対する類似性計量の値により、顔識別子が合致すると考えられるか否かが判定される、請求項1に記載の方法。
  16. 追加情報が、参照顔識別子と、配布画像に関連付けられた顔識別子との間の、類似性計量を変更する、請求項15に記載の方法。
  17. 参照顔識別子が、特定の人物の顔の肖像を含む複数の画像の分析により決定される、請求項1に記載の方法。
  18. 複数の画像の1つが、選択ステップで画像集から以前に選択されていた、請求項17に記載の方法。
  19. 電子画像集内の画像に索引付けをコンピュータで実行させる方法であって、
    画像集内の各電子画像に顔認識分析を実行し、それにより、各電子画像内に表された各顔に対する顔識別子を決定するステップと、
    2つの異なる顔識別子の合致の見込みに関係する類似性計量を算出するステップであって、所定値に対する類似性計量の値により、顔識別子が合致すると考えられるか否かが判定され、前記類似性計量は、前記画像からの追加情報と関連して、前記顔認識分析から算出される、ステップと、
    前記類似性計量が所定値を超える場合に、前記電子画像を第1の人物に索引付けるステップと、
    を含み、
    前記追加情報が、配布する前記電子画像と、第2の人物の顔識別子との関連性を含んでおり、その第2の人物の顔識別子が、収集内の1つより多い電子画像に関連付けられていて、前記第1の人物の顔識別子もその画像と関連付けられている、電子画像集内の画像に索引付けをコンピュータで実行させる方法。
  20. 電子画像集からの電子画像の検索が、前記電子画像に関連付けられた顔識別子を参照することで実行される、請求項19に記載の方法。
JP2006503384A 2003-02-06 2004-02-05 特定の電子画像をユーザに配布する方法 Expired - Lifetime JP4347882B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US10/360,197 US20030118216A1 (en) 1996-09-04 2003-02-06 Obtaining person-specific images in a public venue
US10/615,642 US20040008872A1 (en) 1996-09-04 2003-07-08 Obtaining person-specific images in a public venue
US10/714,517 US6819783B2 (en) 1996-09-04 2003-11-14 Obtaining person-specific images in a public venue
PCT/US2004/003488 WO2004072897A2 (en) 2003-02-06 2004-02-05 Obtaining person-specific images in a public venue

Publications (2)

Publication Number Publication Date
JP2006523334A JP2006523334A (ja) 2006-10-12
JP4347882B2 true JP4347882B2 (ja) 2009-10-21

Family

ID=32872696

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006503384A Expired - Lifetime JP4347882B2 (ja) 2003-02-06 2004-02-05 特定の電子画像をユーザに配布する方法

Country Status (6)

Country Link
US (2) US6819783B2 (ja)
EP (1) EP1597694A4 (ja)
JP (1) JP4347882B2 (ja)
AU (1) AU2004211756A1 (ja)
CA (1) CA2515226A1 (ja)
WO (1) WO2004072897A2 (ja)

Families Citing this family (317)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7415126B2 (en) * 1992-05-05 2008-08-19 Automotive Technologies International Inc. Occupant sensing system
US20070135982A1 (en) 1995-06-07 2007-06-14 Automotive Technologies International, Inc. Methods for Sensing Weight of an Occupying Item in a Vehicular Seat
US6819783B2 (en) 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
US7190475B2 (en) * 2000-03-16 2007-03-13 Nikon Corporation Method for providing a print and apparatus
WO2001080057A1 (en) * 2000-04-17 2001-10-25 Igt System and method of capturing a player's image for incorporation into a game
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
GB2373942A (en) * 2001-03-28 2002-10-02 Hewlett Packard Co Camera records images only when a tag is present
CN1666205A (zh) * 2001-10-17 2005-09-07 Npx科技有限公司 在线接收的个人标识的验证
AU2002359701A1 (en) * 2001-12-13 2003-06-23 Walt Disney Parks And Resorts Image capture system
GB2395780A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
WO2004055715A1 (en) * 2002-12-13 2004-07-01 Koninklijke Philips Electronics N.V. Expression invariant face recognition
JP2004266507A (ja) * 2003-02-28 2004-09-24 Toshiba Corp データ再生装置及び再生出力制御方法
US7624123B2 (en) * 2004-02-26 2009-11-24 Ati Technologies, Inc. Image processing system and method
US8345918B2 (en) * 2004-04-14 2013-01-01 L-3 Communications Corporation Active subject privacy imaging
TWI244624B (en) * 2004-06-04 2005-12-01 Jin-Ding Lai Device and method for defining an area whose image is monitored
JP4765280B2 (ja) * 2004-08-18 2011-09-07 富士ゼロックス株式会社 撮像装置、被写体id付加方法及びプログラム
JP4040613B2 (ja) * 2004-08-31 2008-01-30 キヤノン株式会社 撮像装置
JP4490214B2 (ja) * 2004-09-10 2010-06-23 富士フイルム株式会社 電子アルバム表示システム、電子アルバム表示方法、及び電子アルバム表示プログラム
US9405751B2 (en) 2005-08-23 2016-08-02 Ricoh Co., Ltd. Database for mixed media document system
US7885955B2 (en) 2005-08-23 2011-02-08 Ricoh Co. Ltd. Shared document annotation
US8276088B2 (en) 2007-07-11 2012-09-25 Ricoh Co., Ltd. User interface for three-dimensional navigation
US8156115B1 (en) 2007-07-11 2012-04-10 Ricoh Co. Ltd. Document-based networking with mixed media reality
US8369655B2 (en) 2006-07-31 2013-02-05 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
US8086038B2 (en) 2007-07-11 2011-12-27 Ricoh Co., Ltd. Invisible junction features for patch recognition
US8332401B2 (en) 2004-10-01 2012-12-11 Ricoh Co., Ltd Method and system for position-based image matching in a mixed media environment
US9171202B2 (en) 2005-08-23 2015-10-27 Ricoh Co., Ltd. Data organization and access for mixed media document system
US8510283B2 (en) 2006-07-31 2013-08-13 Ricoh Co., Ltd. Automatic adaption of an image recognition system to image capture devices
US8156116B2 (en) 2006-07-31 2012-04-10 Ricoh Co., Ltd Dynamic presentation of targeted information in a mixed media reality recognition system
US7551780B2 (en) 2005-08-23 2009-06-23 Ricoh Co., Ltd. System and method for using individualized mixed document
US8856108B2 (en) 2006-07-31 2014-10-07 Ricoh Co., Ltd. Combining results of image retrieval processes
US7970171B2 (en) 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
US7991778B2 (en) 2005-08-23 2011-08-02 Ricoh Co., Ltd. Triggering actions with captured input in a mixed media environment
US8184155B2 (en) 2007-07-11 2012-05-22 Ricoh Co. Ltd. Recognition and tracking using invisible junctions
US7672543B2 (en) 2005-08-23 2010-03-02 Ricoh Co., Ltd. Triggering applications based on a captured text in a mixed media environment
US8600989B2 (en) 2004-10-01 2013-12-03 Ricoh Co., Ltd. Method and system for image matching in a mixed media environment
US8838591B2 (en) 2005-08-23 2014-09-16 Ricoh Co., Ltd. Embedding hot spots in electronic documents
US8176054B2 (en) 2007-07-12 2012-05-08 Ricoh Co. Ltd Retrieving electronic documents by converting them to synthetic text
US8868555B2 (en) 2006-07-31 2014-10-21 Ricoh Co., Ltd. Computation of a recongnizability score (quality predictor) for image retrieval
US7669148B2 (en) 2005-08-23 2010-02-23 Ricoh Co., Ltd. System and methods for portable device for mixed media system
US7920759B2 (en) 2005-08-23 2011-04-05 Ricoh Co. Ltd. Triggering applications for distributed action execution and use of mixed media recognition as a control input
US9530050B1 (en) 2007-07-11 2016-12-27 Ricoh Co., Ltd. Document annotation sharing
US7702673B2 (en) 2004-10-01 2010-04-20 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment
US8335789B2 (en) 2004-10-01 2012-12-18 Ricoh Co., Ltd. Method and system for document fingerprint matching in a mixed media environment
US8385589B2 (en) 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8195659B2 (en) 2005-08-23 2012-06-05 Ricoh Co. Ltd. Integration and use of mixed media documents
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US8825682B2 (en) 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US8005831B2 (en) 2005-08-23 2011-08-23 Ricoh Co., Ltd. System and methods for creation and use of a mixed media environment with geographic location information
US8144921B2 (en) 2007-07-11 2012-03-27 Ricoh Co., Ltd. Information retrieval using invisible junctions and geometric constraints
US9373029B2 (en) 2007-07-11 2016-06-21 Ricoh Co., Ltd. Invisible junction feature recognition for document security or annotation
US8521737B2 (en) 2004-10-01 2013-08-27 Ricoh Co., Ltd. Method and system for multi-tier image matching in a mixed media environment
US8156427B2 (en) 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US9384619B2 (en) 2006-07-31 2016-07-05 Ricoh Co., Ltd. Searching media content for objects specified using identifiers
US7812986B2 (en) 2005-08-23 2010-10-12 Ricoh Co. Ltd. System and methods for use of voice mail and email in a mixed media environment
US7917554B2 (en) 2005-08-23 2011-03-29 Ricoh Co. Ltd. Visibly-perceptible hot spots in documents
US20080281635A1 (en) * 2004-10-06 2008-11-13 Martis Dinesh J Method of administering a beneficiary medical procedure
US7609145B2 (en) * 2004-10-06 2009-10-27 Martis Ip Holdings, Llc Test authorization system
US7683759B2 (en) * 2004-10-06 2010-03-23 Martis Ip Holdings, Llc Patient identification system
US7386150B2 (en) * 2004-11-12 2008-06-10 Safeview, Inc. Active subject imaging with body identification
US7615704B2 (en) * 2004-12-16 2009-11-10 Lexmark International, Inc. Multiple digital printing techniques for fabricating printed circuits
JP4449762B2 (ja) * 2005-01-24 2010-04-14 コニカミノルタビジネステクノロジーズ株式会社 人物照合装置、人物照合システム及び人物照合方法
US9910341B2 (en) 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
WO2006091869A2 (en) * 2005-02-25 2006-08-31 Youfinder Intellectual Property Licensing Limited Liability Company Automated indexing for distributing event photography
US7742444B2 (en) 2005-03-15 2010-06-22 Qualcomm Incorporated Multiple other sector information combining for power control in a wireless communication system
US9270841B2 (en) 2005-04-15 2016-02-23 Freeze Frame, Llc Interactive image capture, marketing and distribution
US8463654B1 (en) 2009-05-01 2013-06-11 Clifford R. David Tour site image capture and marketing system and associated methods
US8260674B2 (en) 2007-03-27 2012-09-04 David Clifford R Interactive image activation and distribution system and associate methods
US9214032B2 (en) 2005-04-15 2015-12-15 Freeze Frame, Llc Interactive guest image capture using video wall/floor/ceiling displays for selections of background scenes, and selection/distribution of customized
US7966223B2 (en) * 2005-04-15 2011-06-21 David Clifford R Interactive image activation and distribution system and associated methods
US9948870B2 (en) 2005-04-15 2018-04-17 Freeze Frame, Llc Interactive guest image capture using video wall/floor/ceiling displays for selections of background scenes, and selection/distribution of customized souvenir portfolios including merged images/sound
US9270840B2 (en) 2011-08-24 2016-02-23 Freeze Frame, Llc Site image capture and marketing system and associated methods
JP2008537228A (ja) * 2005-04-15 2008-09-11 クリフォード・アール.・デイヴィッド 対話式撮影及び配信システム並びに関連の方法
US9819490B2 (en) 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US7657126B2 (en) * 2005-05-09 2010-02-02 Like.Com System and method for search portions of objects in images and features thereof
US7657100B2 (en) 2005-05-09 2010-02-02 Like.Com System and method for enabling image recognition and searching of images
US7542610B2 (en) * 2005-05-09 2009-06-02 Like.Com System and method for use of images with recognition analysis
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
US8732025B2 (en) 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US7760917B2 (en) 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
US7809192B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for recognizing objects from images and identifying relevancy amongst images and information
US7945099B2 (en) 2005-05-09 2011-05-17 Like.Com System and method for use of images with recognition analysis
US7660468B2 (en) * 2005-05-09 2010-02-09 Like.Com System and method for enabling image searching using manual enrichment, classification, and/or segmentation
US20080177640A1 (en) 2005-05-09 2008-07-24 Salih Burak Gokturk System and method for using image analysis and search in e-commerce
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
US7783135B2 (en) 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
WO2006122164A2 (en) * 2005-05-09 2006-11-16 Riya, Inc. System and method for enabling the use of captured images through recognition
JP2006323560A (ja) * 2005-05-18 2006-11-30 Fujifilm Holdings Corp 画像管理システムおよび撮影装置
US7840450B2 (en) * 2005-06-01 2010-11-23 Cisco Technology, Inc. Method and apparatus for association of a radio frequency identification tag with digital data for distribution
US8750908B2 (en) 2005-06-16 2014-06-10 Qualcomm Incorporated Quick paging channel with reduced probability of missed page
US9055552B2 (en) * 2005-06-16 2015-06-09 Qualcomm Incorporated Quick paging channel with reduced probability of missed page
US20070005423A1 (en) * 2005-07-01 2007-01-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Providing promotional content
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US20080052104A1 (en) * 2005-07-01 2008-02-28 Searete Llc Group content substitution in media works
EP1907980B1 (en) * 2005-07-18 2013-01-02 Hysterical Sunset Limited Manually-assisted automated indexing of images using facial recognition
US8201073B2 (en) * 2005-08-15 2012-06-12 Disney Enterprises, Inc. System and method for automating the creation of customized multimedia content
JP2007052646A (ja) * 2005-08-18 2007-03-01 Fujifilm Holdings Corp 画像検索装置、画像プリント装置、プリント注文システム、店頭プリント端末装置、撮像装置、画像検索プログラム及び方法
US7769772B2 (en) 2005-08-23 2010-08-03 Ricoh Co., Ltd. Mixed media reality brokerage network with layout-independent recognition
US20070064208A1 (en) * 2005-09-07 2007-03-22 Ablaze Development Corporation Aerial support structure and method for image capture
JP2007080184A (ja) * 2005-09-16 2007-03-29 Canon Inc 画像処理装置及び方法
US8600174B2 (en) 2005-09-28 2013-12-03 Facedouble, Inc. Method and system for attaching a metatag to a digital image
US7450740B2 (en) * 2005-09-28 2008-11-11 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US8311294B2 (en) 2009-09-08 2012-11-13 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US8369570B2 (en) * 2005-09-28 2013-02-05 Facedouble, Inc. Method and system for tagging an image of an individual in a plurality of photos
JP5009577B2 (ja) 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
JP2007102696A (ja) * 2005-10-07 2007-04-19 Honda Motor Co Ltd ユーザ情報管理システムおよびプログラム
US20090207790A1 (en) * 2005-10-27 2009-08-20 Qualcomm Incorporated Method and apparatus for settingtuneawaystatus in an open state in wireless communication system
US20070147226A1 (en) * 2005-10-27 2007-06-28 Aamod Khandekar Method and apparatus for achieving flexible bandwidth using variable guard bands
US20090305664A1 (en) 2005-10-27 2009-12-10 Qualcomm Incorporated method and apparatus for attempting access in wireless communication systems
JP4919648B2 (ja) * 2005-10-31 2012-04-18 株式会社日立国際電気 無線端末管理システム
US20070103566A1 (en) * 2005-11-09 2007-05-10 Naveen Aerrabotu Methods and devices for image and ancillary data capture and output
JP2007142565A (ja) * 2005-11-15 2007-06-07 Olympus Imaging Corp 撮像装置及びその撮像方法
JP4921486B2 (ja) 2005-11-30 2012-04-25 シーイング・マシーンズ・プロプライエタリー・リミテッド 視覚的に頭と目を追跡するシステムにおける眼鏡の視覚的追跡
JP4640155B2 (ja) 2005-12-15 2011-03-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7664760B2 (en) * 2005-12-22 2010-02-16 Microsoft Corporation Inferred relationships from user tagged content
JP4367424B2 (ja) * 2006-02-21 2009-11-18 沖電気工業株式会社 個人識別装置,個人識別方法
JP4466585B2 (ja) * 2006-02-21 2010-05-26 セイコーエプソン株式会社 対象物が表現された画像の数の算出
US9690979B2 (en) 2006-03-12 2017-06-27 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US8571272B2 (en) 2006-03-12 2013-10-29 Google Inc. Techniques for enabling or establishing the use of face recognition algorithms
US7797019B2 (en) * 2006-03-29 2010-09-14 Research In Motion Limited Shared image database with geographic navigation
US8639028B2 (en) * 2006-03-30 2014-01-28 Adobe Systems Incorporated Automatic stacking based on time proximity and visual similarity
US7920745B2 (en) * 2006-03-31 2011-04-05 Fujifilm Corporation Method and apparatus for performing constrained spectral clustering of digital image data
US20070237364A1 (en) * 2006-03-31 2007-10-11 Fuji Photo Film Co., Ltd. Method and apparatus for context-aided human identification
US7864989B2 (en) * 2006-03-31 2011-01-04 Fujifilm Corporation Method and apparatus for adaptive context-aided human classification
US8996983B2 (en) * 2006-05-09 2015-03-31 Koninklijke Philips N.V. Device and a method for annotating content
EP2048615A4 (en) * 2006-07-27 2009-08-05 Panasonic Corp AUTHENTICATION APPARATUS AND METHOD FOR DISPLAYING AN IMAGE FOR AUTHENTICATION
US8073263B2 (en) 2006-07-31 2011-12-06 Ricoh Co., Ltd. Multi-classifier selection and monitoring for MMR-based image recognition
US8676810B2 (en) 2006-07-31 2014-03-18 Ricoh Co., Ltd. Multiple index mixed media reality recognition using unequal priority indexes
US8201076B2 (en) 2006-07-31 2012-06-12 Ricoh Co., Ltd. Capturing symbolic information from documents upon printing
US8489987B2 (en) 2006-07-31 2013-07-16 Ricoh Co., Ltd. Monitoring and analyzing creation and usage of visual content using image and hotspot interaction
US9020966B2 (en) 2006-07-31 2015-04-28 Ricoh Co., Ltd. Client device for interacting with a mixed media reality recognition system
US9063952B2 (en) 2006-07-31 2015-06-23 Ricoh Co., Ltd. Mixed media reality recognition with image tracking
US9176984B2 (en) 2006-07-31 2015-11-03 Ricoh Co., Ltd Mixed media reality retrieval of differentially-weighted links
JP4315175B2 (ja) * 2006-08-10 2009-08-19 日産自動車株式会社 光検出方法および光検出装置
US8233702B2 (en) * 2006-08-18 2012-07-31 Google Inc. Computer implemented technique for analyzing images
JP2008117333A (ja) * 2006-11-08 2008-05-22 Sony Corp 情報処理装置、情報処理方法、個人識別装置、個人識別装置における辞書データ生成・更新方法および辞書データ生成・更新プログラム
WO2008091813A2 (en) * 2007-01-25 2008-07-31 Mitsubishi Electric Research Laboratories, Inc. Method and system for marking scenes and images of scenes with optical tags
US8515460B2 (en) 2007-02-12 2013-08-20 Microsoft Corporation Tagging data utilizing nearby device information
JP2008198135A (ja) * 2007-02-15 2008-08-28 Sony Corp 情報配信システム、情報配信装置および情報配信方法
US20080201327A1 (en) * 2007-02-20 2008-08-21 Ashoke Seth Identity match process
JP4639208B2 (ja) * 2007-03-16 2011-02-23 富士フイルム株式会社 画像選択装置、画像選択方法、撮像装置及びプログラム
JP2008244903A (ja) * 2007-03-28 2008-10-09 Casio Comput Co Ltd 撮像装置、制御プログラム及び表示制御方法
US20080251575A1 (en) * 2007-04-13 2008-10-16 Yourday, Inc. System for capturing and managing personalized video images over an ip-based control and data local area network
KR101417769B1 (ko) * 2007-04-16 2014-08-07 삼성전자주식회사 통신 단말기의 사용자 컨텐츠 관리 방법
US20080259183A1 (en) * 2007-04-23 2008-10-23 David Edward Hunter Photo-vend
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US8027537B1 (en) 2007-05-18 2011-09-27 The United States Of America As Represented By The Secretary Of The Air Force Visual object identification by computational majority voting
US20120239458A9 (en) * 2007-05-18 2012-09-20 Global Rainmakers, Inc. Measuring Effectiveness of Advertisements and Linking Certain Consumer Activities Including Purchases to Other Activities of the Consumer
US8351659B2 (en) * 2007-06-14 2013-01-08 Cubic Corporation Eye detection system
KR101378372B1 (ko) * 2007-07-12 2014-03-27 삼성전자주식회사 디지털 이미지 처리장치, 그 제어방법 및 제어방법을실행시키기 위한 프로그램을 저장한 기록매체
KR101428715B1 (ko) * 2007-07-24 2014-08-11 삼성전자 주식회사 인물 별로 디지털 컨텐츠를 분류하여 저장하는 시스템 및방법
US8416981B2 (en) 2007-07-29 2013-04-09 Google Inc. System and method for displaying contextual supplemental content based on image content
EP2023266B1 (en) 2007-08-01 2012-10-03 Ricoh Company, Ltd. Searching media content for objects specified using identifiers
US8144944B2 (en) 2007-08-14 2012-03-27 Olympus Corporation Image sharing system and method
KR101456482B1 (ko) * 2007-08-20 2014-10-31 삼성전자주식회사 이미지 인쇄 방법 및 상기 방법에 따른 인쇄 장치
US20090080707A1 (en) * 2007-09-20 2009-03-26 Mr. GORAN DJURIC Biometric camera authentication
US20090103909A1 (en) * 2007-10-17 2009-04-23 Live Event Media, Inc. Aerial camera support structure
US9270950B2 (en) * 2008-01-03 2016-02-23 International Business Machines Corporation Identifying a locale for controlling capture of data by a digital life recorder based on location
US9164995B2 (en) * 2008-01-03 2015-10-20 International Business Machines Corporation Establishing usage policies for recorded events in digital life recording
US8014573B2 (en) * 2008-01-03 2011-09-06 International Business Machines Corporation Digital life recording and playback
US7894639B2 (en) * 2008-01-03 2011-02-22 International Business Machines Corporation Digital life recorder implementing enhanced facial recognition subsystem for acquiring a face glossary data
US8005272B2 (en) * 2008-01-03 2011-08-23 International Business Machines Corporation Digital life recorder implementing enhanced facial recognition subsystem for acquiring face glossary data
US9105298B2 (en) * 2008-01-03 2015-08-11 International Business Machines Corporation Digital life recorder with selective playback of digital video
US7814061B2 (en) 2008-01-24 2010-10-12 Eastman Kodak Company Method for preserving privacy with image capture
US8555207B2 (en) 2008-02-27 2013-10-08 Qualcomm Incorporated Enhanced input using recognized gestures
US9143573B2 (en) 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
WO2009116049A2 (en) 2008-03-20 2009-09-24 Vizi Labs Relationship mapping employing multi-dimensional context including facial recognition
US8055081B2 (en) * 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
NL1035430C2 (nl) * 2008-05-17 2009-11-18 Photonic B V Werkwijze en systeem voor fotoidentificatie en distributie.
US8284990B2 (en) * 2008-05-21 2012-10-09 Honeywell International Inc. Social network construction based on data association
US20100070529A1 (en) * 2008-07-14 2010-03-18 Salih Burak Gokturk System and method for using supplemental content items for search criteria for identifying other content items of interest
EP2146289A1 (en) * 2008-07-16 2010-01-20 Visionware B.V.B.A. Capturing, storing and individualizing images
US10909400B2 (en) 2008-07-21 2021-02-02 Facefirst, Inc. Managed notification system
US9721167B2 (en) 2008-07-21 2017-08-01 Facefirst, Inc. Biometric notification system
US10043060B2 (en) 2008-07-21 2018-08-07 Facefirst, Inc. Biometric notification system
US9141863B2 (en) 2008-07-21 2015-09-22 Facefirst, Llc Managed biometric-based notification system and method
US9405968B2 (en) 2008-07-21 2016-08-02 Facefirst, Inc Managed notification system
US10929651B2 (en) 2008-07-21 2021-02-23 Facefirst, Inc. Biometric notification system
US8208695B2 (en) 2008-09-25 2012-06-26 Cyberlink Corp. Systems and methods for performing image clustering
US8270682B2 (en) * 2008-11-25 2012-09-18 Eastman Kodak Company Hair segmentation
JP2010134785A (ja) * 2008-12-05 2010-06-17 Toshiba Corp 顔認証を利用した情報処理方法および情報表示装置
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US9727312B1 (en) 2009-02-17 2017-08-08 Ikorongo Technology, LLC Providing subject information regarding upcoming images on a display
US9210313B1 (en) 2009-02-17 2015-12-08 Ikorongo Technology, LLC Display device content selection through viewer identification and affinity prediction
US10706601B2 (en) 2009-02-17 2020-07-07 Ikorongo Technology, LLC Interface for receiving subject affinity information
US20120238863A1 (en) * 2009-02-19 2012-09-20 Chun-Leon Chen Digital Image Storage System and Human Body Data Matching Algorithm for Medical Aesthetic Application
US8698920B2 (en) * 2009-02-24 2014-04-15 Olympus Imaging Corp. Image display apparatus and image display method
KR101634228B1 (ko) * 2009-03-17 2016-06-28 삼성전자주식회사 디지털 이미지 처리장치, 추적방법, 추적방법을 실행시키기위한 프로그램을 저장한 기록매체 및 추적방법을 채용한 디지털 이미지 처리장치
US20120047087A1 (en) 2009-03-25 2012-02-23 Waldeck Technology Llc Smart encounters
US20110044512A1 (en) * 2009-03-31 2011-02-24 Myspace Inc. Automatic Image Tagging
JP2010259064A (ja) * 2009-04-03 2010-11-11 Olympus Imaging Corp 表示装置及び撮像装置
US20100266155A1 (en) * 2009-04-15 2010-10-21 Picateers, Inc. Method and Apparatus for Assembling a Targeted Set of Photographs
DE102009023306A1 (de) * 2009-05-29 2010-12-09 Siemens Aktiengesellschaft Verfahren zum rechnergestützten Erkennen der Identität eines Objekts
US8385660B2 (en) 2009-06-24 2013-02-26 Ricoh Co., Ltd. Mixed media reality indexing and retrieval for repeated content
JP5319433B2 (ja) * 2009-07-16 2013-10-16 エンパイア テクノロジー ディベロップメント エルエルシー 撮影システム、移動体、撮影制御方法
US20120135744A1 (en) 2009-07-21 2012-05-31 Kota Enterprises, Llc Systems and methods for generating and managing communication rules associated with geographic locations
JP5218989B2 (ja) 2009-08-07 2013-06-26 Necカシオモバイルコミュニケーションズ株式会社 通信端末装置、及び、プログラム
US8332281B2 (en) 2009-09-02 2012-12-11 Image Holdings Method of displaying, managing and selling images in an event photography environment
WO2011033386A1 (en) * 2009-09-16 2011-03-24 Image Holdings Method and system of displaying, managing and selling images in an event photography environment
US8251597B2 (en) * 2009-10-16 2012-08-28 Wavecam Media, Inc. Aerial support structure for capturing an image of a target
US8352856B2 (en) * 2009-11-11 2013-01-08 Xerox Corporation Systems and methods to resize document content
KR101185243B1 (ko) * 2009-12-15 2012-09-21 삼성전자주식회사 얼굴 인식을 위한 복수의 얼굴 이미지를 등록하기 위한 장치 및 방법
JP5840951B2 (ja) * 2009-12-17 2016-01-06 レノボ・イノベーションズ・リミテッド(香港) 通信装置、電子メール作成方法
JP2011128992A (ja) * 2009-12-18 2011-06-30 Canon Inc 情報処理装置およびその処理方法
US8305433B2 (en) 2009-12-23 2012-11-06 Motorola Mobility Llc Method and device for visual compensation
US9875719B2 (en) * 2009-12-23 2018-01-23 Gearbox, Llc Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US20110211739A1 (en) * 2009-12-23 2011-09-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US20110150297A1 (en) * 2009-12-23 2011-06-23 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US8712110B2 (en) * 2009-12-23 2014-04-29 The Invention Science Fund I, LC Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US20110211738A1 (en) * 2009-12-23 2011-09-01 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US20110150298A1 (en) * 2009-12-23 2011-06-23 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US20110150295A1 (en) * 2009-12-23 2011-06-23 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US20110206245A1 (en) * 2009-12-23 2011-08-25 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US20110150299A1 (en) * 2009-12-23 2011-06-23 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying a characteristic of an individual utilizing facial recognition and providing a display for the individual
US9253447B2 (en) * 2009-12-29 2016-02-02 Kodak Alaris Inc. Method for group interactivity
US9179102B2 (en) * 2009-12-29 2015-11-03 Kodak Alaris Inc. Group display system
US9319640B2 (en) * 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
US9038543B2 (en) * 2010-01-21 2015-05-26 Maurer Soehne Gmbh & Co. Kg Amusement ride comprising a facial expression recognition system
EP2528034B1 (en) * 2010-01-22 2019-03-06 Panasonic Intellectual Property Corporation of America Image management device, image management method, program, recording medium, and integrated circuit
JP5110098B2 (ja) * 2010-02-08 2012-12-26 カシオ計算機株式会社 表示処理装置、及び、プログラム
US9465993B2 (en) * 2010-03-01 2016-10-11 Microsoft Technology Licensing, Llc Ranking clusters based on facial image analysis
TW201808357A (zh) * 2010-03-22 2018-03-16 賽諾菲阿凡提斯德意志有限公司 用於判定與醫療裝置有關的資訊之裝置、方法、系統及電腦程式
US8630494B1 (en) 2010-09-01 2014-01-14 Ikorongo Technology, LLC Method and system for sharing image content based on collection proximity
WO2012061824A1 (en) * 2010-11-05 2012-05-10 Myspace, Inc. Image auto tagging method and application
WO2012073263A1 (en) * 2010-12-01 2012-06-07 Dedem Automatica S.R.L. Photo/video apparatus
KR20120064581A (ko) * 2010-12-09 2012-06-19 한국전자통신연구원 영상 분류 방법 및 이를 위한 장치
CN102592564B (zh) * 2011-01-14 2016-04-20 富泰华工业(深圳)有限公司 电子设备及其显示控制方法
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
US8903198B2 (en) 2011-06-03 2014-12-02 International Business Machines Corporation Image ranking based on attribute correlation
US8831294B2 (en) * 2011-06-17 2014-09-09 Microsoft Corporation Broadcast identifier enhanced facial recognition of images
US9536132B2 (en) * 2011-06-24 2017-01-03 Apple Inc. Facilitating image capture and image review by visually impaired users
US9058331B2 (en) 2011-07-27 2015-06-16 Ricoh Co., Ltd. Generating a conversation in a social network based on visual search results
US9195679B1 (en) 2011-08-11 2015-11-24 Ikorongo Technology, LLC Method and system for the contextual display of image tags in a social network
US9573541B2 (en) * 2011-12-29 2017-02-21 Intel Corporation Systems, methods, and apparatus for identifying an occupant of a vehicle
US9336442B2 (en) * 2012-01-18 2016-05-10 Intellectual Ventures Fund 83 Llc Selecting images using relationship weights
US8668136B2 (en) * 2012-03-01 2014-03-11 Trimble Navigation Limited Method and system for RFID-assisted imaging
US9092675B2 (en) 2012-03-29 2015-07-28 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9275285B2 (en) 2012-03-29 2016-03-01 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8660307B2 (en) 2012-03-29 2014-02-25 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8761442B2 (en) 2012-03-29 2014-06-24 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8666123B2 (en) * 2012-04-26 2014-03-04 Google Inc. Creating social network groups
US8855369B2 (en) 2012-06-22 2014-10-07 Microsoft Corporation Self learning face recognition using depth based tracking for database generation and update
JP5915457B2 (ja) 2012-08-23 2016-05-11 ソニー株式会社 制御システムおよびプログラム
JP6028457B2 (ja) * 2012-08-24 2016-11-16 ソニー株式会社 端末装置、サーバ及びプログラム
US20140105466A1 (en) * 2012-10-16 2014-04-17 Ocean Images UK Ltd. Interactive photography system and method employing facial recognition
JP5554388B2 (ja) * 2012-10-31 2014-07-23 オリンパスイメージング株式会社 画像取得装置、画像取扱方法および画像取扱のためのプログラム
US8897556B2 (en) 2012-12-17 2014-11-25 Adobe Systems Incorporated Photo chapters organization
US8983150B2 (en) 2012-12-17 2015-03-17 Adobe Systems Incorporated Photo importance determination
WO2014111337A1 (en) 2013-01-15 2014-07-24 Sanofi-Aventis Deutschland Gmbh Supplemental device for attachment to a medical injection device for generating usage reports about use of the injection device in digital image format
US9110943B2 (en) * 2013-01-31 2015-08-18 Google Inc. Identifying an image for an entity
US9092697B2 (en) * 2013-02-07 2015-07-28 Raytheon Company Image recognition system and method for identifying similarities in different images
US9294712B2 (en) 2013-03-20 2016-03-22 Google Inc. Interpolated video tagging
JP6127676B2 (ja) * 2013-04-12 2017-05-17 オムロン株式会社 画像認識装置、画像認識プログラム、記録媒体、および画像認識方法
JP2014207110A (ja) * 2013-04-12 2014-10-30 株式会社日立ハイテクノロジーズ 観察装置および観察方法
WO2015026874A1 (en) * 2013-08-19 2015-02-26 Nant Holdings Ip, Llc Metric based recognition, systems and methods
US9405964B1 (en) * 2013-09-09 2016-08-02 Amazon Technologies, Inc. Processes for generating content sharing recommendations based on image content analysis
US9338242B1 (en) 2013-09-09 2016-05-10 Amazon Technologies, Inc. Processes for generating content sharing recommendations
US9531823B1 (en) 2013-09-09 2016-12-27 Amazon Technologies, Inc. Processes for generating content sharing recommendations based on user feedback data
US9367939B2 (en) * 2013-10-22 2016-06-14 Nokia Technologies Oy Relevance based visual media item modification
US9936114B2 (en) 2013-10-25 2018-04-03 Elwha Llc Mobile device for requesting the capture of an image
CN103914904A (zh) * 2013-10-30 2014-07-09 北京安捷天盾科技发展有限公司 人脸识别排号机
US10243753B2 (en) 2013-12-19 2019-03-26 Ikorongo Technology, LLC Methods for sharing images captured at an event
US9305418B2 (en) * 2014-04-28 2016-04-05 Prescient Logistics, Llc Vending machine for scrubs with time expiring badges and related methods
US9398213B1 (en) 2014-07-11 2016-07-19 ProSports Technologies, LLC Smart field goal detector
US9305441B1 (en) 2014-07-11 2016-04-05 ProSports Technologies, LLC Sensor experience shirt
US9474933B1 (en) 2014-07-11 2016-10-25 ProSports Technologies, LLC Professional workout simulator
US9610491B2 (en) 2014-07-11 2017-04-04 ProSports Technologies, LLC Playbook processor
WO2016007970A1 (en) 2014-07-11 2016-01-14 ProSports Technologies, LLC Whistle play stopper
US9724588B1 (en) 2014-07-11 2017-08-08 ProSports Technologies, LLC Player hit system
US10264175B2 (en) * 2014-09-09 2019-04-16 ProSports Technologies, LLC Facial recognition for event venue cameras
US20170255820A1 (en) * 2014-09-16 2017-09-07 Jiwen Liu Identification of individuals in images and associated content delivery
JP6208104B2 (ja) * 2014-09-16 2017-10-04 株式会社日立製作所 生体認証システム、生体認証処理装置、生体認証方法、生体情報取得端末および情報端末
US9607653B2 (en) * 2014-10-10 2017-03-28 Synchronoss Technologies, Inc. Apparatus, system and method of authomatically creating an age progression video
US10216765B2 (en) * 2014-10-28 2019-02-26 Here Global B.V. Image based routing and confirmation
CN105591763B (zh) * 2014-11-18 2019-05-21 华为终端(东莞)有限公司 一种分发照片的方法及终端
TWI661958B (zh) * 2015-02-04 2019-06-11 英屬開曼群島商鴻騰精密科技股份有限公司 免電源智能鑰匙、車輛解鎖系統及車輛解鎖方法
CN104852967B (zh) * 2015-04-21 2018-03-27 小米科技有限责任公司 图片共享方法及装置
US10129582B2 (en) 2015-06-30 2018-11-13 Kempt, LLC Systems, methods, and computer program products for capturing spectator content displayed at live events
JP6573193B2 (ja) * 2015-07-03 2019-09-11 パナソニックIpマネジメント株式会社 判定装置、判定方法、および判定プログラム
US10094655B2 (en) 2015-07-15 2018-10-09 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition and video analytics to identify individuals in contextual video streams
CN108027827B (zh) 2015-07-16 2022-06-10 彭冯有限公司 基于图像分析的协调通信和/或存储
US9704245B2 (en) * 2015-08-18 2017-07-11 International Business Machines Corporation Determining localization from images of a vicinity
EP3365838A4 (en) 2015-10-21 2019-08-28 15 Seconds Of Fame, Inc. METHODS AND APPARATUS FOR MINIMIZING FALSE POSITIVES IN FACIAL RECOGNITION APPLICATIONS
US10339193B1 (en) * 2015-11-24 2019-07-02 Google Llc Business change detection from street level imagery
US20170161529A1 (en) * 2015-12-03 2017-06-08 Checkpoint Systems, Inc. Object recognition encoder
US10410045B2 (en) * 2016-03-23 2019-09-10 Intel Corporation Automated facial recognition systems and methods
JP6393360B2 (ja) * 2016-05-11 2018-09-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 撮影制御方法、撮影制御システム及び撮影制御サーバ
JP2018055248A (ja) * 2016-09-27 2018-04-05 ソニー株式会社 情報収集システム、電子棚札、電子pop、文字情報表示装置
US10311288B1 (en) * 2017-03-24 2019-06-04 Stripe, Inc. Determining identity of a person in a digital image
CN108665793A (zh) * 2017-03-30 2018-10-16 鸿富锦精密电子(天津)有限公司 移动式广告装置、广告播放系统及方法
US11659273B2 (en) 2017-06-22 2023-05-23 Nec Corporation Information processing apparatus, information processing method, and non-transitory storage medium
US10880465B1 (en) 2017-09-21 2020-12-29 IkorongoTechnology, LLC Determining capture instructions for drone photography based on information received from a social network
US11563888B2 (en) * 2017-09-25 2023-01-24 Hanwha Techwin Co., Ltd. Image obtaining and processing apparatus including beacon sensor
US10387487B1 (en) 2018-01-25 2019-08-20 Ikorongo Technology, LLC Determining images of interest based on a geographical location
US11064102B1 (en) 2018-01-25 2021-07-13 Ikorongo Technology, LLC Venue operated camera system for automated capture of images
CN108596735A (zh) * 2018-04-28 2018-09-28 北京旷视科技有限公司 信息推送方法、装置及系统
US10936856B2 (en) 2018-08-31 2021-03-02 15 Seconds of Fame, Inc. Methods and apparatus for reducing false positives in facial recognition
CN109522846B (zh) * 2018-11-19 2020-08-14 深圳博为教育科技有限公司 一种起立监测方法、装置、服务器及起立监测系统
US10769399B2 (en) * 2018-12-18 2020-09-08 Zebra Technologies Corporation Method for improper product barcode detection
US11010596B2 (en) 2019-03-07 2021-05-18 15 Seconds of Fame, Inc. Apparatus and methods for facial recognition systems to identify proximity-based connections
US11423694B2 (en) * 2019-06-19 2022-08-23 Samsung Electronics Company, Ltd. Methods and systems for dynamic and incremental face recognition
US11283937B1 (en) 2019-08-15 2022-03-22 Ikorongo Technology, LLC Sharing images based on face matching in a network
CN110990607B (zh) * 2019-11-25 2023-07-18 成都市喜爱科技有限公司 游玩照片筛选方法、装置、服务器和计算机可读存储介质
CN111080917B (zh) * 2019-12-04 2021-12-17 万翼科技有限公司 物品自助借还方法及相关设备
CN111008971B (zh) * 2019-12-24 2023-06-13 天津工业大学 一种合影图像的美学质量评价方法及实时拍摄指导系统
US11341351B2 (en) 2020-01-03 2022-05-24 15 Seconds of Fame, Inc. Methods and apparatus for facial recognition on a user device
US11057533B1 (en) * 2020-03-31 2021-07-06 Kyocera Document Solutions Inc. Image forming apparatus and image forming method for inferring and responding to target operator situation
US20210342616A1 (en) * 2020-04-29 2021-11-04 Universal City Studios Llc Identification systems and methods for a user interactive device
IT202000013630A1 (it) * 2020-06-08 2021-12-08 Pica Group S P A Metodo di accesso a contenuto multimediale
CN115457693A (zh) * 2020-06-15 2022-12-09 支付宝(杭州)信息技术有限公司 用户的排队方法、装置、刷脸设备和业务服务器
CN111898521A (zh) * 2020-07-28 2020-11-06 海南中金德航科技股份有限公司 人脸图像识别检索系统
CN112784680B (zh) * 2020-12-23 2024-02-02 中国人民大学 一种人流密集场所锁定密集接触者的方法和系统
US11823476B2 (en) 2021-05-25 2023-11-21 Bank Of America Corporation Contextual analysis for digital image processing
US20230161852A1 (en) * 2021-11-19 2023-05-25 Hand Held Products, Inc. Apparatuses, computer-implemented methods, and computer program products for improved identity verification using sensor data processing

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2375113A (en) 1942-01-21 1945-05-01 W M Ritter Lumber Company Method of applying finishes to the surfaces of wood or other porous materials
US2852407A (en) 1956-02-27 1958-09-16 Millville Mfg Company Method and apparatus for forming a textile material with an adhesive type selvage
US2944586A (en) 1956-04-20 1960-07-12 Lowe Paper Co Extrusion coating apparatus
US4991205A (en) 1962-08-27 1991-02-05 Lemelson Jerome H Personal identification system and method
US3281259A (en) 1963-08-19 1966-10-25 Haveg Industries Inc Process of rendering surface of polyethylene foam sheet printable
US4097893A (en) 1966-04-25 1978-06-27 Iit Research Institute Portable video recording system employing camera and recording stations connected by wireless links
US3570748A (en) 1966-06-29 1971-03-16 Standard Packaging Corp Composite film and method
US3498865A (en) 1967-03-27 1970-03-03 Int Paper Co Method of coating paper
US3551199A (en) 1967-11-20 1970-12-29 Exxon Research Engineering Co Wire coating composition and microwave heating curing process
US3924013A (en) 1972-08-18 1975-12-02 Du Pont Method of cooking food in a polythylene terephthalate/paperboard laminated container
US3911173A (en) 1973-02-05 1975-10-07 Usm Corp Adhesive process
US3944453A (en) 1974-07-05 1976-03-16 Imperial-Eastman Corporation Hose construction
GB1489635A (en) 1975-03-03 1977-10-26 Toyo Seikan Kaisha Ltd Packaging materials
SE415006B (sv) 1978-03-07 1980-09-01 Asea Ab Sett att anbringaen isolering av tverbunden polymer pa en kabelledare
US4390387A (en) 1981-06-16 1983-06-28 Mahn John E Flocked material having first thermosetting adhesive layer and second thermoplastic adhesive layer
US4484971A (en) 1982-06-24 1984-11-27 General Binding Corporation Method and apparatus for making improved laminating film
JPS5979753A (ja) 1982-10-29 1984-05-09 呉羽化学工業株式会社 熱収縮性複合フイルム及びその製造方法
JPS59136253A (ja) 1983-01-26 1984-08-04 東洋製罐株式会社 多層プラスチツク積層構造物
JPS60214931A (ja) 1984-04-10 1985-10-28 Toyota Motor Corp 異種合成樹脂材料の接合方法
US4559095A (en) 1984-06-07 1985-12-17 The B. F. Goodrich Company Vulcanization of hose composites protected with thermoplastic jackets
IT1179061B (it) 1984-08-20 1987-09-16 Fiat Auto Spa Procedimento per l'effettuazione di un trattamento su pezzi metallici con l'aggiunta di un materiale d'apporto e con l'impiego di un laser di potenza
US4931125A (en) 1985-06-18 1990-06-05 The Dow Chemical Company Method for adhesive bonding with pretreatment of components
US4791598A (en) 1987-03-24 1988-12-13 Bell Communications Research, Inc. Two-dimensional discrete cosine transform processor
US4861404A (en) 1987-08-28 1989-08-29 Hunter Douglas Inc. Method of making a honeycomb product
US4916532A (en) 1987-09-15 1990-04-10 Jerry R. Iggulden Television local wireless transmission and control
US4941193A (en) 1987-10-02 1990-07-10 Iterated Systems, Inc. Methods and apparatus for image compression by iterated function system
JPH01202633A (ja) 1988-02-08 1989-08-15 Minolta Camera Co Ltd 放射温度計
US4902378A (en) 1988-04-27 1990-02-20 Minnesota Mining And Manufacturing Company Polymer with reduced internal migration
GB2218668A (en) 1988-05-17 1989-11-22 Courtaulds Films & Packaging L Multilayer polymeric films
US4936938A (en) 1988-07-27 1990-06-26 Mineral Fiber Manufacturing Corporation Process of making roofing material
US5132922A (en) 1989-01-12 1992-07-21 Massachusetts Institute Of Technology Emissivity independent multiwavelength pyrometer
EP0382550B1 (en) 1989-02-09 1998-08-26 Canon Kabushiki Kaisha Electronic filing apparatus
US5056034A (en) 1989-11-20 1991-10-08 Nordson Corporation Method and apparatus for controlling the gas content of foam materials
JPH0649091B2 (ja) 1990-01-19 1994-06-29 ヤマハ株式会社 スキー用ソール材およびその製法
US5213900A (en) 1990-03-23 1993-05-25 W. R. Grace & Co.-Conn. Cook-in film with improved seal strength
US5164992A (en) 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5321396A (en) 1991-02-07 1994-06-14 Xerox Corporation Indexing of audio/video data
US5448375A (en) 1992-03-20 1995-09-05 Xerox Corporation Method and system for labeling a document for storage, manipulation, and retrieval
US5549943A (en) 1992-09-23 1996-08-27 Viskase Corporation Heat shrinkable nylon food casing with a polyolefin core layer
US5432864A (en) * 1992-10-05 1995-07-11 Daozheng Lu Identification card verification system
US5550928A (en) 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
US5326173A (en) 1993-01-11 1994-07-05 Alcan International Limited Apparatus and method for remote temperature measurement
US5348604A (en) 1993-01-29 1994-09-20 Neff Craig A Method and apparatus for applying a heated composition to a substrate
EP0616302B1 (en) 1993-02-19 1999-06-23 Mitsubishi Jukogyo Kabushiki Kaisha Electronic traffic tariff reception system
DE69415449T2 (de) 1993-09-21 1999-06-02 Sumitomo Chemical Co Mehrschichtige Folie und Verfahren zu ihrer Herstellung
JP3528214B2 (ja) * 1993-10-21 2004-05-17 株式会社日立製作所 画像表示方法及び装置
US5381155A (en) 1993-12-08 1995-01-10 Gerber; Eliot S. Vehicle speeding detection and identification
JPH07261279A (ja) 1994-02-25 1995-10-13 Eastman Kodak Co 写真画像の選択システム及び方法
US5576838A (en) * 1994-03-08 1996-11-19 Renievision, Inc. Personal video capture system
JP3275620B2 (ja) 1994-04-13 2002-04-15 トヨタ自動車株式会社 自動課金システム
US5493677A (en) 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US5566327A (en) 1994-07-08 1996-10-15 Sehr; Richard P. Computerized theme park information management system utilizing partitioned smart cards and biometric verification
US5629981A (en) * 1994-07-29 1997-05-13 Texas Instruments Incorporated Information management and security system
US5572596A (en) 1994-09-02 1996-11-05 David Sarnoff Research Center, Inc. Automated, non-invasive iris recognition system and method
US5598208A (en) 1994-09-26 1997-01-28 Sony Corporation Video viewing and recording system
US5699449A (en) 1994-11-14 1997-12-16 The University Of Connecticut Method and apparatus for implementation of neural networks for face recognition
US5840147A (en) 1995-06-07 1998-11-24 Edison Welding Institute Plastic joining method
US5947369A (en) * 1995-09-21 1999-09-07 Temtec, Inc. Electronic time badge
US6217695B1 (en) 1996-05-06 2001-04-17 Wmw Systems, Llc Method and apparatus for radiation heating substrates and applying extruded material
US5802208A (en) 1996-05-06 1998-09-01 Lucent Technologies Inc. Face recognition using DCT-based feature vectors
EP1004225A4 (en) 1996-05-06 2000-10-11 David A Goldberg METHOD FOR RADIATING HEATING OF A SUBSTRATE AND APPLYING AN EXTRUSION MATERIAL
US6430307B1 (en) 1996-06-18 2002-08-06 Matsushita Electric Industrial Co., Ltd. Feature extraction system and face image recognition system
US6819783B2 (en) 1996-09-04 2004-11-16 Centerframe, Llc Obtaining person-specific images in a public venue
EP1016002A4 (en) * 1996-09-04 2000-11-15 David A Goldberg METHOD AND DEVICE FOR PRODUCING PERSONAL-SPECIFIC IMAGES IN A PUBLIC SPACE
US20030118216A1 (en) 1996-09-04 2003-06-26 Goldberg David A. Obtaining person-specific images in a public venue
US6108437A (en) 1997-11-14 2000-08-22 Seiko Epson Corporation Face recognition apparatus, method, system and computer readable medium thereof
CA2312315A1 (en) 1997-12-01 1999-06-10 Arsev H. Eraslan Three-dimensional face identification system
JPH11250071A (ja) * 1998-02-26 1999-09-17 Minolta Co Ltd 画像データベースの構築方法および画像データベース装置並びに画像情報記憶媒体
US7130454B1 (en) 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
US6389181B2 (en) 1998-11-25 2002-05-14 Eastman Kodak Company Photocollage generation and modification using image recognition
US6408301B1 (en) * 1999-02-23 2002-06-18 Eastman Kodak Company Interactive image storage, indexing and retrieval system
US6985887B1 (en) * 1999-03-19 2006-01-10 Suncrest Llc Apparatus and method for authenticated multi-user personal information database
JP3992909B2 (ja) 2000-07-03 2007-10-17 富士フイルム株式会社 本人画像提供システム
WO2002019137A1 (en) 2000-08-29 2002-03-07 Imageid Ltd. Indexing, storage & retrieval of digital images
US7346186B2 (en) * 2001-01-30 2008-03-18 Nice Systems Ltd Video and audio content analysis system

Also Published As

Publication number Publication date
CA2515226A1 (en) 2004-08-26
EP1597694A2 (en) 2005-11-23
JP2006523334A (ja) 2006-10-12
US7561723B2 (en) 2009-07-14
EP1597694A4 (en) 2013-05-29
AU2004211756A1 (en) 2004-08-26
US20070003113A1 (en) 2007-01-04
WO2004072897A3 (en) 2004-10-28
US6819783B2 (en) 2004-11-16
WO2004072897A2 (en) 2004-08-26
US20040156535A1 (en) 2004-08-12

Similar Documents

Publication Publication Date Title
JP4347882B2 (ja) 特定の電子画像をユーザに配布する方法
US20030118216A1 (en) Obtaining person-specific images in a public venue
US6526158B1 (en) Method and system for obtaining person-specific images in a public venue
US20210241607A1 (en) Methods and systems for content processing
US9918183B2 (en) Methods and systems for content processing
KR101680044B1 (ko) 콘텐트 처리를 위한 방법들 및 시스템들
CN111177451B (zh) 基于人脸识别的旅游景区相册自动生成系统及方法
US8462224B2 (en) Image retrieval
US8712168B2 (en) Image sorting device, method, program, and integrated circuit and storage medium storing said program
US20020001468A1 (en) Image collecting system and method thereof
JP2003533805A (ja) スポーツ記念品のような唯一の物品を証明するための方法及び装置
CN101681428A (zh) 来自图像集合的合成人物模型
JP2006293985A (ja) アルバム作成装置、アルバム作成方法、及びプログラム
JP2011517791A (ja) イベントマーカーとしての装飾
WO2021083004A1 (zh) 照片展示处理方法及装置、视频展示处理方法及装置
JP2010021721A (ja) カメラ
JP2008198135A (ja) 情報配信システム、情報配信装置および情報配信方法
CN109166193A (zh) 基于时间、位置、随机数和条形码的拍照打卡或取证方法
CN1692359A (zh) 一种影像采集系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080319

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090716

R150 Certificate of patent or registration of utility model

Ref document number: 4347882

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term