JP7007022B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP7007022B2
JP7007022B2 JP2019525053A JP2019525053A JP7007022B2 JP 7007022 B2 JP7007022 B2 JP 7007022B2 JP 2019525053 A JP2019525053 A JP 2019525053A JP 2019525053 A JP2019525053 A JP 2019525053A JP 7007022 B2 JP7007022 B2 JP 7007022B2
Authority
JP
Japan
Prior art keywords
image
reference image
information processing
identification information
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019525053A
Other languages
English (en)
Other versions
JPWO2018235318A1 (ja
Inventor
伸明 川瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018235318A1 publication Critical patent/JPWO2018235318A1/ja
Application granted granted Critical
Publication of JP7007022B2 publication Critical patent/JP7007022B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。
特許文献1には、撮像部と、撮像部で撮像されて得られた撮像画像を保存する画像保存部と、撮像部で撮像されて得られた撮像画像から対象物を選択する対象物選択部と、保存されている撮像画像から、上記選択された対象物に応じた撮像画像を抽出する画像抽出部とを備えるカメラが開示されている。
特許文献2には、披露宴等で撮影したスナップ写真の配布を容易に行うための配布用写真作成装置技術が開示されている。当該配布用写真作成装置は、来場者の顔を撮影し、来場者データベースを生成する手段と、来場者に撮影してもらった撮影画像を収集する手段と、来場者データベースと撮影画像の顔領域とを照合し、来場者データベースに含まれる人毎に各々が含まれる上記撮影画像を対応付ける手段と、来場者データベースに含まれる人毎に対応付けられている撮影画像を記録媒体に記録する手段とを有する。
特開2014-53749号公報 特開2009-10576号公報
テーマパーク等の施設において、施設内に設置された複数のカメラで来場者を撮影し、撮影した画像を来場者に提供するサービスが提供される。
例えば、施設側は、撮影した画像を来場者が閲覧できる状態にする。そして、来場者は、閲覧可能な画像の中から所望の画像(例:自身や家族が含まれるもの)を見つけ出し、購入等の手続きを行う。かかるサービスにおいて、次のような課題がある。
複数のカメラで多くの画像を撮影するほど、来場者が購入を希望する画像を提供できる確率が高くなる。一方で、撮影された画像の数が多いほど、その中から所望の画像を見つけ出す来場者の労力が大きくなる。
本発明は、施設内に設置された複数のカメラで生成された画像の中から、各来場者に適した画像を抽出し、提示できるようにすることを課題とする。
本発明によれば、
施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像を記憶する記憶手段と、
記憶された前記提供用画像の閲覧を希望するユーザの動作に応じてカメラによって撮影された当該ユーザの画像を、参照用画像として取得する取得手段と、
前記提供用画像に含まれる顔画像と、前記参照用画像に含まれる顔画像とを照合し、照合結果に基づいて、前記記憶手段から、前記参照用画像に含まれている人を含む前記提供用画像を抽出し、前記参照用画像に複数の人が含まれる場合、前記参照用画像に含まれる複数の人のうち少なくとも2人を含む前記提供用画像を抽出する抽出手段と、
前記抽出手段により抽出された前記提供用画像をディスプレイに表示させる表示制御手段と、
を有する情報処理装置が提供される。
また、本発明によれば、
第1のカメラにより生成された第1の画像を、前記第1のカメラの周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて取得する取得手段と、
複数の第2のカメラにより生成された第2の画像を、複数の前記第2のカメラ各々の周辺に設置され、位置関係が所定条件を満たす1つ又は複数の前記電子タグ又は携帯端末から前記識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて記憶する記憶手段から、前記第1の画像に含まれている人を含むとともに、前記取得手段により取得された前記識別情報を対応付けられている前記第2の画像を抽出する抽出手段と、
を有する情報処理装置が提供される。
また、本発明によれば、
コンピュータが、
施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像を記憶する記憶工程と、
記憶された前記提供用画像の閲覧を希望するユーザの動作に応じてカメラによって撮影された当該ユーザの画像を、参照用画像として取得する取得工程と、
前記提供用画像に含まれる顔画像と、前記参照用画像に含まれる顔画像とを照合し、照合結果に基づいて、前記参照用画像に含まれている人を含む前記提供用画像を抽出し、前記参照用画像に複数の人が含まれる場合、前記参照用画像に含まれる複数の人のうち少なくとも2人を含む前記提供用画像を抽出する抽出工程と、
前記抽出工程で抽出された前記提供用画像をディスプレイに表示させる表示制御工程と、
を実行する情報処理方法が提供される。
また、本発明によれば、
コンピュータを、
施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像を記憶する記憶手段、
記憶された前記提供用画像の閲覧を希望するユーザの動作に応じてカメラによって撮影された当該ユーザの画像を、参照用画像として取得する取得手段、
前記提供用画像に含まれる顔画像と、前記参照用画像に含まれる顔画像とを照合し、照合結果に基づいて、前記記憶手段から、前記参照用画像に含まれている人を含む前記提供用画像を抽出し、前記参照用画像に複数の人が含まれる場合、前記参照用画像に含まれる複数の人のうち少なくとも2人を含む前記提供用画像を抽出する抽出手段、
前記抽出手段により抽出された前記提供用画像をディスプレイに表示させる表示制御手段、
として機能させるプログラムが提供される。
また、本発明によれば、
コンピュータが、
第1のカメラにより生成された第1の画像を、前記第1のカメラの周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて取得する取得工程と、
複数の第2のカメラにより生成された第2の画像を、複数の前記第2のカメラ各々の周辺に設置され、位置関係が所定条件を満たす1つ又は複数の前記電子タグ又は携帯端末から前記識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて記憶する記憶手段から、前記第1の画像に含まれている人を含むとともに、前記取得工程で取得された前記識別情報を対応付けられている前記第2の画像を抽出する抽出工程と、
を実行する情報処理方法が提供される。
また、本発明によれば、
コンピュータを、
第1のカメラにより生成された第1の画像を、前記第1のカメラの周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて取得する取得手段、
複数の第2のカメラにより生成された第2の画像を、複数の前記第2のカメラ各々の周辺に設置され、位置関係が所定条件を満たす1つ又は複数の前記電子タグ又は携帯端末から前記識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて記憶する記憶手段から、前記第1の画像に含まれている人を含むとともに、前記取得手段により取得された前記識別情報を対応付けられている前記第2の画像を抽出する抽出手段、
として機能させるプログラムが提供される。
本発明によれば、施設内に設置された複数のカメラで生成された画像データの中から、各来場者に適した画像データを抽出し、提示できるようになる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の情報処理装置のハードウエア構成の一例を示す図である。 本実施形態の情報処理装置の機能ブロック図の一例である。 本実施形態の情報処理装置の処理の流れの一例を示すフロー図である。 本実施形態の表示装置の外観の一例を模式的に示す図である。 本実施形態の情報処理装置により生成されるデータの一例を模式的に示す図である。 本実施形態の情報処理装置の機能ブロック図の一例である。 本実施形態の情報処理装置の機能ブロック図の一例である。 本実施形態の情報処理装置の処理の流れの一例を示すフロー図である。
<第1の実施形態>
まず、本実施形態の情報処理システムの全体像を説明する。本実施形態の情報処理システムは、テーマパーク、客船等の多数の人が集まる娯楽施設で利用される。
情報処理システムは、複数の提供画像生成用カメラと、記憶手段と、1つ又は複数の閲覧用操作端末と、情報処理装置とを有する。
提供画像生成用カメラは、施設内で楽しんでいる来場者を撮影するためのカメラである。複数の提供画像生成用カメラは、施設内の異なる位置に設置され、施設内に点在する。
記憶手段は、複数の提供画像生成用カメラにより生成された複数の提供用画像を記憶する。
閲覧用操作端末は、施設内で撮影された画像(提供画像生成用カメラで撮影された画像)の閲覧を希望する来場者により操作される端末である。施設内の任意の位置に、1つ又は複数の閲覧用操作端末が設置される。閲覧用操作端末は、参照画像生成用カメラと、ディスプレイと、ユーザ入力を受付ける入力装置(例:タッチパネルディスプレイ、物理ボタン、マイク等)とを有する。
参照画像生成用カメラは、閲覧用操作端末の周辺(閲覧用操作端末を操作する人を撮影可能な場所)に位置し、閲覧用操作端末を操作する人を撮影する。参照画像生成用カメラは、例えば上記ディスプレイの周辺(閲覧用操作端末を操作する人がいる場所)を撮影する。ディスプレイは、施設内で撮影された画像を表示する。入力装置は、来場者から各種入力を受付ける。
情報処理装置は、取得手段と、抽出手段と、表示制御手段とを有する。取得手段は、参照画像生成用カメラにより生成された参照用画像を取得する。抽出手段は、参照用画像に含まれている人を含む提供用画像を記憶手段から抽出する。表示制御手段は、抽出手段により抽出された提供用画像を閲覧用操作端末のディスプレイに表示させる。
なお、情報処理装置の制御に基づき所定の提供用画像を用いて画像をディスプレイに表示した後、閲覧用操作端末は、表示された画像の中から1つ又は複数を購入対象として選択する操作や、画像を受け取るための操作(例:その場でプリントアウト、電子データを所定のメールアドレス宛に送信等の指定)や、支払操作(例:現金の入力、カード決済等)等を受付ける。
このような情報処理システムによれば、施設内に設置された複数のカメラで生成された膨大な画像の中から、各来場者に適した画像(画像解析により、各来場者を含むと判断された画像)を抽出し、提示できるようになる。
なお、本実施形態の情報処理システムが備える提供画像生成用カメラ及び閲覧用操作端末は、従来技術に準じて実現できる。以下、情報処理装置の構成を詳細に説明する。
まず、情報処理装置のハードウエア構成の一例について説明する。本実施形態の情報処理装置が備える各機能部は、任意のコンピュータのCPU(Central Processing Unit)、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット(あらかじめ装置を出荷する段階から格納されているプログラムのほか、CD(Compact Disc)等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる)、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
図1は、本実施形態の情報処理装置のハードウエア構成を例示するブロック図である。図1に示すように、情報処理装置は、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有する。周辺回路4Aには、様々なモジュールが含まれる。なお、情報処理装置は物理的及び/又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が、プロセッサ1A、メモリ2A、入出力インターフェイス3A、周辺回路4A、バス5Aを有してもよい。
バス5Aは、プロセッサ1A、メモリ2A、周辺回路4A及び入出力インターフェイス3Aが相互にデータを送受信するためのデータ伝送路である。プロセッサ1Aは、例えばCPUやGPU(Graphics Processing Unit)などの演算処理装置である。メモリ2Aは、例えばRAM(Random Access Memory)やROM(Read Only Memory)などのメモリである。入出力インターフェイス3Aは、入力装置(例:キーボード、マウス、マイク、物理キー、タッチパネルディスプレイ、コードリーダ等)、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置(例:ディスプレイ、スピーカ、プリンター、メーラ等)、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ1Aは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
次に、情報処理装置の機能構成を説明する。図2及び図6に情報処理装置10の機能ブロック図の一例を示す。図2に示すように、情報処理装置10は、記憶部11と、取得部12と、抽出部13と、表示制御部14とを有する。なお、図6に示すように、情報処理装置10は記憶部11を有さない構成であってもよい。この場合、外部装置が記憶部11を有し、情報処理装置10から記憶部11にアクセス可能に構成される。
記憶部11は、施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像データ(提供用画像)を記憶する。記憶部11は、提供用画像データを撮影日時(日時)及び撮影位置(例:施設内のアトラクション、緯度経度等)と対応付けて記憶してもよい。
なお、図示しないが、情報処理装置10は、画像データに対して画像解析を行う画像解析手段を有する。画像解析手段は、提供用画像データに対して画像解析を行うことで人を検出し、検出された人を含む領域の画像から特徴量を抽出する。画像解析手段は、人の特定の部位、例えば人の顔を検出し、検出された顔を含む領域の画像データから特徴量を抽出しても良い。なお、本明細書では、画像解析により人が検出される画像(又は画像データ)を、人を含む画像(又は画像データ)と表現する場合がある。記憶部11は、各提供用画像データに対応付けて、各提供用画像データから抽出された特徴量を記憶してもよい。
取得部12は、参照画像生成用カメラにより生成された参照用画像データ(参照用画像)を取得する。
抽出部13は、記憶部11から、参照用画像データに含まれている人を含む提供用画像データを抽出する。
例えば、上述した画像解析手段は、参照用画像データに対して画像解析を行い、画像に含まれる人を検出し、検出された人を含む領域の画像から特徴量を抽出する。そして、抽出部13は、参照用画像データから抽出された特徴量を、記憶部11に記憶されている提供用画像データから抽出された特徴量と照合し、類似度が所定以上である特徴量を対応付けられている提供用画像データを抽出する。
表示制御部14は、抽出部13により抽出された提供用画像データを用いて、上述した閲覧用操作端末のディスプレイに提供用画像を表示させる。
次に、本実施形態の情報処理システムの処理の流れの一例を説明する。
複数の提供画像生成用カメラは、撮影及び提供用画像データの生成を繰り返す。生成された提供用画像データは、例えば撮影日時や撮影位置を対応付けて、記憶部11に記憶される。
画像解析手段は、記憶部11に記憶された提供用画像データに対して画像解析を行い、画像に含まれる人を検出し、検出された人を含む領域の画像から特徴量を抽出する。記憶部11は、抽出された特徴量を、抽出された提供用画像データに対応付けて記憶する。
施設内で撮影された写真の閲覧を希望する来場者は、任意の日時で、閲覧用操作端末の設置位置に来る。そして、閲覧用操作端末に対して、自身の顔写真を撮影する操作を行う。当該操作に応じて、閲覧用操作端末の参照画像生成用カメラが撮影し、参照用画像データを生成する。そして、閲覧用操作端末は、生成した参照用画像データを情報処理装置10に送信する。なお、閲覧用操作端末は、人感センサ等で閲覧用操作端末の前に人がいることを検出してもよい。そして、参照画像生成用カメラは、人の検出に応じて撮影し、参照用画像データを生成してもよい。
その後、図3のフローチャートで示される情報処理装置10の処理が始まる。
取得部12は、閲覧用操作端末から送信されてきた参照用画像データを取得する(S10)。すると、画像解析手段は、参照用画像データに対して画像解析を行い、画像に含まれる人を検出し、検出された人を含む領域の画像から特徴量を抽出する。そして、抽出部13は、抽出された特徴量と、提供用画像データから抽出された特徴量とを照合し、参照用画像データに含まれている人を含む提供用画像データを記憶部11から抽出する(S11)。そして、表示制御部14は、抽出部13により抽出された提供用画像データを閲覧用操作端末に送信し、ディスプレイに提供用画像を表示させる(S12)。
閲覧用操作端末は、提供用画像を表示した後、表示した提供用画像の中から1つ又は複数を購入対象として選択する操作や、提供用画像を受け取るための操作(例:その場でプリントアウト、電子データを所定のメールアドレス宛に送信等の指定)や、支払操作(例:現金の入力、カード決済等)等を受付ける。
次に、変形例を説明する。
「変形例1」
閲覧用操作端末は、撮影場所(例:施設内のアトラクション)や撮影日時(例:2017年6月9日13時~15時)等を指定する入力を来場者から受付ける。そして、閲覧用操作端末は、指定内容を示す情報を情報処理装置10に送信する。抽出部13は、参照用画像データに含まれている人を含み、かつ、指定された撮影場所や撮影日時で撮影され、生成された提供用画像データを抽出する。例えば、抽出部13は、参照用画像データに含まれている人の特徴量と記憶部11に記憶されている提供用画像データ各々に含まれている人の特徴量とを照合し、かつ、来場者により指定された撮影場所や撮影日時等と、記憶部11に記憶されている提供用画像データ各々の撮影場所や撮影日時とを照合し、上記抽出を行う。その他の構成は、上述の通りである。
「変形例2」
画像解析手段は、提供用画像データに対する画像解析において、施設内で活動しているキャラクターや、施設内に設置されているキャラクターの外観の特徴量に基づき、提供用画像データに含まれるキャラクターを抽出する。キャラクターの外観の特徴量は、予め、画像解析手段がアクセス可能な記憶装置内に記憶されていてもよい。記憶部11は、各提供用画像データに、抽出されたキャラクターを識別する情報を対応付けて記憶することができる。
閲覧用操作端末は、施設内で活動するキャラクターを指定する入力を来場者から受付ける。そして、閲覧用操作端末は、指定内容を示す情報を情報処理装置10に送信する。抽出部13は、参照用画像データに含まれている人、及び、指定されたキャラクターの両方を含む提供用画像データを抽出する。例えば、抽出部13は、参照用画像データに含まれている人の特徴量と記憶部11に記憶されている提供用画像データ各々に含まれている人の特徴量とを照合し、かつ、来場者により指定されたキャラクターと、記憶部11に記憶されている提供用画像データ各々に対応付けられているキャラクターとを照合し、上記抽出を行う。その他の構成は、上述の通りである。
「変形例3」
表示制御部14は、抽出部13により複数の提供用画像データが抽出された場合、ディスプレイにおける表示順を制御する。
例えば、表示制御部14は、「参照用画像データから検出された人が笑顔」である提供用画像データを優先的に表示させてもよい。「優先的に表示」とは、複数の画像を並べて同時にディスプレイに表示する場合は、画面の上の方に表示させることを意味する。また、複数の画像を所定数(1以上)ずつ順番にディスプレイに表示する場合は、より先に表示させることを意味する。
その他、表示制御部14は、「参照用画像データから検出された人の顔が所定レベルより大きい」提供用画像データを優先的に表示させてもよい。その他、参照用画像データから検出された人の顔が大きい順に高い優先度を付してもよい。
その他、表示制御部14は、「参照用画像データから検出された人との類似度が所定以上である人を含む」提供用画像データを優先的に表示させてもよい。その他、上記類似度が高い順に高い優先度を付してもよい。
なお、笑顔の判定や、人の顔の大きさの判定は、上述した画像解析手段により行われる。その他の構成は、上述の通りである。
「変形例4」
表示制御部14は、抽出部13により抽出された提供用画像データの数が閾値以上である場合、表示に利用する提供用画像データ(閲覧用操作端末に送信する提供用画像データ)の数を閾値未満に絞り込む。そして、情報処理装置10は、絞り込んだ提供用画像データを閲覧用操作端末に送信し、ディスプレイに表示させる。
例えば、表示制御部14は、同じ場所(例:同じアトラクション)で撮影されて生成された提供用画像データ、同じ時間帯に撮影されて生成された提供用画像データ、又は、同じ場所(例:同じアトラクション)で同じ時間帯に撮影されて生成された提供用画像データをまとめてグループ化し、各グループから所定数の提供画像データを抽出(例えば、ランダムに抽出)し、閲覧用操作端末に送信するものとしてもよい。例えば、表示制御部14は、記憶部11に記憶されている提供用画像データ各々に含まれている人の特徴量、提供用画像データ各々の撮影場所や撮影日時を取得し、それらを比較することで、上記グループ化を行う。
例えば、表示制御部14は、「参照用画像データから検出された人が笑顔」である提供用画像データや、「参照用画像データから検出された人の顔が所定レベルより大きい」提供用画像データや、「参照用画像データから検出された人との類似度が所定以上である人を含む」提供用画像データを、上記絞込処理において優先的に抽出してもよい。
なお、笑顔の判定や、人の顔の大きさの判定は、上述した画像解析手段により行われる。その他の構成は、上述の通りである。
「変形例5」
記憶部11は、1日毎に、所定の日数毎に、又は、所定の時間毎に、記憶している提供用画像データを削除する。例えば、施設の1日の営業が終了すると、記憶部11は、その日に撮影、生成された提供用画像データをすべて削除してもよい。その他の構成は、上述の通りである。このようにすることで、来場者のプライベートな画像データが外部に漏れたり、他の用途で不正利用されたりするリスクを軽減できる。なお、提供用画像データを削除するのでなく、抽出部13による抽出処理の対象から外す構成としてもよい。この場合、上述した顔認証とは異なる別途の認証がなければ画像の閲覧をできない構成としてもよい。
「変形例6」
情報処理システムは、生体検知(ライブネス検知)機能を備えても良い。より具体的には、情報処理システムは、参照用画像データに含まれる人が、実際に参照画像生成用カメラの前に位置し、撮影されたか否かを判断する手段を備える。これは、他人の顔を含む写真を参照画像生成用カメラに撮影させ、当該他人に関する提供用画像データを閲覧する行為を抑制するためのものである。
例えば、閲覧用層端末に3Dセンサ等を設け、そのセンシング結果を利用することで、参照用画像データに含まれる人が実際に参照画像生成用カメラの前に位置し、撮影されたか否かを判断できる。そして、情報処理システムは、参照用画像データに含まれる人が実際に参照画像生成用カメラの前に位置し、撮影されたと判断すると、当該参照用画像データを用いて、提供用画像データの抽出、画像の表示を行う。一方、情報処理システムは、参照用画像データに含まれる人が実際に参照画像生成用カメラの前に位置し、撮影されていないと判断すると、提供用画像データの抽出、画像の表示を行わない。情報処理システムは、3Dセンサ以外の生体検知技術を用いても良い。その他の構成は、上述の通りである。
「変形例7」
来場者は、自身の端末装置(例:PC(personal computer)、スマートフォン、タブレット等)を、施設内で撮影された画像(提供画像生成用カメラで撮影された画像)の閲覧等に利用する。
例えば、施設は、画像閲覧用のウェブサイトを予め用意しておく。そして、来場者は、自身の端末装置を操作して当該ウェブサイトを訪問し、当該ウェブサイト上で、自身の顔を含む参照用画像データを情報処理装置10に送信する操作を行う。その他の構成は、上述の閲覧用操作端末を、来場者の自身の端末装置に置き代えて実現できる。
「変形例8」
情報処理システムは、施設内の任意の位置に設置される1つ又は複数の表示装置を有する。表示装置は、ディスプレイと、参照画像生成用カメラとを有する。閲覧用操作端末は、来場者による画像の閲覧、購入等を想定した端末である。これに対し、表示装置は、主に来場者に娯楽を提供することを想定した端末である。
図4に表示装置100の一例を示す。表示装置100の外観は、例えば鏡のようになっている。表示装置100は、参照画像生成用カメラ101と、ディスプレイ102とを有する。参照画像生成用カメラ101は表示装置100の前方領域を撮影する。
例えばアトラクションの待ち時間やすきま時間等に、来場者は、表示装置100の前に位置する。すると、表示装置100の参照画像生成用カメラ101はその来場者を撮影し、参照用画像データを生成して、情報処理装置10に送信する。情報処理装置10は、参照用画像データの取得に応じて、第1の実施形態で説明した提供用画像データの抽出処理を行う。そして、情報処理装置10は、抽出した提供用画像データを表示装置100に送信し、ディスプレイ102に画像を表示させる。
例えば、表示装置100は、前方に人が位置しない間(所定条件を満たさない間)、参照画像生成用カメラ101により撮影された画像をリアルタイムにディスプレイ102に表示してもよい。そして、前方に人が位置した後所定時間経過すると(所定条件を満たすと)、情報処理装置10より送信されてきた提供用画像データを用いて、ディスプレイ102に提供用画像を表示させてもよい。
その他、表示制御部14は、表示装置100の前方に人が位置しない間(所定条件を満たさない間)、表示装置100を鏡として機能させてもよい。そして、前方に人が位置した後所定時間経過すると(所定条件を満たすと)、情報処理装置10より送信されてきた提供用画像データを用いて、ディスプレイ102に提供用画像を表示させてもよい。当該表示は、例えば、ディスプレイ上に設けた層で外光に対する反射率を動的に調整したりするいわゆるミラーディスプレイを用いることで実現できる。
かかる場合、表示装置100は、所定条件を満たさない間は、表示装置100を鏡又は前方領域を映す鏡のように機能させ、所定条件を満たすと、その時点で鏡に映っている人のその日の思い出(その時までに施設内で撮影された画像)を映す魔法の鏡として機能する。所定条件は例えば、表示装置100の前方に所定時間を越えて人が位置していることでも良い。なお、前方に人が位置するか否かは画像解析で判断してもよいし、人感センサ等を利用してもよい。
本実施形態の情報処理システムは、上述した複数の変形例の中の1つ又は複数を採用できる。
以上説明した本実施形態の情報処理システムによれば、施設内に設置された複数のカメラで生成された膨大な画像データの中から、各来場者に適した画像データ(画像解析により、各来場者を含むと判断された画像データ)を抽出し、提示できるようになる。
来場者は、膨大な画像の中から、自身が含まれる画像を探すという面倒な作業を行う必要がない。また、複数のカメラで多くの場面を撮影しているので、自身の好みの画像(例:笑顔で写っている画像、大きく写っている画像等)を見つけられる可能性が高くなる。結果、サービスの満足度を向上させることができる。
また、本実施形態の場合、来場者は事前に顔を登録する必要がない。このため、利便性が向上する。
また、変形例1、変形例2として説明したように、来場者は、検索条件(撮影場所、時間、キャラクター等)を指定し、検索条件に合った画像を閲覧することができる。検索条件をうまく設定することで、来場者は、自身の好みの画像を効率的に見つけることができる。
また、変形例3、変形例4として説明したように、ある来場者を含む提供用画像データが多い場合、来場者が好むと考えらえる画像を優先的に表示させたり、優先的に表示対象として抽出して数を絞り込んだりできる。結果、来場者は、自身の好みの画像を効率的に見つけることができる。
また、変形例5として説明したように、提供用画像データを蓄積しておくのでなく、1日単位で削除したり、検索対象から外したりすることで、来場者のプライベートな画像データが外部に漏れたり、他の用途で不正利用されたりするリスクを軽減できる。
また、変形例6として説明したように、情報処理システムは、参照用画像データに含まれる人が実際に参照画像生成用カメラの前に位置し、撮影されたか否かを判断し、判断結果に応じて、提供用画像データの抽出、画像の表示を行うか否かを切り替えることができる。結果、例えば有名人の写真を参照画像生成用カメラに撮影させ、その人に関する提供用画像データを閲覧する等の迷惑行為を抑制できる。
また、変形例7として説明したように、情報処理システムでは、閲覧用操作端末の代わりに、来場者自身の端末装置を利用できる。結果、来場者は、閲覧用操作端末の順番待ちを回避できる。また、施設から帰宅した後、自宅などでゆっくり画像を閲覧できる。
また、変形例8として説明したように、情報処理システムを、アトラクションの待ち間やすきま時間等に利用する娯楽設備として利用できる。このようなサービスにより、来場者の満足度は向上する。
<第2の実施形態>
施設の来場者数が増えるほど、参照用画像データに含まれる人を含む提供用画像データを抽出する精度が低くなる。結果、閲覧用操作端末により提供される画像の中に、閲覧用操作端末を操作する人を含まない画像(当該人に似た人を含む画像)が含まれてしまう可能性が高くなる。本実施形態の情報処理システムは、抽出精度を高める手段を有する。以下説明する。
情報処理システムは、第1の実施形態同様、複数の提供画像生成用カメラと、記憶手段と、1つ又は複数の閲覧用操作端末と、情報処理装置とを有する。提供画像生成用カメラ、記憶手段、閲覧用操作端末の構成は、第1の実施形態と同様である。また、情報処理システムは、第1の実施形態で説明した変形例を採用してもよい。
以下、情報処理装置10の構成を説明する。情報処理装置10のハードウエア構成は、第1の実施形態と同様である。
図2に情報処理装置10の機能ブロック図の一例を示す。図示するように、情報処理装置10は、記憶部11と、取得部12と、抽出部13と、表示制御部14とを有する。なお、情報処理装置10は記憶部11を有さなくてもよい。この場合、外部装置が記憶部11を有し、情報処理装置10から記憶部11にアクセス可能に構成される。記憶部11、取得部12及び表示制御部14の構成は、第1の実施形態と同様である。
抽出部13は、参照用画像データの中に複数の人が含まれる場合、複数の人のうち少なくとも2人(例:複数の人すべて)を含む提供用画像データを抽出する。
なお、抽出部13は、参照用画像データの中に複数の人がそれぞれ所定の大きさ以上(例:顔が所定の大きさ以上)で含まれる場合、所定の大きさ以上で参照用画像データに含まれる複数の人のうち少なくとも2人(例:複数の人すべて)を含む提供用画像データを抽出してもよい。
例えば、家族、カップル、友達グループ等集団で来場している場合、施設側は、一緒に来場した複数の人で同時に閲覧用操作端末の前に位置し、撮影してもらう案内を行う。そして、参照画像生成用カメラは、複数の人を同時に撮影し、複数の人を含む参照用画像データを生成する。
1人をキーとし、その人を含むと判断される提供用画像データを抽出する場合、十分な抽出精度が得られなくても、複数の人をキーとし、それらを含むと判断される提供用画像データを抽出することにより、抽出精度を向上させることができる。本実施形態によれば、このような工夫により、閲覧用操作端末により提供される画像の中に、閲覧用操作端末を操作する人を含まない画像(当該人に似た人を含む画像)が含まれる不都合を軽減する。
また、キーとする人を、参照用画像データの中に所定の大きさ以上(例:顔が所定の大きさ以上)で含まれる人に絞り込むことで、たまたま閲覧用操作端末の周辺にいた他のグループの人が画像に写り込んだ場合であっても、その人を除外して、抽出処理を行うことができる。
その他、抽出部13は、参照用画像データに含まれる複数の人各々の間の距離(顔と顔との距離)に基づいて同じグループの人を判断し、同じグループに含まれる複数の人のうち少なくとも2人(例:複数の人すべて)を含む提供用画像データを抽出してもよい。この場合、距離が基準値以下の場合同じグループと判断する。例えば、抽出部13は、参照用画像データに含まれる複数の人の中から代表を決定し、その代表との距離が基準値以下の人を同じグループと判断してもよい。そして、そのグループに含まれる複数の人のうち少なくとも2人(例:複数の人すべて)を含む提供用画像データを抽出してもよい。代表は、例えば、位置前側に位置する人であってもよいし、参照用画像データ内における顔が一番大きい人であってもよい。上記距離は、参照用画像データ内における2次元の距離であってもよい。
なお、本実施形態によれば、その他、第1の実施形態と同様の作用効果を実現できる。
<第3の実施形態>
本実施形態は、抽出精度を高める他の手段を有する。以下説明する。
情報処理システムは、第1及び第2の実施形態同様、複数の提供画像生成用カメラと、記憶手段と、1つ又は複数の閲覧用操作端末と、情報処理装置とを有する。提供画像生成用カメラ、記憶手段、閲覧用操作端末の構成は、以下で言及する点を除き、第1及び第2の実施形態と同様である。また、情報処理システムは、第1の実施形態で説明した変形例を採用してもよい。
以下、情報処理装置10の構成を説明する。情報処理装置10のハードウエア構成は、第1及び第2の実施形態と同様である。
図2に情報処理装置10の機能ブロック図の一例を示す。図示するように、情報処理装置10は、記憶部11と、取得部12と、抽出部13と、表示制御部14とを有する。なお、情報処理装置10は記憶部11を有さなくてもよい。この場合、外部装置が記憶部11を有し、情報処理装置10から記憶部11にアクセス可能に構成される。記憶部11、取得部12及び表示制御部14の構成は、第1及び第2の実施形態と同様である。
抽出部13は、参照用画像データに含まれている特定の人についての施設内における位置情報と位置情報に対応する時間情報(以下、これらをまとめて「第1の情報」という場合がある)を取得する。第1の情報は、参照用画像データに含まれている人が各日時で施設内のどこにいたかを示す情報である。第1の情報は、日時と各日時において各人がいた位置とのペアの集合であってもよいし、動線情報であってもよい。
例えば、抽出部13は、参照用画像データに含まれている人との類似度が所定レベル以上である人を含む提供用画像データの撮影日時及び撮影位置を、当該人の第1の情報として取得してもよい。類似度の所定レベルは、十分に高い閾値を設定することが好ましい。このようにすることで、参照用画像データに含まれている人そのもの(本人)を含んでいる可能性が十分に高い提供用画像データに基づき、当該人の第1の情報を生成することができる。
その他、来場者に識別情報を記憶した電子タグ又は携帯端末を所持させるとともに、施設内の複数箇所に当該電子タグ又は携帯端末と無線通信し、識別情報を取得する無線通信装置(リーダ)を設置しておいてもよい。そして、各無線通信装置が識別情報を収集した位置及び日時に基づき、識別情報毎の第1の情報を生成してもよい。また、閲覧用操作端末は、上記電子タグ又は携帯端末と無線通信する無線通信装置を備えてもよい。当該無線通信装置は、閲覧用操作端末の周辺(閲覧用操作端末を操作する人がいる場所)にいる人(参照用画像データに含まれている人)が所持する電子タグ又は携帯端末から識別情報を取得し、情報処理装置10に送信してもよい。抽出部13は、これらの情報に基づき、参照用画像データに含まれている人の第1の情報を取得してもよい。
そして、抽出部13は、撮影日時及び撮影位置が上記第1の情報との関係において所定の条件を満たさない提供用画像データを、参照用画像データに含まれている人が含まれている画像として抽出する対象から除外する。
例えば、第1の情報で11時00分にアトラクションAにいたことが示されている場合、抽出部13は、11時00分に他の場所で撮影され、生成された提供用画像データを、抽出対象から除外する。
また、抽出部13は、予め、複数のアトラクション間の通常到達時間(移動時間)を示す情報を保持しておいてもよい。そして、当該情報を利用して、抽出対象から除外する提供用画像データを決定してもよい。例えば、第1の情報で11時00分にアトラクションAにいたことが特定され、かつ、アトラクションAからアトラクションBへの通常到達時間が5分である場合、10時55分より後かつ11時05分より前にアトラクションBで撮影され、生成された提供用画像データを、抽出対象から除外する。
その他、抽出部13は、参照用画像データに含まれる人との類似度が基準以上の人を含む提供用画像データの撮影場所及び撮影日時を基準にし、その撮影日時でその撮影場所にいた人が通常到達時間以下で到達し得ない場所及び撮影日時で生成された提供用画像データを、抽出対象から除外してもよい。
本実施形態によれば、第1の実施形態と同様の作用効果を実現できる。また、本実施形態によれば、参照用画像データに含まれている人を含む提供用画像データを抽出する精度を高めることができる。
なお、電子タグは、来場者にその場で渡してもよい。その他、年間パス等に電子タグを埋め込んでおいてもよい。また、携帯端末は所定のアプリをインストールしたスマートフォンやタブレット等であってもよい。
<第4の実施形態>
本実施形態は、抽出精度を高める他の手段を有する。以下説明する。
情報処理システムは、第1乃至第3の実施形態同様、複数の提供画像生成用カメラと、記憶手段と、1つ又は複数の閲覧用操作端末と、情報処理装置とを有する。提供画像生成用カメラ、記憶手段、閲覧用操作端末の構成は、以下で言及する点を除き、第1乃至第3の実施形態と同様である。また、情報処理システムは、第1の実施形態で説明した変形例を採用してもよい。
以下、情報処理装置10の構成を説明する。情報処理装置10のハードウエア構成は、第1乃至第3の実施形態と同様である。
図2に情報処理装置10の機能ブロック図の一例を示す。図示するように、情報処理装置10は、記憶部11と、取得部12と、抽出部13と、表示制御部14とを有する。なお、情報処理装置10は記憶部11を有さなくてもよい。この場合、外部装置が記憶部11を有し、情報処理装置10から記憶部11にアクセス可能に構成される。記憶部11、取得部12及び表示制御部14の構成は、第1乃至第3の実施形態と同様である。
本実施形態では、来場者に、識別情報を記憶した電子タグ又は携帯端末を所持させる。そして、当該電子タグ又は携帯端末と無線通信し、識別情報を取得する無線通信装置(リーダ)を、複数の提供画像生成用カメラ各々の周辺(提供画像生成用カメラで撮影される人が所持する電子タグ又は携帯端末と無線通信可能な場所)、及び、1つ又は複数の閲覧用操作端末各々の周辺(閲覧用操作端末を操作する人が所持する電子タグ又は携帯端末と無線通信可能な場所)に設置する。なお、第3の実施形態で説明したように、上記第1の情報を取得するため、施設内に無線通信装置を点在させてもよい。
提供画像生成用カメラの周辺に設置された無線通信装置(第1の無線通信装置)は、提供画像生成用カメラにより撮影された日時又はそれに近い日時で位置関係が所定条件(互いに通信可能な位置関係)を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、電子タグ又は携帯端末に記憶されている識別情報を取得する。
なお、第1の無線通信装置は、提供画像生成用カメラにより撮影されるエリア内に位置する来場者に所持されている電子タグ又は携帯端末と通信できるように設置されるのが好ましい。
例えば、提供画像生成用カメラが撮影すると、その旨を示す情報が第1の無線通信装置に入力されてもよい。そして、第1の無線通信装置は、撮影をトリガとして、位置関係が所定条件(互いに通信可能な位置関係)を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、電子タグ又は携帯端末に記憶されている識別情報を取得してもよい。
なお、第1の無線通信装置は、位置関係が所定条件(互いに通信可能な位置関係)を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、電子タグ又は携帯端末に記憶されている識別情報を取得すると、その旨を示す情報を提供画像生成用カメラに送信してもよい。そして、提供画像生成用カメラは、識別情報の取得を示す情報の受信をトリガとして、撮影を行ってもよい。
その他、第1の無線通信装置は所定時間毎に連続的に位置関係が所定条件(互いに通信可能な位置関係)を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、電子タグ又は携帯端末から取得した各識別情報を、取得の日時に対応付けて記憶してもよい。そして、撮影日時及び識別情報取得日時が同じ又は近い(例:最も近い、所定時間以内)提供用画像データ及び識別情報を、互いに対応付けてもよい。
記憶部11は、複数の提供用画像データ各々に、各提供用画像データを生成した日時(撮影日時)又はそれに近い日時で第1の無線通信装置により取得された1つ又は複数の識別情報を対応付けて記憶する。
図5に、記憶部11が記憶する情報の一例を模式的に示す。提供用画像データID(identifier)と、各提供用画像データから抽出された1つ又は複数の顔特徴量(検出された人を含む領域の画像から抽出された特徴量)と、各提供用画像データを生成した日時(撮影日時)又はそれに近い日時で第1の無線通信装置により取得された1つ又は複数の識別情報とを対応付けている。図示しないが、その他、撮影日時、撮影位置、画像内に含まれるキャラクター等の情報を対応付けてもよい。
参照画像生成用カメラの周辺に設置された第2の無線通信装置は、参照画像生成用カメラが来場者を撮影した日時又はそれに近い日時で位置関係が所定条件(互いに通信可能な位置関係)を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、電子タグ又は携帯端末に記憶されている識別情報を取得する。
なお、第2無線通信装置は、閲覧用操作端末を操作する来場者に所持されている電子タグ又は携帯端末と通信できるように設置されるのが好ましい。
例えば、参照画像生成用カメラが撮影すると、その旨を示す情報が第2の無線通信装置に入力されてもよい。そして、第2の無線通信装置は、撮影をトリガとして、位置関係が所定条件(互いに通信可能な位置関係)を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、電子タグ又は携帯端末に記憶されている識別情報を取得してもよい。
なお、第2の無線通信装置は、位置関係が所定条件(互いに通信可能な位置関係)を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、電子タグ又は携帯端末に記憶されている識別情報を取得すると、その旨を示す情報を参照画像生成用カメラに送信してもよい。そして、参照画像生成用カメラは、識別情報の取得を示す情報の受信をトリガとして、撮影を行ってもよい。
その他、第2の無線通信装置は所定時間毎に連続的に各日時で位置関係が所定条件(互いに通信可能な位置関係)を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、電子タグ又は携帯端末から取得した識別情報を、各日時に対応付けて記憶してもよい。そして、撮影日時及び識別情報取得日時が近い(例:最も近い)参照画像生成用カメラ及び識別情報を、互いに対応付けてもよい。
閲覧用操作端末は、参照用画像データと、当該参照用画像データを生成した日時(撮影日時)又はそれに近い日時で第2の無線通信装置により取得された1つ又は複数の識別情報とを対応付けて、情報処理装置10に送信する。
取得部12は、参照用画像データと、当該参照用画像データを生成した日時(撮影日時)又はそれに近い日時で第2の無線通信装置により取得された1つ又は複数の識別情報とを取得する。
抽出部13は、参照用画像データに含まれている人を含むとともに、取得部12により取得された識別情報(第2の無線通信装置により取得された識別情報)を対応付けられている提供用画像データを抽出する。例えば、抽出部13は、参照用画像データに含まれている人の特徴量と記憶部11に記憶されている提供用画像データ各々に含まれている人の特徴量とを照合し、かつ、取得部12により取得された識別情報と記憶部11に記憶されている提供用画像データ各々に対応付けられた識別情報とを照合し、上記抽出を行う。
なお、抽出部13は、取得部12により取得された識別情報を対応付けられている提供用画像データを抽出し、その中から、参照用画像データに含まれている人を含む提供用画像データを抽出してもよい。識別情報をキーとした抽出処理の方が、特徴量をキーとして抽出処理よりもコンピュータの処理負担が軽い。識別情報で絞り込んでから特徴量を利用した検索を行うように構成することで、特徴量を利用した検索の対象となる提供用画像データの数を減らすことができる。このため、識別情報で絞り込んでから特徴量を利用した検索を行う方が、特徴量で絞り込んでから識別情報を利用した検索を行う場合に比べて、コンピュータの処理負担を軽減できる。
また、抽出部13は、参照用画像データの中にM人(Mは1以上)の人が含まれ、かつ、取得部12によりN(Nは1以上)個の識別情報が取得された場合、M人の中の少なくとも1人を含み、かつ、N個の識別情報の中の少なくとも1つを対応付けられている提供用画像データを抽出する。
なお、抽出部13は、参照用画像データの中に複数の人がそれぞれ所定の大きさ以上(例:顔が所定の大きさ以上)で含まれ、かつ、取得部12によりN(Nは1以上)個の識別情報が取得された場合、所定の大きさ以上で参照用画像データに含まれる複数の人すべてを含み、かつ、N個の識別情報の中の少なくとも1つに対応付けられている提供用画像データを抽出してもよい。
本実施形態によれば、第1の実施形態と同様の作用効果を実現できる。また、本実施形態によれば、顔の特徴量と、撮影位置付近で取得した識別情報(タグ情報)とを組み合わせたキーを利用して、参照用画像データに含まれている人を含む提供用画像データを抽出することができる。このため、抽出の精度を高めることができる。
なお、電子タグは、来場者にその場で渡してもよい。その他、年間パス等に電子タグを埋め込んでおいてもよい。また、携帯端末は所定のアプリをインストールしたスマートフォンやタブレット等であってもよい。
<第5の実施形態>
本実施形態の情報処理装置10は、第1乃至第4の実施形態と同様の抽出処理を実行する。本実施形態の情報処理システムは、テーマパーク、客船等の多数の人が集まる娯楽施設での利用に限定されない点で、第1乃至第4の実施形態と異なる。
本実施形態の情報処理装置10のハードウエア構成は、第1乃至第4の実施形態と同様である。
図7に、本実施形態の情報処理装置10の機能ブロック図の一例を示す。図示するように、情報処理装置10は、取得部12と、抽出部13とを有する。なお、図示しないが、情報処理装置10は、記憶部11をさらに有してもよい。記憶部11を有さない場合、外部装置が記憶部11を有し、情報処理装置10から記憶部11にアクセス可能に構成される。また、情報処理装置10は表示制御部14を有してもよい。
取得部12は、第1のカメラにより生成された第1の画像データ(第1の画像)を、1つ又は複数の識別情報に対応付けて取得する。1つ又は複数の識別情報は、第1のカメラの周辺(第1のカメラで撮影される人が所持する電子タグ又は携帯端末と無線通信可能な場所)に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された情報である。
記憶部11は、複数の第2のカメラにより生成された第2の画像データ(第2の画像)を、1つ又は複数の識別情報に対応付けて記憶する。1つ又は複数の識別情報は、複数の第2のカメラ各々の周辺(第2のカメラで撮影される人が所持する電子タグ又は携帯端末と無線通信可能な場所)に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末と無線通信し、1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された情報である。
抽出部13は、第1の画像データに含まれている人を含むとともに、取得部12により取得された識別情報を対応付けられている第2の画像データを、記憶部11から抽出する。
また、抽出部13は、第1の画像データの中にM人(Mは1以上)の人が含まれ、かつ、取得部12によりN(Nは1以上)個の識別情報が取得された場合、M人の中の少なくとも1人を含み、かつ、N個の識別情報の中の少なくとも1つを対応付けられている第2の画像データを抽出してもよい。
なお、抽出部13は、第1の画像データの中に複数の人が所定の大きさ以上(例:顔が所定の大きさ以上)で含まれかつ、取得部12によりN(Nは1以上)個の識別情報が取得された場合、所定の大きさ以上の複数の人すべてを含み、かつ、N個の識別情報の中の少なくとも1つを対応付けられている第2の画像データを抽出してもよい。
なお、抽出部13は、第1の画像データに対応付けられている識別情報をキーとして検索処理を行った後、第1の画像データの特徴量をキーとした検索処理を行ってもよい。識別情報をキーとした抽出処理の方が、特徴量をキーとして抽出処理よりもコンピュータの処理負担が軽い。識別情報で絞り込んでから特徴量を利用した検索を行うように構成することで、特徴量を利用した検索の対象となる第2の画像データの数を減らすことができる。このため、識別情報で絞り込んでから特徴量を利用した検索を行う方が、特徴量で絞り込んでから識別情報を利用した検索を行う場合に比べて、コンピュータの処理負担を軽減できる。
記憶部11、取得部12、抽出部13及び表示制御部14のその他の構成は、第1乃至第4の実施形態と同様とすることができる。
次に、図8のフローチャートを用いて、本実施形態の情報処理装置10の処理の流れの一例を説明する。
S20では、取得部12は、第1のカメラにより生成された第1の画像を、第1のカメラの周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の識別情報に対応付けて取得する。
S21では、抽出部13は、記憶部11から所定の第2の画像を抽出する。記憶部11は、複数の第2のカメラにより生成された第2の画像を、複数の第2のカメラ各々の周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の識別情報に対応付けて記憶している。抽出部13は、記憶部11から、第1の画像に含まれている人を含むとともに、取得部12により取得された識別情報を対応付けられている第2の画像を抽出する。
本実施形態によれば、第1の画像データに含まれている人を含む第2の画像データを、高精度に抽出することができる。
以下、参考形態の例を付記する。
1. 参照用画像を取得する取得手段と、
施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像を記憶する記憶手段から、前記参照用画像に含まれている人を含む前記提供用画像を抽出する抽出手段と、
前記抽出手段により抽出された前記提供用画像をディスプレイに表示させる表示制御手段と、
を有する情報処理装置。
2. 1に記載の情報処理装置において、
前記抽出手段は、前記参照用画像に複数の人が含まれる場合、前記複数の人のうち少なくとも2人を含む前記提供用画像を抽出する情報処理装置。
3. 2に記載の情報処理装置において、
前記抽出手段は、前記参照用画像に複数の人がそれぞれ所定の大きさ以上で含まれる場合、前記所定の大きさ以上で前記参照用画像に含まれる複数の人のうち少なくとも2人を含む前記提供用画像を抽出する情報処理装置。
4. 1から3のいずれかに記載の情報処理装置において、
前記取得手段は、前記ディスプレイの周辺を撮影する参照画像生成用カメラにより生成された画像を、前記参照用画像として取得する情報処理装置。
5. 4に記載の情報処理装置において、
前記表示制御手段は、
所定条件を満たさない間、前記参照画像生成用カメラで撮影された画像を前記ディスプレイに表示させるか、又は、前記ディスプレイを含む表示装置を鏡として機能させ、
前記所定条件を満たすと、前記抽出手段により抽出された前記提供用画像を前記ディスプレイに表示させる情報処理装置。
6. 1から5のいずれかに記載の情報処理装置において、
前記記憶手段は、前記提供用画像を撮影日時及び撮影位置と対応付けて記憶し、
前記抽出手段は、
前記提供用画像に含まれる特定の人についての前記施設内における位置情報と前記位置情報に対応する時間情報とを取得し、
撮影日時及び撮影位置が前記位置情報及び前記時間情報との関係において所定の条件を満たさない場合、前記提供用画像を、前記特定の人が含まれている画像として抽出する対象から除外する情報処理装置。
7. 6に記載の情報処理装置において、
前記抽出手段は、前記参照用画像に含まれている前記特定の人との類似度が所定の値以上である人を含む前記提供用画像の撮影日時及び撮影位置を、当該特定の人についての前記位置情報及び前記時間情報として取得する情報処理装置。
8. 1から7のいずれかに記載の情報処理装置において、
前記記憶手段は、
複数の前記提供画像生成用カメラ各々の周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報を、前記識別情報が取得された日時から所定時間内に生成された前記提供用画像と対応付けて記憶し、
前記取得手段は、
前記ディスプレイの周辺を撮影する参照画像生成用カメラにより生成された画像を前記参照用画像として取得するとともに、
前記参照画像生成用カメラの周辺に設置され、位置関係が所定条件を満たす1つ又は複数の前記電子タグ又は携帯端末から前記識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報を取得し、
前記抽出手段は、
前記参照用画像に含まれている人を含むとともに、前記取得手段により取得された前記識別情報に対応付けられている前記提供用画像を抽出する情報処理装置。
9. 8に記載の情報処理装置において、
前記抽出手段は、
前記参照用画像の中にM人(Mは1以上)の人が含まれ、かつ、前記取得手段によりN(Nは1以上)個の前記識別情報が取得された場合、前記M人の中の少なくとも1人を含み、かつ、前記N個の前記識別情報の中の少なくとも1つに対応付けられている前記提供用画像を抽出する情報処理装置。
10. 9に記載の情報処理装置において、
前記抽出手段は、
前記参照用画像に複数の人が所定の大きさ以上で含まれ、かつ、前記取得手段によりN(Nは1以上)個の前記識別情報が取得された場合、前記参照用画像に前記所定の大きさ以上で含まれる複数の人すべてを含み、かつ、前記N個の前記識別情報の中の少なくとも1つに対応付けられている前記提供用画像を抽出する情報処理装置。
11. 第1のカメラにより生成された第1の画像を、前記第1のカメラの周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて取得する取得手段と、
複数の第2のカメラにより生成された第2の画像を、複数の前記第2のカメラ各々の周辺に設置され、位置関係が所定条件を満たす1つ又は複数の前記電子タグ又は携帯端末から前記識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて記憶する記憶手段から、前記第1の画像に含まれている人を含むとともに、前記取得手段により取得された前記識別情報を対応付けられている前記第2の画像を抽出する抽出手段と、
を有する情報処理装置。
12. 11に記載の情報処理装置において、
前記抽出手段は、
前記第1の画像の中にM人(Mは1以上)の人が含まれ、かつ、前記取得手段によりN(Nは1以上)個の前記識別情報が取得された場合、前記M人の中の少なくとも1人を含み、かつ、前記N個の前記識別情報の中の少なくとも1つに対応付けられている前記第2の画像を抽出する情報処理装置。
13. 12に記載の情報処理装置において、
前記抽出手段は、
前記第1の画像の中に複数の人が所定の大きさ以上で含まれ、かつ、前記取得手段によりN(Nは1以上)個の前記識別情報が取得された場合、前記第1の画像に前記所定の大きさ以上で含まれる複数の人すべてを含み、かつ、前記N個の前記識別情報の中の少なくとも1つに対応付けられている前記第2の画像を抽出する情報処理装置。
14. コンピュータが、
参照用画像を取得する取得工程と、
施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像を記憶する記憶手段から、前記参照用画像に含まれている人を含む前記提供用画像を抽出する抽出工程と、
前記抽出工程で抽出された前記提供用画像をディスプレイに表示させる表示制御工程と、
を実行する情報処理方法。
15. コンピュータを、
参照用画像を取得する取得手段、
施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像を記憶する記憶手段から、前記参照用画像に含まれている人を含む前記提供用画像を抽出する抽出手段、
前記抽出手段により抽出された前記提供用画像をディスプレイに表示させる表示制御手段、
として機能させるプログラム。
16. コンピュータが、
第1のカメラにより生成された第1の画像を、前記第1のカメラの周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて取得する取得工程と、
複数の第2のカメラにより生成された第2の画像を、複数の前記第2のカメラ各々の周辺に設置され、位置関係が所定条件を満たす1つ又は複数の前記電子タグ又は携帯端末から前記識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて記憶する記憶手段から、前記第1の画像に含まれている人を含むとともに、前記取得工程で取得された前記識別情報を対応付けられている前記第2の画像を抽出する抽出工程と、
を実行する情報処理方法。
17. コンピュータを、
第1のカメラにより生成された第1の画像を、前記第1のカメラの周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて取得する取得手段、
複数の第2のカメラにより生成された第2の画像を、複数の前記第2のカメラ各々の周辺に設置され、位置関係が所定条件を満たす1つ又は複数の前記電子タグ又は携帯端末から前記識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報に対応付けて記憶する記憶手段から、前記第1の画像に含まれている人を含むとともに、前記取得手段により取得された前記識別情報を対応付けられている前記第2の画像を抽出する抽出手段、
として機能させるプログラム。
この出願は、2017年6月22日に出願された日本出願特願2017-122500号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (14)

  1. 施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像を記憶する記憶手段と、
    記憶された前記提供用画像の閲覧を希望するユーザの動作に応じてカメラによって撮影された当該ユーザの画像を、参照用画像として取得する取得手段と、
    前記提供用画像に含まれる顔画像と、前記参照用画像に含まれる顔画像とを照合し、照合結果に基づいて、前記記憶手段から、前記参照用画像に含まれている人を含む前記提供用画像を抽出し、前記参照用画像に複数の人が含まれる場合、前記参照用画像に含まれる複数の人のうち少なくとも2人を含む前記提供用画像を抽出する抽出手段と、
    前記抽出手段により抽出された前記提供用画像をディスプレイに表示させる表示制御手段と、
    を有する情報処理装置。
  2. 請求項1に記載の情報処理装置において、
    前記抽出手段は、前記参照用画像に複数の人がそれぞれ所定の大きさ以上で含まれる場合、前記所定の大きさ以上で前記参照用画像に含まれる複数の人のうち少なくとも2人を含む前記提供用画像を抽出する情報処理装置。
  3. 請求項1又は2に記載の情報処理装置において、
    前記取得手段は、前記ディスプレイの周辺を撮影する参照画像生成用カメラにより生成された画像を、前記参照用画像として取得する情報処理装置。
  4. 請求項3に記載の情報処理装置において、
    前記表示制御手段は、
    所定条件を満たさない間、前記ディスプレイを含む表示装置を鏡として機能させ、
    前記所定条件を満たすと、前記抽出手段により抽出された前記提供用画像を前記ディスプレイに表示させる情報処理装置。
  5. 請求項1から4のいずれか1項に記載の情報処理装置において、
    前記記憶手段は、前記提供用画像を撮影日時及び撮影位置と対応付けて記憶し、
    前記抽出手段は、
    前記提供用画像に含まれる特定の人についての前記施設内における位置情報と前記位置情報に対応する時間情報とを取得し、
    撮影日時及び撮影位置が前記位置情報及び前記時間情報との関係において所定の条件を満たさない場合、前記提供用画像を、前記特定の人が含まれている画像として抽出する対象から除外する情報処理装置。
  6. 請求項5に記載の情報処理装置において、
    前記抽出手段は、前記参照用画像に含まれている前記特定の人との類似度が所定の値以上である人を含む前記提供用画像の撮影日時及び撮影位置を、当該特定の人についての前記位置情報及び前記時間情報として取得する情報処理装置。
  7. 請求項1から6のいずれか1項に記載の情報処理装置において、
    前記記憶手段は、
    複数の前記提供画像生成用カメラ各々の周辺に設置され、位置関係が所定条件を満たす1つ又は複数の電子タグ又は携帯端末から識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報を、前記識別情報が取得された日時から所定時間内に生成された前記提供用画像と対応付けて記憶し、
    前記取得手段は、
    前記ディスプレイの周辺を撮影する参照画像生成用カメラにより生成された画像を前記参照用画像として取得するとともに、
    前記参照画像生成用カメラの周辺に設置され、位置関係が所定条件を満たす1つ又は複数の前記電子タグ又は携帯端末から前記識別情報を取得する無線通信装置により取得された1つ又は複数の前記識別情報を取得し、
    前記抽出手段は、
    前記参照用画像に含まれている人を含むとともに、前記取得手段により取得された前記識別情報に対応付けられている前記提供用画像を抽出する情報処理装置。
  8. 請求項7に記載の情報処理装置において、
    前記抽出手段は、
    前記参照用画像の中にM人(Mは1以上)の人が含まれ、かつ、前記取得手段によりN(Nは1以上)個の前記識別情報が取得された場合、前記M人の中の少なくとも1人を含み、かつ、前記N個の前記識別情報の中の少なくとも1つに対応付けられている前記提供用画像を抽出する情報処理装置。
  9. 請求項8に記載の情報処理装置において、
    前記抽出手段は、
    前記参照用画像に複数の人が所定の大きさ以上で含まれ、かつ、前記取得手段によりN(Nは1以上)個の前記識別情報が取得された場合、前記参照用画像に前記所定の大きさ以上で含まれる複数の人すべてを含み、かつ、前記N個の前記識別情報の中の少なくとも1つに対応付けられている前記提供用画像を抽出する情報処理装置。
  10. 請求項1から9のいずれか1項に記載の情報処理装置において、
    前記抽出手段は、前記参照用画像に含まれる複数の人の間の距離に基づき選択した複数の人のうち少なくとも2人を含む前記提供用画像を抽出する情報処理装置。
  11. 請求項1から10のいずれか1項に記載の情報処理装置において、
    前記抽出手段は、前記ユーザ、及び、前記ユーザにより指定されたキャラクターの両方を含む前記提供用画像を抽出し、
    前記キャラクターは、前記施設内で活動するキャラクター又は前記施設内に設置されているキャラクターである情報処理装置。
  12. 請求項1から11のいずれか1項に記載の情報処理装置において、
    3Dセンサを用いた生体検知により、前記参照用画像に含まれる人が実際に参照画像生成用カメラの前に位置し、撮影されたかどうかを判断する手段を有する情報処理装置。
  13. コンピュータが、
    施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像を記憶する記憶工程と、
    記憶された前記提供用画像の閲覧を希望するユーザの動作に応じてカメラによって撮影された当該ユーザの画像を、参照用画像として取得する取得工程と、
    前記提供用画像に含まれる顔画像と、前記参照用画像に含まれる顔画像とを照合し、照合結果に基づいて、前記参照用画像に含まれている人を含む前記提供用画像を抽出し、前記参照用画像に複数の人が含まれる場合、前記参照用画像に含まれる複数の人のうち少なくとも2人を含む前記提供用画像を抽出する抽出工程と、
    前記抽出工程で抽出された前記提供用画像をディスプレイに表示させる表示制御工程と、
    を実行する情報処理方法。
  14. コンピュータを、
    施設内に設置された複数の提供画像生成用カメラにより生成された提供用画像を記憶する記憶手段、
    記憶された前記提供用画像の閲覧を希望するユーザの動作に応じてカメラによって撮影された当該ユーザの画像を、参照用画像として取得する取得手段、
    前記提供用画像に含まれる顔画像と、前記参照用画像に含まれる顔画像とを照合し、照合結果に基づいて、前記記憶手段から、前記参照用画像に含まれている人を含む前記提供用画像を抽出し、前記参照用画像に複数の人が含まれる場合、前記参照用画像に含まれる複数の人のうち少なくとも2人を含む前記提供用画像を抽出する抽出手段、
    前記抽出手段により抽出された前記提供用画像をディスプレイに表示させる表示制御手段、
    として機能させるプログラム。
JP2019525053A 2017-06-22 2018-01-10 情報処理装置、情報処理方法及びプログラム Active JP7007022B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017122500 2017-06-22
JP2017122500 2017-06-22
PCT/JP2018/000242 WO2018235318A1 (ja) 2017-06-22 2018-01-10 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018235318A1 JPWO2018235318A1 (ja) 2020-03-19
JP7007022B2 true JP7007022B2 (ja) 2022-01-24

Family

ID=64737722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019525053A Active JP7007022B2 (ja) 2017-06-22 2018-01-10 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11659273B2 (ja)
JP (1) JP7007022B2 (ja)
WO (1) WO2018235318A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021171528A1 (ja) * 2020-02-28 2021-09-02 日本電気株式会社 撮影制御装置、システム、方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024229A (ja) 2000-07-03 2002-01-25 Fuji Photo Film Co Ltd 本人画像提供システム
JP2006523334A (ja) 2003-02-06 2006-10-12 センターフレーム・リミテッド・ライアビリティ・カンパニー 特定の電子画像をユーザに配布する方法
JP2007287014A (ja) 2006-04-19 2007-11-01 Seiko Epson Corp 画像処理装置、画像処理方法
JP2008198135A (ja) 2007-02-15 2008-08-28 Sony Corp 情報配信システム、情報配信装置および情報配信方法
JP2009087004A (ja) 2007-09-28 2009-04-23 Olympus Imaging Corp 画像検索装置、画像検索方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6035055A (en) * 1997-11-03 2000-03-07 Hewlett-Packard Company Digital image management system in a distributed data access network system
JP2002320172A (ja) * 2001-04-20 2002-10-31 Olympus Optical Co Ltd 撮影システム
JP2009010576A (ja) 2007-06-27 2009-01-15 Ip Strategy Kk イベント会場向け配布用写真作成装置
JP5273998B2 (ja) * 2007-12-07 2013-08-28 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP2009278534A (ja) 2008-05-16 2009-11-26 Olympus Corp 施設内フォトシステム及び施設外フォト抽出システム
JP2014053749A (ja) 2012-09-06 2014-03-20 Sony Corp 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024229A (ja) 2000-07-03 2002-01-25 Fuji Photo Film Co Ltd 本人画像提供システム
JP2006523334A (ja) 2003-02-06 2006-10-12 センターフレーム・リミテッド・ライアビリティ・カンパニー 特定の電子画像をユーザに配布する方法
JP2007287014A (ja) 2006-04-19 2007-11-01 Seiko Epson Corp 画像処理装置、画像処理方法
JP2008198135A (ja) 2007-02-15 2008-08-28 Sony Corp 情報配信システム、情報配信装置および情報配信方法
JP2009087004A (ja) 2007-09-28 2009-04-23 Olympus Imaging Corp 画像検索装置、画像検索方法

Also Published As

Publication number Publication date
US20200120285A1 (en) 2020-04-16
US11659273B2 (en) 2023-05-23
JPWO2018235318A1 (ja) 2020-03-19
WO2018235318A1 (ja) 2018-12-27

Similar Documents

Publication Publication Date Title
US11503007B2 (en) Content activation via interaction-based authentication, systems and method
KR102091848B1 (ko) 전자 장치에서 사용자의 감정 정보를 제공하기 위한 장치 및 방법
JP2009099142A (ja) 画像共有システムおよび方法、ならびにコンテンツ共有システムおよび方法
JP7546114B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020513705A (ja) ビデオフレームの複数の部分のフィンガープリントを生成することによって立体ビデオを検出するための方法、システム、および媒体
JP7007022B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7020567B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
CN111145189A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
US20230088964A1 (en) Information processing apparatus, information processing method, and non-transitory storage medium
JP7509218B2 (ja) 表示制御装置、表示システム、表示制御方法及び表示制御プログラム
JP2022058833A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2014042170A (ja) 撮影システム、撮影支援方法、撮影装置及びその制御方法、管理装置及びその制御方法、並びにプログラム
CN109150967B (zh) 一种相册创建方法、装置以及电子设备
US20190180042A1 (en) Image display device, image display control device, and image display control method
WO2015100070A1 (en) Presenting information based on a video
JP7371806B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US9922052B1 (en) Custom image data store
JP7407625B2 (ja) メッセージ提供方法、メッセージ提供装置、メッセージ提供プログラムおよび記録媒体
JP2015087805A (ja) 情報処理装置、情報処理方法およびプログラム
JP2024128875A (ja) 画像表示システム、情報処理装置、画像表示方法及び画像表示プログラム
CN107679416A (zh) 资料管理方法及装置、存储介质及计算机设备
JP2019020840A (ja) 画像処理システム

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20191031

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200721

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210112

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210112

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210119

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210126

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210312

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210316

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210525

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210907

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211021

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20211102

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20211207

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211227