JP6455590B2 - 画像処理システム、画像処理方法およびコンピュータプログラム - Google Patents

画像処理システム、画像処理方法およびコンピュータプログラム Download PDF

Info

Publication number
JP6455590B2
JP6455590B2 JP2017503349A JP2017503349A JP6455590B2 JP 6455590 B2 JP6455590 B2 JP 6455590B2 JP 2017503349 A JP2017503349 A JP 2017503349A JP 2017503349 A JP2017503349 A JP 2017503349A JP 6455590 B2 JP6455590 B2 JP 6455590B2
Authority
JP
Japan
Prior art keywords
image
specific information
processing system
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017503349A
Other languages
English (en)
Other versions
JPWO2016139940A1 (ja
Inventor
康治 齋藤
康治 齋藤
淳平 山崎
淳平 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016139940A1 publication Critical patent/JPWO2016139940A1/ja
Application granted granted Critical
Publication of JP6455590B2 publication Critical patent/JP6455590B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、画像を検索する画像検索処理に要する時間を短縮化する技術に関する。
店舗や街に設置された監視カメラ等の撮像装置による撮影画像を利用して、人物や物を検知したり、監視したり、事件・事故に関する情報を提供する画像処理システムが普及してきている。特許文献1には、そのような画像処理システムの一例が開示されている。
特許文献1における画像処理システムは、監視対象領域内を監視するシステムである。この監視システムでは、撮像装置による撮影画像から画像処理により顔が検知され、検知された顔の特徴量が抽出される。そして、抽出された特徴量が、記憶部に記憶されている登録者リストの情報と照合され、撮影画像に写っている顔が登録者の顔であるか否かが判断される。
特許第5500303号公報
しかしながら、上記システムでは、撮像装置が撮影した全ての撮影画像が顔検知処理の対象となっている。このため、処理対象の画像処理量が大きく、例えば、撮影画像から特定の人物を検知する場合に、その目的の人物を検知するのに多くの時間を要するという問題がある。また、処理時間の短縮化を図ろうとすると、処理能力の高い高性能な処理装置を導入しなければならず、高性能な処理装置は高価であることから、費用が掛かるという問題が生じる。
本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、複数の画像の中から条件に該当する画像を抽出する処理に要する時間を短縮化する技術を提供することにある。
上記目的を達成するために、本発明の画像処理システムは、
処理対象の画像である第一画像の容量を小さくする処理と、複数の前記第一画像の中から抽出条件に該当する画像を抽出する処理との一方又は両方の処理によって得られる複数の第二画像から、検索条件に該当する前記第二画像を検知する検知部と、
複数の前記第一画像、又は、前記第一画像から生成された複数の生成画像の中から、前記検知部により検知された前記第二画像に応じた画像を取得する取得部と、
を備える。
また、本発明の画像処理方法は、
処理対象の画像である第一画像の容量を小さくする処理と、複数の前記第一画像の中から抽出条件に該当する画像を抽出する処理との一方又は両方の処理によって得られる複数の第二画像から、検索条件に該当する前記第二画像を検知し、
複数の前記第一画像、又は、前記第一画像から生成された複数の生成画像の中から、前記検知された前記第二画像に応じた画像を取得する。
さらに、本発明のプログラム記憶媒体は、
処理対象の画像である第一画像の容量を小さくする処理と、複数の前記第一画像の中から抽出条件に該当する画像を抽出する処理との一方又は両方の処理によって得られる複数の第二画像から、検索条件に該当する前記第二画像を検知する処理と、
複数の前記第一画像、又は、前記第一画像から生成された複数の生成画像の中から、前記検知された前記第二画像に応じた画像を取得する処理と
をコンピュータに実行させる処理手順が記載されている。
なお、本発明の主な目的は、本発明の画像処理システムに対応する本発明の画像処理方法によっても達成される。また、本発明の主な目的は、本発明の画像処理システムおよび本発明の画像処理方法に対応するコンピュータプログラムおよびそれを記憶しているプログラム記憶媒体によっても達成される。
本発明によれば、複数の画像の中から条件に該当する画像を抽出する処理に要する時間を短縮化できる。
本発明に係る第一実施形態の画像処理システムの構成を簡略化して表すブロック図である。 特定情報の具体例を表す図である。 第二画像の生成手法の一例を説明する図である。 店舗間の距離のデータの一例を表す図である。 取得部による第一画像の取得例を説明する図である。 取得部による第一画像の別の取得例を説明する図である。 第一実施形態の画像処理システムの処理の流れを説明するシーケンス図である。 本発明に係る第二実施形態の画像処理システムの構成を簡略化して表すブロック図である。 本発明に係る第三実施形態の画像処理システムの構成を簡略化して表すブロック図である。 第三実施形態において、ユーザ端末の表示部に表示される表示例を表す図である。 本発明に係る第四実施形態の画像処理システムの構成を簡略化して表すブロック図である。 本発明に係る第五実施形態の画像処理システムの構成を簡略化して表すブロック図である。 本発明に係る第六実施形態の画像処理システムの構成を簡略化して表すブロック図である。 ハードウェア構成の一例を表すブロック図である。 本発明に係る第七実施形態の画像処理システムの構成を簡略化して表すブロック図である。 本発明に係る第八実施形態の画像処理システムの構成を簡略化して表すブロック図である。
以下に、本発明に係る実施の形態を図面を参照しつつ説明する。
<第一実施形態>
図1は本発明に係る第一実施形態の構成を表すブロック図である。第一実施形態における画像処理システム100は、録画装置200と、記憶装置300と、検知装置400とを有している。それら装置間における情報通信は情報通信網を通して行われる。
録画装置200は、第一記憶部20と、制御部21と、第一送信部22と、取得部23とを有している。この録画装置200は、カメラ等の撮像装置(図示せず)に接続されている。当該録画装置200の第一記憶部20は、撮像装置により撮影された撮影画像を第一画像として記憶する。また、第一記憶部20は、第一画像を特定する特定情報を記憶する。それら第一画像と、当該第一画像に関する特定情報とは関連付けられた状態で第一記憶部20に記憶される。
ここで、特定情報の具体例を挙げる。図2は、特定情報の具体例を表により表す図である。図2の例では、画像の識別情報である画像ID(IDentification)に、複数の特定情報が関連付けられている。図2に表されている特定情報は、“撮影日”、“撮影時刻”、“撮影場所”、“撮像装置の識別情報(ID(IDentification))”、“画像の特徴量”である。図2における特定情報を参照すると、画像ID10000〜13600の画像は、“2015年4月1日”に、“店舗A”において、“撮像装置A1”によって撮影された画像であることが分かる。また、例えば、画像ID10000の画像は、“10時00分00秒”に撮影されており、特徴量が“aaa”であることも分かる。
なお、図2の例では、特定情報である“撮影場所”は、店舗名等の場所を表す名称であるが、“撮影場所”は、緯度経度や、住所等の場所を特定できる名称以外の情報であってもよい。また、特定情報は、図2に表される特定情報に限定されず、画像を特定するのに有効な情報であれば、適宜な情報が特定情報として設定される。
また、第一記憶部20に記憶される特定情報は、カメラ等の撮像装置が生成した情報であってもよいし、録画装置200が第一画像を分析することにより生成した情報であってもよい。
制御部21は、第一記憶部20から第一画像を取得し、当該取得した第一画像に基づいて第二画像(ダイジェスト画像)を生成する機能を備えている。第二画像は、第一画像の容量を小さくする処理と、複数の第一画像の中から、与えられた抽出条件に該当する画像を抽出する処理との一方又は両方の処理によって得られる画像である。図3は、第一記憶部20が記憶している複数の第一画像の中から制御部21が画像を抽出することによって、第二画像を生成する具体例を模式的に表す図である。図3の例では、画像IDが“10000”、“10005”、“10010”である3枚の第一画像が第二画像として抽出されている。
第二画像は、このように、複数の第一画像から抽出条件に基づいて抜き出された画像であってもよい。あるいは、第二画像は、第一画像の全て又は一部の解像度を低下させた画像、あるいは、第一画像を構成する画素のうちの一部分を切り出すことにより生成される画像であってもよい。さらに、第二画像は、第一画像の色情報を圧縮することにより生成される画像であってもよい。このように、第二画像を生成する手法には、様々な手法が有り、これら手法の中から、例えば第一画像の解像度や撮影の時間間隔等を考慮して、適宜な手法が採用されてよいものである。
さらに、制御部21は、生成した第二画像の基となった第一画像(以下、このような第一画像を基礎画像とも記す)に関連付けられている特定情報に基づいた特定情報をその生成した第二画像に関連付ける機能を備えている。なお、基礎画像(第一画像)に複数の特定情報が関連付けられている場合には、基礎画像の全ての特定情報が第二画像に関連付けられてもよいし、基礎画像の特定情報の中から選択された特定情報が第二画像に関連付けられてもよい。基礎画像の特定情報の中から第二画像の特定情報が選択される場合には、検知装置400が実行する処理で使用する情報を考慮して選択される。
第一送信部22は、生成された第二画像と、当該第二画像に関する特定情報とを関連付けた状態で記憶装置300に向けて送信する機能を備えている。
記憶装置300は、第二記憶部30を有する。第二記憶部30は、録画装置200の第一送信部22から送信されてきた第二画像および特定情報を関連付けられた状態で記憶する。
検知装置400は、特定部40と、検知部41とを有する。検知装置400は、予め設定されたタイミングで、記憶装置300の第二記憶部30から第二画像および特定情報を取り込む機能を備えている。そのタイミングとは、予め設定された時間間隔毎であってもよいし、第二記憶部30に記憶されている第二画像の容量が閾値に達したタイミングであってもよいし、ユーザからの指示を受けたタイミングであってもよい。なお、第二記憶部30に記憶されている第二画像の容量に基づいたタイミングで取り込み動作が行われる場合には、例えば、第二画像の容量が閾値に達したことを知らせる通知が記憶装置300から検知装置400に送信される。
検知部41は、第二記憶部30から取得した第二画像の中から、与えられた検索条件を満たす第二画像を検知(検索)する機能を備えている。その検索条件とは、第二記憶部30から取得した第二画像を絞り込む条件であり、画像処理システム100のユーザ等により適宜に設定される。その具体例を挙げると、例えば、検索条件は、行方不明者や犯罪の容疑者等の人物を特定する情報に基づいた条件である。また、検索条件は、危険物等の物を特定する情報に基づいた条件であってもよい。なお、人物を特定する情報には、個人を特定しうる顔の特徴、歩き方、性別、年代、髪の色、身長等の情報が含まれる。また、物を特定する情報には、形状の特徴、色、大きさ等の情報が含まれる。これらの情報は、輝度情報、色情報(周波数情報)などを数値化した情報によって表すことができる。さらに、第二画像を絞り込む検索条件には、画像が撮影された日時、場所に関する情報を用いてもよい。さらに、検索条件は、複数の情報の組み合わせによる条件であってもよい。
特定部40は、検知部41により検知された(絞り込まれた)第二画像に関連付けられている特定情報を利用して、第一画像の検索条件を生成する機能を備えている。その第一画像の検索条件は、検知部41が利用した検索条件を、特定情報を利用して書き換えられた条件とも言える。
特定部40が生成する検索条件の具体例を以下に述べる。
例えば、特定部40が生成する検索条件は、第二画像に関連付けられている特定情報である“撮影日”と“撮影時間”を利用した検索条件であるとする。この場合には、特定部40は、検知部41により検知された第二画像に関連付けられている特定情報である“撮影日”と“撮影時間”に、時間幅を持たせた条件を検索条件とする。例えば、検知部41により図3に表される第二画像(画像ID:10005)が検知(検索)されたとする。この検知された第二画像(画像ID:10005)の特定情報による撮影日時は、2015年4月1日10時00分5秒である。特定部40は、その撮影日時に、ユーザやシステム設計者等によって予め与えられている時間幅(ここでは、±3秒とする)を持たせた条件(つまり、撮影日時が2015年4月1日10時00分2秒〜8秒という条件)を検索条件として生成する。
また、別の例として、特定部40が生成する検索条件は、第二画像に関連付けられている特定情報である“撮影場所”を利用した検索条件であるとする。この場合には、特定部40は、その第二画像に関連付けられている“撮影場所”を検索条件としてもよいし、“撮影場所”に検索範囲を広げる情報が付加された条件を検索条件としてもよい。例えば、検知部41により図3に表される第二画像(画像ID:10000)が検知されたとする。この検知された第二画像(画像ID:10000)の特定情報である“撮影場所”は、図2に表されるように、店舗Aである。特定部40は、“店舗A”(つまり、撮影場所が店舗Aであるという条件)を検索条件としてもよい。あるいは、特定部40は、“店舗A”に、ユーザやシステム設計者等により与えられた検索範囲を広げる情報(ここでは、6km圏内)が付加された条件(つまり、撮影場所が店舗Aを中心にした6km圏内であるという条件)を検索条件とする。
なお、この検索条件は、より検索項目を明確化することが好ましい。この場合には、検知装置400には、図4に表されるような店舗間の距離の情報が与えられる。そして、特定部40は、その情報を利用して、店舗Aを中心にした6km圏内の店舗(つまり、店舗A、店舗B、店舗C)を検知する。さらに、特定部40は、撮影場所が店舗Aを中心にした6km圏内であるという検索条件を、撮影場所が店舗A、店舗B、店舗Cであるという検索条件に置換する。
さらに、別の例として、特定部40が生成する検索条件は、第二画像に関連付けられている特定情報である“特徴量”を利用した検索条件であるとする。“特徴量”とは、人物や物を特徴づける情報を定量化した情報である。例えば、輝度情報、色情報(周波数情報)などを数値化した情報が特徴量にあたる。特徴量の算出手法には、様々な手法が有り、ここでは、適宜な手法により特徴量が算出される。
特徴量を利用する場合には、特定部40は、検知部41により検知された第二画像に関連付けられている特定情報である“特徴量”に検索範囲を広げる情報が付加された条件を検索条件とする。例えば、検知部41により検知された第二画像(画像ID:10005)の特定情報である“特徴量”が、図3に表されているように、“fff”であるとする(なお、ここでは、fは正の整数とする)。特定部40は、特徴量“fff”の一部を変化させた特徴量を検索範囲を広げる情報とする。例えば、特定部40は、特徴量“ffX”、“fXf”、“Xff”(Xは、任意の正の整数とする)を、検索範囲を広げる情報として生成し、生成した特徴量を特徴量“fff”と共に検索条件とする。
さらにまた、別の例として、特定部40が生成する検索条件は、第二画像に関連付けられている特定情報である“撮像装置ID”と“撮影日”と“撮影時間”を利用した検索条件であるとする。この場合には、特定部40は、検知部41により検知された第二画像に関連付けられている特定情報である“撮影日”と“撮影時間”に、“撮像装置ID”に応じた時間幅を持たせた条件を検索条件とする。例えば、検知部41により図3に表される第二画像(画像ID:10005)が検知(検索)されたとする。この検知された第二画像(画像ID:10005)の特定情報による撮影日時は、2015年4月1日10時00分5秒である。また、検知された第二画像の特定情報である“撮像装置ID”は、A1である。
ここで、撮像装置ID:“A1”には、“撮影時間の5秒後まで”という時間幅の情報が設定され、撮像装置ID:“A2”には、“撮影時間の前後3秒間”という時間幅の情報が設定される。このように、撮像装置ID毎に設定された時間幅の情報が検知装置400に与えられる。
特定部40は、検知部41により検知された第二画像に関連付けられている特定情報である撮像装置ID:“A1”に応じた時間幅の情報(つまり、“撮影時間の5秒後まで”)を検知する。そして、特定部40は、第二画像に関連付けられている特定情報に基づいた撮影日時に、その時間幅を持たせた条件を検索条件として生成する。つまり、この場合の検索条件は、撮影日時が2015年4月1日10時00分5秒〜2015年4月1日10時00分10秒であるという条件である。
さらにまた、別の例として、特定情報である“撮像装置ID”には、時間幅の情報に加えて、別の撮像装置IDの情報が関連付けられていてもよい。例えば、撮像装置ID:“A1”には、時間幅の情報(つまり、“撮影時間の5秒後まで”)のほかに、別の撮像装置ID:“A2”が関連付けられる。この場合には、特定部40は、撮像装置ID:“A1”が撮影した画像および撮像装置ID:“A2”が撮影した画像のうち、撮影日時が2015年4月1日10時00分5秒〜2015年4月1日10時00分10秒であるという条件を検索条件として生成する。
上記のように特定部40により生成された検索条件は録画装置200に送信される。
録画装置200の取得部23は、検知装置400の特定部40から送信されてきた検索条件を、第一記憶部20に記憶されている第一画像の特定情報と照合する機能を備えている。さらに、取得部23は、その検索条件に該当する特定情報が第一記憶部20に有った場合には、その特定情報に関連付けられている第一画像を、第一記憶部20から取得する機能を備えている。
具体的には、例えば、検索条件が、撮影日時が2015年4月1日10時00分2秒〜8秒であるという検索条件であるとする。この場合には、取得部23は、第一画像に関連付けられている特定情報である“撮影日”と“撮影時間”に基づいて、検索条件に該当する図5に表されるG範囲内の第一画像を取得する。これにより、例えば、ユーザは、探している対象物が撮影されている可能性の高い時間帯の第一画像(つまり、監視カメラ等により撮影された画像)を得ることができる。
また、例えば、検索条件が、店舗Aを中心にした6km圏内の店舗(つまり、店舗A、店舗B、店舗C)という検索条件であるとする。この場合には、取得部23は、第一画像に関連付けられている特定情報である“撮影場所”に基づいて、検索条件に該当する第一画像を取得する。これにより、例えば、ユーザは、探している対象物が撮影されている可能性の高い場所で撮影された第一画像(つまり、監視カメラ等により撮影された画像)を得ることができる。
さらに、例えば、検索条件が、特徴量が“fff”、“ffX”、“fXf”、“Xff”であるという検索条件であるとする。この場合には、取得部23は、第一画像に関連付けられている特定情報である“特徴量”に基づいて、検索条件に該当する図6においてハッチングされている第一画像を取得する。これにより、例えば、ユーザは、探している対象物および当該対象物に類似している物体が撮影されている第一画像(つまり、監視カメラ等により撮影された画像)を得ることができる。
さらに、検索条件が、撮像装置ID:“A1”が撮影した画像および撮像装置ID:“A2”が撮影した画像のうち、撮影日時が2015年4月1日10時00分5秒〜2015年4月1日10時00分10秒であるという検索条件であるとする。この場合には、取得部23は、第一画像に関連付けられている特定情報である“撮像装置ID”と“撮影日”と“撮影時間”に基づいて、検索条件に該当する第一画像を取得する。これにより、例えば、ユーザは、探している対象物が撮影されている可能性の高い場所および時間帯にて撮影された第一画像(つまり、監視カメラ等により撮影された画像)を得ることができる。
上記のように、取得部23により取得された第一画像は、録画装置200に接続されているディスプレイ装置に表示されてもよいし、録画装置200から、予め設定された送信先のユーザ端末に向けて送信されてもよい。
第一実施形態の画像処理システム100は上記のように構成されている。これにより、第一実施形態の画像処理システム100は次のような効果を得ることができる。すなわち、第一実施形態の画像処理システム100は、第一画像の容量を小さくする処理と、複数の第一画像の中から、与えられた抽出条件に該当する画像を抽出する処理との一方又は両方の処理によって、第二画像(ダイジェスト画像)を得る。そして、当該画像処理システム100は、その第二画像の中から検索条件に該当する画像を検知する。このため、画像処理システム100は、第一画像の中からその検索条件に該当する画像を検知する場合よりも、処理の負荷が小さくなり、検知処理に要する時間の短縮化や、検知精度の向上を図ることができる。
さらに、画像処理システム100は、検索条件に該当する第二画像に関連付けられている特定情報を利用して第一画像の検索条件を生成し、生成した検索条件と特定情報との照合により第一画像を検索する。このため、画像処理システム100は、画像処理により検索条件に該当する第一画像が有るか否かを判断する等という検索処理を行う場合よりも、検索処理の負荷を軽減でき、かつ、検索処理に要する時間の短縮化を図ることができる。
さらに、画像処理システム100では、録画装置200から記憶装置300には、第一画像ではなく第二画像を送信する。このため、画像処理システム100では、録画装置200から記憶装置300に全ての第一画像を送信する場合に比べて、録画装置200と記憶装置300との間の通信量を削減することができる。これにより、画像処理システム100は、録画装置200と記憶装置300との間の通信に、高速かつ大容量の情報通信網を採用しなくともよいという効果を得ることができる。
上記のように、第一実施形態の画像処理システム100は、処理時間の短縮化を図ることができ、かつ、システム構築のコストを抑制できる上に、ユーザのニーズに合った検索の対象物が撮影されている第一画像を高い確率で抽出(検索)できる。
以下に、第一実施形態の画像処理システム100の動作例を図7を利用して説明する。図7は、第一実施形態の画像処理システム100の動作例を表すシーケンス図である。
例えば、録画装置200は、撮像装置により撮影された画像(第一画像)を受信すると(図7のステップS1)、その受信した第一画像に特定情報を関連付け、これら第一画像および特定情報を第一記憶部20に格納する。
また、録画装置200の制御部21は、第一記憶部20が記憶している第一画像および特定情報を取得する。そして、制御部21は、取得した第一画像の容量を小さくする処理と、複数の第一画像の中から抽出条件に基づいて画像を抽出する処理との一方又は両方を実行することにより、第二画像を生成する(ステップS2)。さらに、制御部21は、生成した第二画像の基となった第一画像(基礎画像)に関連付けられている特定情報に基づいて、第二画像を特定する特定情報を確定する。そして、第一送信部22は、生成された第二画像とその特定情報とを関連付けた状態で記憶装置300に送信する。
記憶装置300の第二記憶部30は、第一送信部22から受信した第二画像と特定情報とを関連付けた状態で記憶する(ステップS3)。
検知装置400では、検知部41は、記憶装置300の第二記憶部30から取得した第二画像の中から、与えられた検索条件に該当する第二画像が有るか否かを判断する(ステップS4)。そして、検索条件に該当する第二画像が無いと検知部41が判断した場合には、検知装置400は処理を終了し、次の処理に備えた待機状態となる。一方、検索条件に該当する第二画像が有ると検知部41が判断した場合には、特定部40は、検索条件に該当する第二画像に関連付けられている特定情報を利用した検索条件を生成する(ステップS5)。生成された検索条件は録画装置200に送信される。
そして、録画装置200の取得部23は、検知装置400の特定部40から検索条件を受け取ると、受け取った検索条件を第一記憶部20に記憶されている特定情報と照合する。取得部23は、その照合により、検索条件に該当する特定情報が有ると判断した場合には、その特定情報に関連付けられている第一画像を第一記憶部20から取得する(ステップS6)。
このような処理により、第一実施形態の画像処理システム100は、処理時間の短縮化を図ることができ、かつ、システム構築のコストを抑制できる上に、ユーザのニーズに合った検索の対象物が撮影されている第一画像を高い確率で抽出(検索)できる。
<第二実施形態>
以下に、本発明に係る第二実施形態を説明する。なお、第二実施形態の説明において、第一実施形態の画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
図8は、第二実施形態の画像処理システムの構成を簡略化して表すブロック図である。第二実施形態では、画像処理システム100は、複数の録画装置200を備え、各録画装置200は、互いに異なる監視エリア(図8の例では店舗Aと店舗B)に関連付けられて設置されている。すなわち、図8の例では、店舗A,Bの敷地内には、それぞれ、監視カメラ等の撮像装置(図示せず)が設置され、店舗A,Bの敷地内は、監視エリアに設定されている。録画装置200は、店舗A,Bにそれぞれ設置され、設置されている店舗A,Bにおける撮像装置に接続されている。
なお、図8では、録画装置200は、2つの店舗に設置されているが、録画装置200が設置される店舗数は限定されない。
また、第二実施形態では、第二画像には、特定情報として、少なくとも“撮影場所”の情報が関連付けられている。検知装置400の特定部40は、生成した第一画像の検索条件を、その特定情報に含まれている“撮影場所”の情報から検知(確定)した送信先の録画装置200に向けて送信する。
この第二実施形態の画像処理システム100の上記以外の構成は、第一実施形態の画像処理システム100と同様である。
第二実施形態の画像処理システム100は、第一実施形態の画像処理システム100と同様な構成を備えているので、第一実施形態と同様の効果を得ることができる。また、第二実施形態では、記憶装置300と検知装置400は、複数の録画装置200に共通の装置である。このため、第二実施形態の画像処理システム100は、録画装置200と記憶装置300と検知装置400がユニット化されている(一つの装置として組み合わされている)場合に比べて、各監視エリアに配置する装置の簡素化を図ることができる。これにより、第二実施形態の画像処理システム100は、録画装置200と記憶装置300と検知装置400がユニット化されている場合に比べて、例えば、各店舗において導入しやすくなる。
<第三実施形態>
以下に、本発明に係る第三実施形態を説明する。なお、この第三実施形態の説明において、第一実施形態又は第二実施形態の画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
図9は、第三実施形態の画像処理システムの構成を簡略化して表すブロック図である。第三実施形態の画像処理システム100は、第一実施形態あるいは第二実施形態の画像処理システム100の構成に加えて、第一画像の検索条件をユーザ端末500にて指定可能にする構成を備えている。ここでのユーザ端末500は、通信機能と表示機能と情報入力機能を備えていれば、特に限定されない。
すなわち、第三実施形態では、検知装置400は、特定部40と検知部41に加えて、さらに、第二送信部42を備えている。この第三実施形態の画像処理システム100は、例えば、第一画像の検索条件の自動生成モードと、手動生成モードとを択一的に選択可能な構成を備える。自動生成モードが選択されている場合には、第一実施形態あるいは第二実施形態と同様に、検知装置400の特定部40が第一画像の検索条件を生成する。手動生成モードが選択されている場合には、第二送信部42が、検知部41により検知(検索)された第二画像とその特定情報をユーザ端末500に向けて送信する。なお、第二送信部42と、ユーザ端末500との間の通信手法は限定されず、適宜な通信手法が採用される。
この第三実施形態の画像処理システム100では、例えば、ユーザ端末500は、第二画像と特定情報を受け取ると、それら第二画像と特定情報をディスプレイ装置に表示する。図10には、ユーザ端末500のディスプレイ装置に表示される第二画像と特定情報の具体例が表されている。このような表示を見たユーザによって第一画像の検索条件となる特定情報が指定された場合には、その指定された特定情報がユーザ端末500から録画装置200に向けて発信される。また、ユーザによって第二画像が指定された場合には、その第二画像に関連付けられている特定情報が第一画像の検索条件としてユーザ端末500から録画装置200に向けて発信される。なお、ユーザ端末500における表示態様は図10の例に限定されない。
録画装置200は、第一実施形態あるいは第二実施形態の構成に加えて、さらに、受信部24を備える。受信部24は、ユーザ端末500が発信した特定情報を第一画像の検索条件として受け取る。そして、取得部23は、受信部24が第一画像の検索条件を受け取った場合には、当該検索条件に基づいて第一画像を第一記憶部20から取得する。
第三実施形態の画像処理システム100の上記以外の構成は、第一実施形態あるいは第二実施形態と同様である。なお、録画装置200は、さらに、取得部23が取得した第一画像を、検索条件を発信したユーザ端末に向けて送信する構成を備えてもよい。
この第三実施形態の画像処理システム100は、第一画像の検索条件をユーザが指定可能な構成を備えている。これにより、第三実施形態の画像処理システム100は、ユーザの使い勝手を向上させることができる。
また、第三実施形態では、検知部41により絞り込まれた第二画像から、さらに、ユーザによって第二画像が絞り込まれるので、取得部23での処理の負荷を軽減させることができる。さらに、取得部23が取得した第一画像がユーザ端末に送信される構成を備える場合には、録画装置200からユーザ端末に送信される第一画像の容量を小さくすることができる。
なお、上記例では、第一画像の検索条件の自動生成モードと、手動生成モードとが択一的に選択される例を説明しているが、自動+手動生成モードがさらに設定され、当該モードをも選択可能にしてもよい。自動+手動生成モードが選択された場合には、例えば、まず、上記したような自動生成モードの処理が実行され取得部23により取得された第一画像がユーザに提示される。その後に、手動生成モードの処理が実行され当該処理により取得された第一画像がユーザに提示される。
<第四実施形態>
以下に、本発明に係る第四実施形態を説明する。なお、この第四実施形態の説明において、第一又は第二又は第三の実施形態の画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
図11は、第四実施形態の画像処理システムの構成を簡略化して表すブロック図である。第四実施形態の画像処理システム100は、第一又は第二又は第三の実施形態の画像処理システム100の構成に加えて、指定部60を備えた指定端末600を備えている。なお、図11では、1つの録画装置200のみが図示されているが、第二実施形態と同様に、複数の録画装置200が備えられていてもよい。
指定部60は、検知部41が第二画像を絞り込む検索条件の検索項目をユーザから受け付け、受け付けた検索項目を検知装置400に送信する機能を備えている。
検知部41は、第二画像を絞り込む検索処理に利用する検索条件に、指定部60から受け取った検索項目を追加し、この検索項目が追加された検索条件に基づいて第二画像の検索処理が行われる。
第四実施形態の画像処理システム100の上記以外の構成は、第一又は第二又は第三の実施形態の画像処理システム100の構成と同様である。
第四実施形態の画像処理システム100は、第二画像の検索処理に、ユーザのニーズをより取り込み易くする構成を備えている。このため、当該画像処理システム100は、ユーザのニーズに、より合った第一画像を提供することが可能になる。
<第五実施形態>
以下に、本発明に係る第五実施形態を説明する。なお、この第五実施形態の説明において、第一〜第四の実施形態の画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
図12は、第五実施形態の画像処理システムの構成を簡略化して表すブロック図である。第五実施形態の画像処理システム100は、第一〜第四の何れか一つの実施形態の画像処理システム100の構成に加えて、詳細検知装置700を備えている。また、第五実施形態では、録画装置200の第一送信部22は、取得部23が取得した第一画像を詳細検知装置700に向けて送信する。なお、取得部23が詳細検知装置700に第一画像を送信するタイミングは、設定された時間間隔毎であってもよいし、取得部23が第一画像を取得したタイミングであってもよいし、ユーザが指示したタイミングであってもよい。
詳細検知装置700は、詳細検知部70と表示部71を含む。詳細検知部70は、録画装置200から受信した第一画像の中から、予め設定された詳細検索条件を満たす第一画像を検知(検索)する機能を備えている。詳細検知部70が検知処理を実行するタイミングは、設定された時間間隔毎でもよいし、詳細検知装置700の記憶部(図示せず)に記憶された第一画像の容量が閾値に達したタイミングであってもよいし、ユーザが指示したタイミングであってもよい。
詳細検知部70が処理に利用する詳細検索条件は、検知装置400の検知部41が第二画像の検索処理に利用する検索条件と同じ内容又はより詳細な(限定される)条件である。詳細検索条件は、システム設計者やユーザ等が適宜に設定できるものである。具体例を挙げると、例えば、検知部41が利用する検索条件が、“赤い帽子を被っている”という条件であった場合に、詳細検索条件は、“赤い帽子を被っている”および“指定した人物Aの顔と類似する” という条件とする。また、例えば、検知部41が利用する検索条件が、“人物Aとの類似度が60%以上”という条件であった場合に、詳細検索条件は、“人物Aとの類似度が90%以上” という条件とする。
表示部71は、詳細検知部70による検索結果をディスプレイ装置等に表示する機能を備えている。表示部71による検索結果の表示態様は適宜設定されてよく、限定されない。なお、詳細検索条件に該当する第一画像が無かった場合には、表示部71は、「条件に合う画像はありません。」等のコメントを表示してもよいし、検索処理の対象であった全ての第一画像を表示してもよい。
第五実施形態の画像処理システム100の上記以外の構成は、第一〜第四の実施形態の画像処理システム100の構成と同様である。この第五実施形態の画像処理システム100は、より精度良くユーザのニーズに合った第一画像を提供することができる。すなわち、検知部40は、第二画像(ダイジェスト画像)の中から検索条件に該当する第二画像を検索し、取得部23は、その検索結果を利用して生成された検索条件に基づいた第一画像を取得している。この第五実施形態の画像処理システム100は、そのように取得部23により取得された第一画像(換言すれば、絞り込まれた第一画像)に、詳細検知部70により検索処理を行うので、さらに、第一画像を検索条件に応じて絞り込むことができる。
<第六実施形態>
以下に、本発明に係る第六実施形態を説明する。
図13は、第六実施形態の画像処理システムの構成を簡略化して表すブロック図である。第六実施形態の画像処理システム104は、検知部1043と取得部1044を備えている。検知部1043は、予め設定された検索条件を満たす第二画像を検知(検索)する機能を備えている。取得部1044は、検知された第二画像に応じた第一画像を取得する機能を備えている。
図14は、第六実施形態の画像処理システム104を実現するハードウェア構成を簡略化して表すブロック図である。すなわち、画像処理システム104は、ROM(Read-Only Memory)7と、通信制御部8と、RAM(Random Access Memory)9と、大容量記憶部10と、CPU(Central Processing Unit)11とを有している。
CPU11は演算制御用のプロセッサであり、プログラムを実行することによって、検知部1043と取得部1044の各機能を実現する。ROM7は、初期データなどの固定データおよびコンピュータプログラム(プログラム)を記憶する記憶媒体である。通信制御部8は、外部の装置との通信を制御する構成を備えている。RAM9は、CPU11が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM9には、各実施形態の実現に必要な種々のデータを記憶する容量が確保される。大容量記憶部10は、不揮発性記憶部であり、各実施形態の実現に必要なデータベース等のデータや、CPU11が実行するアプリケーションプログラム等を記憶する。
なお、第一〜第五の実施形態の画像処理システムにおける録画装置200および検知装置400も、図14に表されるハードウェア構成を有し、前記したような各機能が実現される。
<第七実施形態>
以下に、本発明に係る第七実施形態を説明する。なお、この第七実施形態の説明において、第一〜第六の実施形態の画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
図15は第七実施形態の画像処理システムの構成を簡略化して表すブロック図である。すなわち、第七実施形態の画像処理システム100においては、録画装置200の第一記憶部20は、大容量記憶部10(図14参照)によって実現される。制御部21および取得部23は、CPU12(図14におけるCPU11に相当)によって実現される。第一送信部22および受信部24は、通信制御部13(図14における通信制御部8に相当)によって実現される。
記憶装置300の第二記憶部30は、大容量記憶部14(図14における大容量記憶部10に相当)によって実現される。第二送信部42は、通信制御部15(図14における通信制御部8に相当)によって実現される。
検知装置400の特定部40および検知部41は、CPU16(図14におけるCPU11に相当)によって実現される。
指定端末600の指定部60は、ディスプレイ17によって実現される。また、指定部60は、マウス、キーボード、指定端末600のハードキー等によって実現される。
詳細検知装置700の詳細検知部70は、CPU18(図14におけるCPU11に相当)によって実現される。表示部71は、ディスプレイ19によって実現される。
<第八実施形態>
以下に、本発明に係る第八実施形態を説明する。なお、この第八実施形態の説明において、第一〜第七の実施形態の画像処理システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
図16は第八実施形態の画像処理システムの構成を簡略化して表すブロック図である。第八実施形態の画像処理システム100は、第一実施形態の画像処理システム100の構成に加えて、撮像装置8000を備えている。
撮像装置8000は、店舗や施設に設置された防犯カメラ等の撮像装置である。撮像装置8000は、撮影部801と、第一記憶部810と、制御部820と、第三送信部830とを備えている。第八実施形態では、第一記憶部は録画装置200ではなく、撮像装置8000に第一記憶部810として備えられている。
すなわち、撮影部801は店舗等の映像を撮影し、第一画像を生成する。第一記憶部810は、撮影部801が生成した第一画像をその特定情報と関連付けて記憶する。なお、特定情報は撮像装置が生成してもよいし、他の装置が生成してもよい。
制御部820は、第一記憶部810から第一画像およびその特定情報を取得する。そして、制御部820は、第一画像に基づいて、第三画像と第四画像(生成画像)を生成する。第四画像は第三画像よりも容量が小さい画像である。第三画像および第四画像は、それぞれ、第一画像の容量を小さくする処理と、複数の第一画像の中から、与えられた抽出条件に該当する画像を抽出する処理との一方又は両方の処理によって得られる画像である。つまり、第三画像と第四画像は、第一画像からいくつかの画像を抜き出すことにより、生成されてもよいし、第一画像が有する画素のうちの一部を切り出すことにより、生成されてもよい。また、第三画像と第四画像は、第一画像の全て又は一部の解像度を低下させることにより、生成されてもよい。さらに、第三画像と第四画像は、第一画像を圧縮することにより、生成されてもよい。なお、第三画像はJPEG(Joint Photographic Experts Group)方式等の方式を用いて生成された静止画像であってもよい。また、第四画像は、H.264方式等の方式を用いて生成された動画像であってもよい。第三画像を生成する処理と、第四画像を生成する処理は、同様であってもよいし、異なっていてもよい。
さらに、制御部820は、第一画像の特定情報に基づいて、生成した第三画像および第四画像を特定する特定情報を確定する。
第三送信部830は、制御部820が生成した第三画像および第四画像を録画装置200に送信する。このとき、第三送信部830は、第三画像を特定する特定情報および第四画像を特定する特定情報も録画装置200に送信する。
録画装置200は、ここでは、店舗等に設置されたSTB(セットトップボックス)等の装置である。録画装置200は、制御部21と第一送信部22と取得部23を備え、さらに、第一記憶部20に代えて第三記憶部901を備える。第三記憶部901は、第三送信部830から受信した第三画像および第四画像をそれら特定情報と関連付けて記憶する。
制御部21は、第一画像に代えて、第三画像に基づいて第二画像を生成する機能を備える。つまり、制御部21は、第三記憶部901に記憶されている第三画像に、容量を小さくする処理と、それら複数の画像の中から、与えられた抽出条件に該当する画像を抽出する処理との一方又は両方の処理を行うことにより、第二画像を生成する。つまり、制御部21は、第三画像の容量を小さくすることにより、第二画像を生成する。また、制御部21は、第三画像からいくつかの画像を抜き出すことにより、第二画像を生成してもよいし、第三画像が有する画素のうちの一部を切り出すことにより、第二画像を生成してもよい。さらに、制御部21は、第三画像の全て又は一部の解像度を低下させることにより、第二画像を生成してもよいし、第三画像を圧縮することにより、第二画像を生成してもよい。
制御部21は、さらに、第三画像に関連付けられている特定情報に基づいて、生成した第二画像を特定する特定情報を確定する。
第一送信部22は、制御部21が生成した第二画像およびその特定情報を記憶装置300に送信する機能を備えている。記憶装置300は、第二記憶部30に第二画像を記憶する機能を備えている。この記憶装置300は、例えばクラウドサーバによって実現される。
録画装置200の取得部23は、特定情報を利用して生成された検索条件を検知装置400から受信すると、その検索条件を第三記憶部901の第四画像に関連付けられている特定情報と照合する機能を備えている。そして、取得部23は、検索条件に該当する第四画像を第三記憶部901から取得する機能を備えている。
なお、第三送信部830は、第三画像を、録画装置200ではなく、記憶装置300に送信してもよい。この場合には、制御部21は、第三画像(第一画像)に基づいて第二画像を生成する処理は行わない。また、記憶装置300の第二記憶部30は、第三送信部830から受信した第三画像を第二画像として記憶する。
第八実施形態の画像処理システム100は、図16に表すようなハードウェア構成によって実現される。例えば、撮像装置8000の制御部820は、CPU又はDSP(Digital Signal Processor)であるCPU/DSP82によって実現される。撮影部801は、CCD(Charge Coupled Device)等のイメージセンサでよって実現される。第一記憶部810は、RAM(Random Access Memory)などの大容量記憶部81によって実現される。第三送信部830は、通信制御部83(図14における通信制御部8)によって実現される。
録画装置200の第三記憶部901は、大容量記憶部90(図14における大容量記憶部10)によって実現される。取得部23および制御部21は、CPU91(図14におけるCPU11)によって実現される。第一送信部22は、通信制御部92(図14における通信制御部8)によって実現される。
記憶装置300の第二記憶部30は、大容量記憶部14(図14における大容量記憶部10)によって実現される。
検知装置400の特定部40および検知部41は、CPU16(図14におけるCPU11)によって実現される。
第八実施形態では、撮像装置8000は、撮影画像である第一画像をそのまま録画装置200に送信するのではなく、第一画像に基づいて生成した第三画像および第四画像を送信している。撮像装置8000と録画装置200との間における第三画像および第四画像の通信量は、第一画像の通信量よりも小さい。このため、第八実施形態の画像処理システム100は、撮像装置8000から録画装置200に画像を送信するために高速なネットワークを必要しないため、低コストかつ処理の速い画像処理システムを提供できる。
<その他の実施形態>
なお、本発明は上記各実施の形態に限定されず、様々な実施の態様を採り得る。例えば、録画装置200の取得部23が第一画像を取得した後に、検知部41がその取得した第一画像をさらに絞り込む処理を行ってもよい。例えば、第一記憶部20には動画が記憶され、第二記憶部30にはその動画から抽出された静止画が記憶されているとする。この場合には、まず、検知部41は、第二記憶部30に記憶されている第二画像である静止画から検索条件(例えば顔等の特徴量を利用した条件)に該当する静止画を検索(検知)する。そして、この検索された第二画像に関連付けられている特定情報を利用して特定部40が検索条件を生成し、取得部23が、その特定部40による検索条件に基づいた第一画像(動画)を取得すると、当該第一画像が検知装置400に送信される。その後、検知部41は、受信した第一画像(動画)の中から、動画用の検索条件(例えば歩き方の動きに基づいた特徴量を利用した条件)に該当する第一画像を検索(検知)する。
このような第一画像(動画)の検索処理は、静止画を考慮した検索条件と、動画を考慮した検索条件との両方を利用した検索を行うことができるので、人物等の検索を高精度に行うことができる。
なお、上記のような検知部41の検索処理は複数回、例えば検索条件を替えて繰り返し実行されてもよい。
また、各実施形態における画像処理システム100は、他の情報管理システムと連動することにより、情報分析の高性能化および高速化を図ってもよい。例えば、画像処理システム100は、販売時点情報管理(POS(Point Of Sales))システムと連動することで、顧客の購買行動を分析することができる。具体的には、まず、画像処理システム100における検知部41が、検索対象の人物を表す特徴量に基づいた検索条件に該当する第二画像を検索(検知)する。この検索結果に基づいた特定部40と取得部23の処理により取得された第一画像に基づいて、検索対象の人物がどのくらいの時間、どの店舗に滞在していたかが算出される。なお、この算出は、システムのユーザが行ってもよいし、画像処理システム100に設けられている算出部(図示せず)が行ってもよい。
一方、画像処理システム100は、POSシステムから、検索対象の人物が商品を購入したか否か、また、どんな商品を購入したかというような購買状況の情報を取得する。これにより、画像処理システム100は、店舗での滞在時間と購買行動との関係性を得ることができる。なお、POSシステムは、撮像装置を備えている。この撮像装置は、会計中の顧客を撮影できる位置に設けられる。画像処理システム100は、その撮像装置の撮影画像を利用する。また、POSシステムに備えられるPOS端末は、例えば店員等により入力された情報に基づいて顧客の商品購買情報を生成する。さらに、POSシステムの記憶部は、その商品購買情報と、撮像装置が撮像した画像の特徴量とを関連付けて記憶する。これにより、POSシステムは、商品購買情報と、撮像装置に撮影されている人物とを関連付けることができる。
なお、各実施形態における各構成要素は、クラウドコンピューティングによって実現されてもよい。例えば、第一記憶部20は、店舗に設置された記憶装置又は撮像装置における記憶部により構成されてもよい。また、第二記憶部30はクラウドサーバにおける記憶装置により構成されてもよい。さらに、その他の構成要素もクラウドサーバによって実現されてもよい。これにより、第二記憶部30は、互いに異なる複数の店舗や遠隔地にある施設等に録画装置200が点在している場合にも、迅速に第二画像を受信し、検知装置400により処理できる。このため、ユーザはタイムリーに複数の場所の状況を把握することができる。また、ユーザは、複数個所の第二画像をクラウドコンピューティングによって一括で管理できるため、第二画像の管理に要するユーザの労力が軽減される。
さらに、各実施形態では、制御部21と取得部23は録画装置200の機能とし、特定部40と検知部41は検知装置400の機能として説明したが、それら制御部21と取得部23と特定部40と検知部41は、同じ装置内の機能として持たせてもよい。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2015年3月2日に出願された日本出願特願2015−040141を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
第一画像の容量を小さくした第二画像から、第一所定条件を満たす第二画像を検知する検知部と、
検知された前記第二画像に対応する画像を、前記第一画像又は前記第一画像から生成された画像から取得する取得部と、
を有する画像処理システム。
(付記2)
前記取得部が取得した画像から、第二所定条件を満たす画像を検知する詳細検知部を有し、
前記第二所定条件は、前記第一所定条件より詳細な条件である
付記1記載の画像処理システム。
(付記3)
前記第二画像は、前記第一画像の一部であるか、前記第一画像が圧縮された画像であるか、又は前記第一画像よりも解像度が低い画像である
付記1又は付記2記載の画像処理システム。
(付記4)
前記画像処理システムは、さらに、
前記第二画像と、前記第二画像を特定する特定情報とを関連付けて記憶する第二記憶部と、
前記第一画像から生成された画像と前記特定情報とを関連付けて記憶する第三記憶部と、検知された前記第二画像に関連付けられている前記特定情報を特定する特定部と、を有し、
前記取得部は、特定された前記特定情報に関連付けられている画像を、前記第三記憶部から取得する
付記1乃至付記3の何れか一つに記載の画像処理システム。
(付記5)
前記画像処理システムは、さらに、
前記第一画像と、前記第一画像を特定する特定情報とを関連付けて記憶する第一記憶部と、
前記第一画像のうちの少なくとも何れかひとつと関連付けられている前記特定情報と、前記第二画像とを関連付けて記憶する第二記憶部と、
検知された前記第二画像に関連付けられている前記特定情報を特定する特定部と、を有し、
前記取得部は、特定された前記特定情報に関連付けられている前記第一画像を、前記第一記憶部から取得する
付記1乃至付記4の何れか一つに記載の画像処理システム。
(付記6)
前記特定情報は、画像の撮像日時、画像の撮像場所、画像を撮像した撮像装置、又は画像の特徴量の少なくとも一つに関する情報を含む
付記4又は付記5記載の画像処理システム。
(付記7)
前記特定部は、さらに、前記第二画像に関連付けられている前記特定情報から特定条件内にある特定情報を特定し、
前記取得部は、前記特定情報および前記特定条件内にある特定情報に関連付けられている画像を取得する
付記4乃至付記6の何れか一つに記載の画像処理システム。
(付記8)
検知された前記第二画像をユーザ端末に送信する第二送信部と、
ユーザが任意に指定した前記第二画像に関連付けられている特定情報を受信する受信部を有し、
前記取得部はさらに、受信した前記特定情報に関連付けられている画像を取得し、
前記取得した画像をユーザ端末に送信する第一送信部を有する
付記4乃至付記8の何れか一つに記載の画像処理システム。
(付記9)
前記所定条件を指定する指定部を有する、
付記1乃至付記8の何れか一つに記載の画像処理システム。
(付記10)
前記第二画像に関連付けられた前記撮像日時との差が特定時間以内である撮像日時を、前記第一画像の特定情報として決定する
付記4乃至付記6の何れか一つに記載の画像処理システム。
(付記11)
前記特定部は、前記第二画像に関連付けられた撮像場所からの距離が所定値以内である撮像場所を、前記第一画像の特定情報として決定する
付記4乃至付記6の何れか一つに記載の画像処理システム。
(付記12)
前記特定部は、前記第二画像に関連付けられた特徴量から特定条件内にある特徴量を、前記第一画像の特定情報として決定する
付記4乃至付記6の何れか一つに記載の画像処理システム。
(付記13)
前記第一記憶部は店舗において前記第一画像を記憶し、
前記第二記憶部はクラウドサーバにおいて前記第二画像を記憶する
付記1乃至付記12の何れか一つに記載の像処理システム。
(付記14)
第一画像の容量を小さくした第二画像から、第一所定条件を満たす第二画像を検知し、
検知された前記第二画像に対応する画像を、前記第一画像又は前記第一画像から生成された画像から取得する、
画像処理方法。
(付記15)
コンピュータに、
第一画像の容量を小さくした第二画像から、第一所定条件を満たす第二画像を検知する検知処理と
検知された前記第二画像に対応する画像を、前記第一画像又は前記第一画像から生成された画像から取得する取得処理と、
を実行させる画像処理プログラム。
21 制御部
23 取得部
24 受信部
30 第二記憶部
40 特定部
41 検知部
60 指定部
70 詳細検知部
80 撮影部
100 画像処理システム
200 録画装置
300 記憶装置
400 検知装置
700 詳細検知装置
8000 撮像装置

Claims (8)

  1. 処理対象の画像である第一画像の容量を小さくする処理と、複数の前記第一画像の中から抽出条件に該当する画像を抽出する処理との一方又は両方の処理によって得られる複数の第二画像から、検索条件に該当する前記第二画像を検知する検知手段と、
    検知された前記第二画像と、当該検知された前記第二画像を特定する特定情報とを関連付けられた状態でユーザ端末に送信する送信手段と、
    ユーザにより選択された前記第二画像に関連付けられている前記特定情報を前記ユーザ端末から受信する受信手段と、
    受信した前記特定情報に基づいて、前記第一画像、又は、前記第一画像から生成された生成画像を取得する取得手段と、
    を備える画像処理システム。
  2. 前記取得手段が取得した画像から、前記検索条件あるいは当該検索条件よりも検索項目が詳細な条件である詳細検索条件に該当する画像を検知する詳細検知手段をさらに備える請求項1に記載の画像処理システム。
  3. 前記第二画像は、前記第一画像の一部であるか、前記第一画像が圧縮された画像であるか、又は前記第一画像よりも解像度が低い画像である
    請求項1又は請求項2に記載の画像処理システム。
  4. 前記第一画像には、当該第一画像を特定する特定情報が関連付けられており、
    前記検知手段により検知された前記第二画像を特定する特定情報を、その第二画像の基となった前記第一画像に関連付けられている前記特定情報に基づいて確定する特定手段をさらに備え、
    前記取得手段は、前記受信手段が受信した前記特定情報を利用して、前記検知手段により検知された前記第二画像よりも絞り込まれた前記第二画像に応じた前記第一画像又は前記生成画像を取得する
    請求項1又は請求項に記載の画像処理システム。
  5. 前記特定情報は、画像の撮影日時と画像の撮影場所と画像を撮影した撮像装置と画像の特徴量とのうちの少なくとも一つを含む情報である
    請求項4に記載の画像処理システム。
  6. 外部から指定された前記検索条件の検索項目の情報を前記検知手段に向けて送信する指定手段をさらに備え、
    前記検知手段は、前記指定手段から受け取った前記検索条件に該当する前記第二画像を検知する請求項1乃至請求項の何れか一つに記載の画像処理システム。
  7. 処理対象の画像である第一画像の容量を小さくする処理と、複数の前記第一画像の中から抽出条件に該当する画像を抽出する処理との一方又は両方の処理によって得られる複数の第二画像から、検索条件に該当する前記第二画像を検知し、
    検知された前記第二画像と、当該検知された前記第二画像を特定する特定情報とを関連付けられた状態でユーザ端末に送信し、
    ユーザにより選択された前記第二画像に関連付けられている前記特定情報を前記ユーザ端末から受信し、
    受信した前記特定情報に基づいて、前記第一画像、又は、前記第一画像から生成された生成画像を取得する
    画像処理方法。
  8. 処理対象の画像である第一画像の容量を小さくする処理と、複数の前記第一画像の中から抽出条件に該当する画像を抽出する処理との一方又は両方の処理によって得られる複数の第二画像から、検索条件に該当する前記第二画像を検知する処理と、
    検知された前記第二画像と、当該検知された前記第二画像を特定する特定情報とを関連付けられた状態でユーザ端末に送信する処理と、
    ユーザにより選択された前記第二画像に関連付けられている前記特定情報を前記ユーザ端末から受信する処理と、
    受信した前記特定情報に基づいて、前記第一画像、又は、前記第一画像から生成された生成画像を取得する処理と
    をコンピュータに実行させるコンピュータプログラム。
JP2017503349A 2015-03-02 2016-03-02 画像処理システム、画像処理方法およびコンピュータプログラム Active JP6455590B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015040141 2015-03-02
JP2015040141 2015-03-02
PCT/JP2016/001124 WO2016139940A1 (ja) 2015-03-02 2016-03-02 画像処理システム、画像処理方法およびプログラム記憶媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018235338A Division JP6702402B2 (ja) 2015-03-02 2018-12-17 画像処理システム、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2016139940A1 JPWO2016139940A1 (ja) 2018-02-01
JP6455590B2 true JP6455590B2 (ja) 2019-01-23

Family

ID=56849292

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017503349A Active JP6455590B2 (ja) 2015-03-02 2016-03-02 画像処理システム、画像処理方法およびコンピュータプログラム
JP2018235338A Active JP6702402B2 (ja) 2015-03-02 2018-12-17 画像処理システム、画像処理方法および画像処理プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018235338A Active JP6702402B2 (ja) 2015-03-02 2018-12-17 画像処理システム、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US20180239782A1 (ja)
JP (2) JP6455590B2 (ja)
WO (1) WO2016139940A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7161920B2 (ja) * 2018-11-09 2022-10-27 セコム株式会社 店舗装置
JP7242309B2 (ja) * 2019-01-16 2023-03-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010196A (ja) * 2000-06-26 2002-01-11 Sanyo Electric Co Ltd 電子アルバム装置
US20030011750A1 (en) * 2001-07-16 2003-01-16 Comview Visual Systems Ltd. Display apparatus and method particularly useful in simulators
EP2278545A3 (en) * 2002-05-29 2011-04-13 Sony Corporation Information processing system
US8385589B2 (en) * 2008-05-15 2013-02-26 Berna Erol Web-based content detection in images, extraction and recognition
US8634696B2 (en) * 2004-12-15 2014-01-21 Nikon Corporation Image reproduction system
JP4713980B2 (ja) * 2005-08-08 2011-06-29 パナソニック株式会社 映像検索装置
JP5009577B2 (ja) * 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
JP2007179098A (ja) * 2005-12-26 2007-07-12 Canon Inc 画像処理装置、画像検索方法装置、及びプログラム
JP2007189558A (ja) * 2006-01-13 2007-07-26 Toshiba Corp 映像表示システム及び映像蓄積配信装置
JP5170961B2 (ja) * 2006-02-01 2013-03-27 ソニー株式会社 画像処理システム、画像処理装置および方法、プログラム、並びに記録媒体
JP4492555B2 (ja) * 2006-02-07 2010-06-30 セイコーエプソン株式会社 印刷装置
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
JP2007265032A (ja) * 2006-03-28 2007-10-11 Fujifilm Corp 情報表示装置、情報表示システムおよび情報表示方法
JP4316584B2 (ja) * 2006-04-20 2009-08-19 パナソニック株式会社 画像表示装置及びその制御方法
US8599251B2 (en) * 2006-09-14 2013-12-03 Olympus Imaging Corp. Camera
JP4959592B2 (ja) * 2008-01-18 2012-06-27 株式会社日立製作所 ネットワーク映像モニタリングシステム及びモニタ装置
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
JP5401962B2 (ja) * 2008-12-15 2014-01-29 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5180922B2 (ja) * 2009-07-09 2013-04-10 株式会社日立製作所 画像検索システム及び画像検索方法
JP5438436B2 (ja) * 2009-08-27 2014-03-12 株式会社日立国際電気 画像検索装置
JP5506324B2 (ja) * 2009-10-22 2014-05-28 株式会社日立国際電気 類似画像検索システム、および、類似画像検索方法
US8922658B2 (en) * 2010-11-05 2014-12-30 Tom Galvin Network video recorder system
US10477158B2 (en) * 2010-11-05 2019-11-12 Razberi Technologies, Inc. System and method for a security system
EP2670134A4 (en) * 2011-01-24 2015-11-25 Adc Technology Inc STATIC IMAGE EXTRACTION DEVICE
JP6144966B2 (ja) * 2013-05-23 2017-06-07 グローリー株式会社 映像解析装置及び映像解析方法
JP6312991B2 (ja) * 2013-06-25 2018-04-18 株式会社東芝 画像出力装置
JP6179231B2 (ja) * 2013-07-10 2017-08-16 株式会社リコー 端末装置、情報処理プログラム、情報処理方法および情報処理システム
JP5500303B1 (ja) * 2013-10-08 2014-05-21 オムロン株式会社 監視システム、監視方法、監視プログラム、ならびに該プログラムを記録した記録媒体

Also Published As

Publication number Publication date
JPWO2016139940A1 (ja) 2018-02-01
WO2016139940A1 (ja) 2016-09-09
JP6702402B2 (ja) 2020-06-03
JP2019083532A (ja) 2019-05-30
US20180239782A1 (en) 2018-08-23

Similar Documents

Publication Publication Date Title
US9141184B2 (en) Person detection system
JP6674584B2 (ja) 映像監視システム
JP5976237B2 (ja) 映像検索システム及び映像検索方法
US9076069B2 (en) Registering metadata apparatus
JP6885682B2 (ja) 監視システム、管理装置、及び監視方法
KR101472077B1 (ko) 누적된 객체 특징을 기반으로 하는 감시 시스템 및 방법
WO2017212813A1 (ja) 画像検索装置、画像検索システム及び画像検索方法
JP2018160219A (ja) 移動経路予測装置、及び移動経路予測方法
US10657755B2 (en) Investigation generation in an observation and surveillance system
JP2010033143A (ja) 人の属性情報を取得するpos端末装置、posシステム、属性情報取得方法、及び属性情報取得プログラム
JPWO2015137190A1 (ja) 映像監視支援装置、映像監視支援方法、および記憶媒体
JP2015072578A (ja) 人物特定装置、人物特定方法及びプログラム
JP2019020777A (ja) 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
JP6702402B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP6396682B2 (ja) 監視カメラシステム
JP2006093955A (ja) 映像処理装置
US10783365B2 (en) Image processing device and image processing system
US11227007B2 (en) System, method, and computer-readable medium for managing image
US11244185B2 (en) Image search device, image search system, and image search method
CN109948411A (zh) 检测与视频中的运动模式的偏差的方法、设备和存储介质
US20230259549A1 (en) Extraction of feature point of object from image and image search system and method using same
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
JP2009239804A (ja) 監視システム及び画像検索サーバ
CN111666786B (zh) 图像处理方法、装置、电子设备及存储介质
JP2022011666A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170901

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181203

R150 Certificate of patent or registration of utility model

Ref document number: 6455590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150