JP7424345B2 - 装置、方法およびプログラム - Google Patents

装置、方法およびプログラム Download PDF

Info

Publication number
JP7424345B2
JP7424345B2 JP2021080964A JP2021080964A JP7424345B2 JP 7424345 B2 JP7424345 B2 JP 7424345B2 JP 2021080964 A JP2021080964 A JP 2021080964A JP 2021080964 A JP2021080964 A JP 2021080964A JP 7424345 B2 JP7424345 B2 JP 7424345B2
Authority
JP
Japan
Prior art keywords
image
evaluation
compressed image
compression
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021080964A
Other languages
English (en)
Other versions
JP2022174918A (ja
Inventor
修 小嶋
順 奈良岡
敏明 ▲高▼橋
大樹 加藤
貴昭 尾川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2021080964A priority Critical patent/JP7424345B2/ja
Priority to EP22172278.8A priority patent/EP4090016A3/en
Priority to US17/740,353 priority patent/US20220368886A1/en
Priority to CN202210517331.7A priority patent/CN115345820A/zh
Publication of JP2022174918A publication Critical patent/JP2022174918A/ja
Application granted granted Critical
Publication of JP7424345B2 publication Critical patent/JP7424345B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115Selection of the code volume for a coding unit prior to coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167Position within a video image, e.g. region of interest [ROI]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

本発明は、装置、方法およびプログラムに関する。
特許文献1には、「車両又は当該車両の周囲の状況を検出し、前記検出された車両状況に基づいて当該車両の監視レベルを判断する監視レベル判断手段と、前記判断された監視レベルに基づいて圧縮率を算出し、当該算出された圧縮率で前記車両に設置されたカメラにより撮像された撮像画像を圧縮した監視画像を生成する監視画像生成手段と、前記生成された監視画像を含む情報を、外部端末装置へ送信する送信手段と、を備えることを特徴とする車両用監視装置」と記載されている。
[先行技術文献]
[特許文献]
[特許文献1] 国際公開第2012-160902号
本発明の第1の態様においては、装置が提供される。装置は、撮像画像を取得する画像取得部を備えてよい。装置は、撮像画像を圧縮して圧縮画像を生成する圧縮部を備えてよい。装置は、ユーザから圧縮画像の見やすさに応じた評価を取得する評価取得部を備えてよい。装置は、評価と、当該評価の対象となった圧縮画像に対応する撮像画像と、当該圧縮画像の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の圧縮で適用するべき圧縮パラメータ値を出力するモデルの学習処理を行う学習処理部を備えてよい。
圧縮部は、撮像画像を領域ごとに圧縮して圧縮画像を生成してよい。評価取得部は、圧縮画像の少なくとも一部の領域に対して評価を取得してよい。学習処理部は、圧縮画像の少なくとも一部の領域に対する評価と、撮像画像のうち評価の対象となった少なくとも一部の領域と、当該少なくとも一部の領域の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の少なくとも一部の領域の圧縮で適用するべき圧縮パラメータ値を出力するモデルの学習処理を行ってよい。
評価取得部は、圧縮画像内でユーザにより指定された領域に対する評価を取得してよい。
評価取得部は、圧縮画像を拡大表示させる旨の操作を、当該圧縮画像の少なくとも拡大領域に対する否定的な評価として取得してよい。
評価取得部は、表示済みの圧縮画像を改めて表示させる旨の操作を、当該圧縮画像に対する否定的な評価として取得してよい。
評価取得部は、圧縮画像の見やすさと、圧縮画像のデータ量の小ささとに応じた評価を取得してよい。
圧縮部は、圧縮パラメータ値を変更して逐次、圧縮画像を生成してよい。
圧縮部は、否定的な評価が評価取得部によって取得されるまで、圧縮パラメータ値を増加または減少させてよい。
圧縮部は、同じ撮像画像から互いに異なる複数の圧縮画像を生成してよい。評価取得部は、複数の圧縮画像の間での見やすさの相対評価を、評価として取得してよい。
画像取得部は、基準撮像条件で撮像されて、当該基準撮像条件とは異なる他の撮像条件に応じた画像効果が適用された画像を撮像画像として取得してよい。圧縮部は、撮像画像に対し、基準撮像条件に応じた画像効果を適用して圧縮画像を生成してよい。評価取得部は、圧縮画像の見やすさと、当該圧縮画像、および、基準撮像条件で撮像された画像の近似度とに応じた評価を取得してよい。
学習処理部は、圧縮で適用するべき圧縮パラメータ値が、肯定的な評価の対象となった圧縮画像の圧縮パラメータ値と、否定的な評価の対象となった圧縮画像の圧縮パラメータ値との間となるよう、モデルの学習処理を行ってよい。
画像取得部は、複数のカメラから撮像画像を取得してよい。評価取得部は、カメラごとに評価を取得してよい。学習処理部は、カメラごとに異なるモデルの学習処理を行ってよい。
学習処理部は、一のカメラについての学習済みのモデルを、他のカメラについての学習用のモデルとして用いてよい。
画像取得部は、複数のカメラから撮像画像を取得してよい。学習処理部は、複数のカメラの間で共通のモデルの学習処理を行ってよい。
評価取得部は、ユーザごとに評価を取得してよい。学習処理部は、ユーザごとに異なるモデルの学習処理を行ってよい。
学習処理部は、一のユーザについての学習済みのモデルを、他のユーザについての学習用のモデルとして用いてよい。
学習処理部は、複数のユーザの間で共通のモデルの学習処理を行ってよい。
装置は、圧縮画像を監視端末に送信する送信部をさらに備えてよい。評価取得部は、監視端末を介して評価を取得してよい。
装置は、学習処理部により学習処理が行われたモデルに対し、画像取得部により新たに取得された撮像画像を供給する供給部をさらに備えてよい。圧縮部は、供給部によって新たな撮像画像が供給されたことに応じてモデルから出力される圧縮パラメータ値を適用して、当該新たな撮像画像から圧縮画像を生成してよい。
装置は、撮像画像を記憶する記憶部をさらに備えてよい。送信部は、圧縮画像に対して否定的な評価が評価取得部により取得されたことに応じて、当該圧縮画像に対応する撮像画像を監視端末に送信してよい。
記憶部は、撮像画像と圧縮画像とを記憶し、撮像画像を圧縮画像よりも短い期間の経過後に消去してよい。
圧縮部は、基準撮像条件とは異なる他の撮像条件で撮像された撮像画像に対し、基準撮像条件に応じた画像効果を適用して圧縮画像を生成してよい。送信部は、圧縮画像と、他の撮像条件を示す識別情報とを監視端末に送信してよい。
装置は、撮像画像を撮像する監視カメラと、監視端末との間に配置されるトランスコーダであってよい。
本発明の第2の態様においては、方法が提供される。方法は、撮像画像を取得する画像取得段階を備えてよい。方法は、撮像画像を圧縮して圧縮画像を生成する圧縮段階を備えてよい。方法は、ユーザから圧縮画像の見やすさに応じた評価を取得する評価取得段階を備えてよい。方法は、評価と、当該評価の対象となった圧縮画像に対応する撮像画像と、当該圧縮画像の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の圧縮で適用するべき圧縮パラメータ値を出力するモデルの学習処理を行う学習処理段階を備えてよい。
本発明の第3の態様においては、プログラムが適用される。プログラムは、コンピュータを、撮像画像を取得する画像取得部として機能させてよい。プログラムは、コンピュータを、撮像画像を圧縮して圧縮画像を生成する圧縮部として機能させてよい。プログラムは、コンピュータを、ユーザから圧縮画像の見やすさに応じた評価を取得する評価取得部として機能させてよい。プログラムは、コンピュータを、評価と、当該評価の対象となった圧縮画像に対応する撮像画像と、当該圧縮画像の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の圧縮で適用するべき圧縮パラメータ値を出力するモデルの学習処理を行う学習処理部として機能させてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る警備システム1を示す。 本実施形態に係る警備システム1の学習段階での動作を示す。 本実施形態に係る警備システム1の運用段階での動作を示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
[1.警備システム1]
図1は、本実施形態に係る警備システム1を示す。警備システム1は、1または複数の監視カメラ2と、トランスコーダ3と、監視端末4とを備える。
トランスコーダ3と監視端末4とは、通信ネットワーク10を介して接続されてよい。通信ネットワーク10は、インターネット、広域ネットワーク(WAN)、ローカルエリアネットワーク等の各種ネットワークまたはその組み合わせを含んで構成されてよい。通信ネットワーク10は、有線および無線の少なくとも一方による接続ポイントを含んでよい。通信ネットワーク10は、インターネットなどの公衆回線から分離された専用回線により実現されてもよい。
[1.1.監視カメラ2]
各監視カメラ2は、カメラの一例であり、撮像領域の撮像を行う。各監視カメラ2は、撮像された画像(撮像画像とも称する)をトランスコーダ3に供給してよい。画像は動画像であってよく、監視カメラ2は、常時、撮像を行って動画像(映像とも称する)データを生成してよい。例えば、各監視カメラ2は30fpsで撮像を行ってよい。撮像画像の各フレームには、タイムスタンプが付加されてよい。なお、画像は静止画像であってもよい。この場合に、監視カメラ2は、定期的なタイミングで撮像を行い、静止画像を生成してよい。監視カメラ2は可視光のカメラであってもよいし、赤外線や紫外線(一例としてX線)のカメラであってもよい。警備システム1に複数の監視カメラ2が具備される場合には、各監視カメラ2は、互いに種類(一例としてメーカや型番)が異なってよい。
各監視カメラ2は、道路や駐車場、電灯、電柱に配置されてもよいし、設備の出入り口や通路などに配置されてもよい。警備システム1に複数の監視カメラ2が具備される場合には、各監視カメラ2は、互いに設置位置や撮像領域が異なってよい。
なお、設備は、プラントでもよいし、学校や住宅、駅、空港、博物館、病院、店舗(一例として飲食店)であってもよいし、テーマパークや遊園地、それらのアトラクション用施設などであってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。
[1.2.トランスコーダ3]
トランスコーダ3は、装置の一例であり、監視カメラ2と、監視端末4との間に配置される。トランスコーダ3は、各監視カメラ2からの撮像画像を圧縮して監視端末4に供給してよい。トランスコーダ3は画像取得部30と、圧縮部31と、通信部32と、学習処理部33と、記憶部35と、供給部36とを有する。
[1.2(1).画像取得部30]
画像取得部30は、撮像画像を取得する。画像取得部30は、複数の監視カメラ2から撮像画像を取得してよい。なお、本実施形態では一例として、画像取得部30は各監視カメラ2と直接接続されているが、通信ネットワーク10を介して接続されてもよい。
画像取得部30は、取得した撮像画像を圧縮部31および供給部36に供給してよい。画像取得部30は、複数の監視カメラ2から撮像画像を取得する場合には、監視カメラ2の識別情報(カメラIDとも称する)を撮像画像に付加して圧縮部31および供給部36に供給してよい。
[1.2(2).圧縮部31]
圧縮部31は、撮像画像を圧縮して圧縮画像を生成する。圧縮部31は、圧縮パラメータ値を変更して逐次、圧縮画像を生成してよい。また、圧縮部31は、後述の供給部36から圧縮パラメータ値が供給される場合には、当該圧縮パラメータ値を適用して圧縮画像を生成してよい。圧縮部31は、動画像としての撮像画像に含まれる各フレーム内で圧縮を行ってもよいし、連続するフレーム内で圧縮を行ってもよい。圧縮パラメータ値は、圧縮率、解像度、階調数、および、フレームレートの少なくとも1つを示す値であってよい。圧縮画像の各フレームには、対応する撮像画像のフレームと同じタイムスタンプが付加されてよい。
圧縮部31は、複数の監視カメラ2からの撮像画像をそれぞれ圧縮してよい。この場合に圧縮部31は、カメラIDを圧縮画像に付加してよい。
圧縮部31は、圧縮画像を通信部32および記憶部35に供給してよい。圧縮部31は、圧縮パラメータ値を圧縮画像に付加して通信部32や記憶部35に供給してよい。また、圧縮部31は、圧縮画像の生成に用いた圧縮パラメータ値と、圧縮前の撮像画像とを学習処理部33に供給してよい。
[1.2(3).通信部32]
通信部32は、通信ネットワーク10を介して監視端末4と通信する。通信部32は、送信部320と、評価取得部321とを有する。
[1.2(3-1).送信部320]
送信部320は、圧縮画像を監視端末4に送信する。送信部320は、圧縮部31から供給される圧縮画像を逐次、監視端末4に供給してよい。
[1.2(3-2).評価取得部321]
評価取得部321は、ユーザから圧縮画像の見やすさに応じた評価を取得する。ユーザは、監視端末4を操作するオペレータや警備員であってよい。また、ユーザは、色弱者や弱視者であってもよい。評価取得部321は、監視端末4を介して評価を取得してよい。
評価取得部321は、監視端末4において圧縮画像に対して行われた操作内容から評価を取得してよい。本実施形態では一例として、評価取得部321は、監視端末4において圧縮画像に対して行われた操作内容を監視端末4から受信してよい。操作内容には、操作の対象とされた圧縮画像に関する情報が含まれてよく、例えば、圧縮画像に付加されたカメラIDおよび圧縮パラメータ値と、当該圧縮画像における少なくとも一部のフレームのタイムスタンプとが含まれてよい。取得される評価は、圧縮画像が見やすいことを示す肯定的な評価と、圧縮画像が見にくいことを示す否定的な評価との二値の値であってよい。
評価取得部321は、監視カメラ2ごとに評価を取得してよい。例えば、評価取得部321は、評価対象とされた圧縮画像に付加されたカメラIDごとに、評価を取得してよい。
評価取得部321は、取得した評価と、評価対象とされた圧縮画像に付加された圧縮パラメータ値、カメラIDおよびタイムスタンプとを対応付けて学習処理部33に供給してよい。なお、詳細は後述するものの、学習処理部33によって後述のモデル350の学習処理が既に行われている場合には、評価取得部321は、取得した評価と、評価対象とされた圧縮画像に付加されたカメラIDおよびタイムスタンプとを対応付けて送信部320に供給してよい。これにより、否定的な評価の対象とされた圧縮画像に対応する撮像画像が送信部320から監視端末4に送信される。
[1.2(4).記憶部35]
記憶部35は、種々の情報を記憶する。記憶部35は、1または複数のモデル350と、1または複数の画像ファイル351とを記憶してよい。
各モデル350は、新たな撮像画像が入力されることに応じて、当該撮像画像の圧縮で適用するべき圧縮パラメータ値を出力する。記憶部35に複数のモデル350が記憶される場合には、各モデル350は監視カメラ2と1対1で対応してよい。モデル350は、学習処理部33による学習処理を受けてよい。なお、モデル350は、従来より公知の任意の機械学習アルゴリズムであってよく、例えばニューラルネットワーク、ランダムフォレスト、勾配ブースティング、ロジスティック回帰、および、サポートベクタマシン(SVM)などであってよい。
画像ファイル351は、圧縮部31から供給される圧縮画像を監視カメラ2毎に格納する。画像ファイル351は、圧縮前の撮像画像をさらに格納してもよい。記憶部35は、撮像画像を圧縮画像よりも短い期間の経過後に消去してよい。例えば、記憶部35は、撮像画像を記憶してから第1期間(一例として1時間や1日)の経過後に消去してよい。記憶部35は、圧縮画像を記憶してから、撮像画像よりも長い第2期間(一例として1週間や1月)の経過後に消去してよい。
[1.2(5).学習処理部33]
学習処理部33は、評価取得部321によって取得された評価と、当該評価の対象となった圧縮画像の生成で適用された圧縮パラメータ値と、当該圧縮画像に対応する撮像画像とを含む学習データを用いてモデル350の学習処理を行う。なお、評価の対象となった圧縮画像の生成で適用された圧縮パラメータ値は、評価取得部321から評価と対応付けて供給された圧縮パラメータ値であってよい。評価の対象となった圧縮画像に対応する撮像画像は、圧縮部31から供給される撮像画像のうち、評価取得部321から評価と対応付けて供給されたカメラIDおよびタイムスタンプに対応する撮像画像であってよい。
学習処理部33は、監視カメラ2ごとに異なるモデル350の学習処理を行ってよく、記憶部35に格納された各モデル350の学習処理を行ってよい。例えば、学習処理部33は、一の監視カメラ2を示す一のカメラIDが付加された評価と、当該評価の対象とされた圧縮画像に付加された圧縮パラメータ値と、当該圧縮画像に対応する撮像画像とを含む学習データを用いて、当該一の監視カメラ2に対応するモデル350の学習処理を行ってよい。
[1.2(6).供給部36]
供給部36は、学習処理部33により学習処理が行われたモデル350に対し、画像取得部30により新たに取得された撮像画像を供給する。監視カメラ2ごとのモデル350が記憶部35に記憶されている場合には、供給部36は、撮像画像に付加されたカメラIDに対応するモデル350に対し、当該撮像画像を供給してよい。
供給部36は、モデル350から出力された圧縮パラメータ値を圧縮部31に供給してよい。これにより、供給部36によって新たな撮像画像が供給されたことに応じてモデル350から出力される圧縮パラメータ値が圧縮部31で適用されて、当該新たな撮像画像から圧縮画像が生成される。供給部36は、複数の監視カメラ2の画像が画像取得部30から供給される場合には、撮像画像に付加されていたカメラIDを圧縮パラメータ値と対応付けて圧縮部31に供給し、当該カメラIDが付加された撮像画像の圧縮に適用させてよい。
[1.3.監視端末4]
監視端末4は、監視カメラ2を用いて監視領域の監視を行う。監視端末4は、通信部40と、表示部42と、操作入力部43とを有する。
[1.3(1).通信部40]
通信部40は、通信ネットワーク10を介してトランスコーダ3と通信する。通信部40は、トランスコーダから受信した圧縮画像を表示部42に供給してよい。また、通信部40は、操作入力部43から供給される、操作内容をトランスコーダ3に送信してよい。
[1.3(2).表示部42]
表示部42は、圧縮画像を表示する。複数の監視カメラ2の圧縮画像が供給される場合には、表示部42は、これらの圧縮画像を併せて表示してよい。
[1.3(3).操作入力部43]
操作入力部43は、ユーザから種々の操作入力を受ける。操作入力部43は、入力された操作内容を通信部40に供給してよい。
通信部40に供給される操作内容は、圧縮画像の見やすさに応じた評価を示してよい。操作内容には、操作の対象とされた圧縮画像に関する情報が含まれてよく、本実施形態では一例として、圧縮画像に付加されたカメラIDおよび圧縮パラメータ値と、当該圧縮画像における少なくとも一部のフレームのタイムスタンプとが含まれてよい。
以上のトランスコーダ3によれば、撮像画像を圧縮した圧縮画像の見やすさに応じた評価がユーザから取得され、当該評価と、評価対象となった圧縮画像に対応する撮像画像と、当該圧縮画像の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の圧縮で適用するべき圧縮パラメータ値を出力するモデル350の学習処理が行われる。従って、撮像画像を入力したモデル350から出力される圧縮パラメータ値を当該撮像画像の圧縮に用いることにより、ユーザにとって見やすい圧縮画像を生成することができる。
また、圧縮パラメータ値が逐次、変更されて圧縮画像が生成されるので、値の異なる複数の圧縮パラメータ値と当該圧縮パラメータ値を適用した圧縮画像の見やすさの評価とを含む学習データを用いてモデル350の学習処理を行うことができる。従って、ユーザにとって見やすい圧縮画像を確実に生成することができる。
また、複数の監視カメラ2から撮像画像が取得され、監視カメラ2ごとに評価が取得されて、監視カメラ2ごとに異なるモデル350の学習処理が行われる。従って、監視カメラ2ごとに種類や設置位置、撮像領域が異なる場合であっても、ユーザにとって見やすい圧縮画像を監視カメラ2ごとに生成することができる。
また、学習処理が行われたモデル350に対し、画像取得部30により新たに取得された撮像画像が供給され、モデル350から出力される圧縮パラメータ値を適用して当該新たな撮像画像から圧縮画像が生成される。従って、新たに取得された撮像画像から、ユーザにとって見やすい画像を適宜、生成することができる。
また、圧縮画像が監視端末4に送信され、監視端末4を介して評価が取得されるので、監視端末4を用いて監視を行うユーザにとって見やすい圧縮画像を生成することができる。
また、撮像画像と圧縮画像とが記憶部35に記憶され、撮像画像が圧縮画像よりも短い期間の経過後に消去されるので、撮像画像を圧縮画像以上に長く保存し続ける場合と比較して記憶容量を軽減することができる。
[2.動作]
[2.1.学習段階]
図2は、本実施形態に係る警備システム1の学習段階での動作を示す。警備システム1は、ステップS11~S39の処理を行うことにより、監視を行いつつモデル350の学習を行う。
まずステップS11において画像取得部30は、各監視カメラ2から撮像画像を取得する。
ステップS13において圧縮部31は、撮像画像を圧縮して圧縮画像を生成する。圧縮部31は、取得された撮像画像のうち、圧縮されていない期間の撮像画像を圧縮してよい。例えば、ステップS13の処理が最初に行われる場合には、圧縮部31は、これまでの撮像画像の全体を圧縮してよい。ステップS11以降の処理が繰り返されてステップS13の処理が繰り返し行われる場合には、圧縮部31は、前回のステップS13の処理で圧縮された撮像画像よりも後の期間の撮像画像を圧縮してよい。
また、圧縮部31は、ステップS13の処理が最初に行われる場合には、予め設定された圧縮パラメータ値の初期値を適用して圧縮画像を生成してよい。ステップS11以降の処理が繰り返されてステップS13の処理が複数回行われる場合には、圧縮部31は、後述のステップS35により設定される圧縮パラメータ値を適用して圧縮画像を生成してよい。圧縮部31は、複数の監視カメラ2からの撮像画像に対し、同一の圧縮パラメータ値を適用してもよいし、別々の圧縮パラメータ値を適用してもよい。
ステップS15において送信部320は、各監視カメラ2の撮像画像から生成された圧縮画像をそれぞれ監視端末4に送信する。これにより、監視端末4の通信部40によって圧縮画像が受信される。トランスコーダ3は、ステップS15の処理が終了したら、ステップS11に処理を移行してよい。
ステップS21において監視端末4の表示部42は、各監視カメラ2に対応する圧縮画像を併せて表示する。これにより、圧縮画像を用いて監視が行われる。
ステップS23において操作入力部43は、ユーザから種々の操作入力を受ける。例えば、操作入力部43は、表示部42によって表示された何れかの圧縮画像を拡大表示させる旨の操作を受けてよい。また、操作入力部43は、表示済みの圧縮画像を改めて表示させる旨の操作を受けてよい。一例として、表示済みの圧縮画像を改めて表示させる旨の操作は、巻き戻し(早戻し、プレイバックとも称する)を行って、以前に表示された圧縮画像のフレームを改めて表示させる操作であってよい。入力された操作内容に応じて表示部42は表示内容を変更してよい。
ステップS25において監視端末4の通信部40は、入力された操作内容をトランスコーダ3に送信する。
ステップS31においてトランスコーダ3の評価取得部321は、圧縮画像の見やすさに応じた評価を取得する。評価取得部321は、監視端末4に対する操作内容に基づいて評価を取得してよい。
例えば、評価取得部321は、圧縮画像を拡大表示させる旨の操作、および、表示済みの圧縮画像を改めて表示させる旨の操作の少なくとも一方を、当該圧縮画像に対する否定的な評価として取得してよい。また、評価取得部321は、否定的な評価を示す操作が基準時間(一例として1分など)だけ行われていないことを、肯定的な評価として取得してよい。
評価取得部321は、監視端末4の操作入力部43に対する他の操作内容を肯定的な評価や否定的な評価として取得してもよい。例えば、評価取得部321は、肯定的な評価と対応付けられたキー操作を肯定的な評価として取得し、否定的な評価と対応付けられたキー操作を否定的な評価として取得してもよい。評価取得部321は、取得した評価を評価対象の圧縮画像に対応付けて記憶部35に記憶させてよい。なお、ステップS31以降のトランスコーダ3の処理は、ステップS11~S15の処理と並行して行われてもよいし、ステップS11~S15の処理を中断して行われてもよい。
ステップS33において、学習処理部33は、ステップS31の処理を基準ステップ数だけ行ったか否かを判定する。基準ステップ数だけ処理を行っていないと判定された場合(ステップS33;No)には、ステップS35に処理が移行する。ステップS33において基準ステップ数だけ処理を行ったと判定された場合(ステップS33;Yes)には、ステップS37に処理が移行する。
ステップS35において圧縮部31は、圧縮に適用する圧縮パラメータ値を変更する。これにより、変更後の圧縮パラメータ値が上述のステップS13で適用されて圧縮画像が生成される。そして、ステップS11~S35の処理が繰り返されることにより、撮像画像と、当該撮像画像から生成された圧縮画像の評価と、圧縮画像の生成に適用された圧縮パラメータ値とを含む学習データが基準ステップ数だけ生成される。
なお、圧縮部31は、否定的な評価が評価取得部321によって取得されるまで、圧縮パラメータ値を増加または減少させてよい。例えば、ステップS31の処理において評価取得部321により否定的な評価が取得されない場合には、圧縮部31は、ステップS35の処理を行うごとに、圧縮パラメータ値で示される圧縮率、解像度、階調数、および、フレームレートのうち何れか1つ(第1種類のパラメータとも称する)を増加または減少の一方向に変更してよい。ステップS31の処理において評価取得部321により否定的な評価が取得された場合には、圧縮部31は、それまで一方向に変更していた第1種類のパラメータを逆方向に変更してもよいし、圧縮パラメータ値で示される圧縮率、解像度、階調数、および、フレームレートのうち、第1種類のパラメータとは異なる何れか他の1つを増加または減少させてよい。
圧縮部31は、複数の監視カメラ2間で圧縮パラメータ値を揃えつつ、変更してもよいし、監視カメラ2ごとに独立に圧縮パラメータ値を変更してもよい。
圧縮部31は、ステップS35の処理を行うごとに、圧縮パラメータ値を連続的に変化させてもよいし、非連続的、つまり段階的に変化させてもよい。圧縮部31は、圧縮パラメータ値を非連続的に変化させる場合には、ステップS35の処理を行うごとの変化量を一定にしてもよいし、一定にしなくてもよい。
ステップS37において学習処理部33は、取得された評価と、当該評価の対象となった圧縮画像に対応する撮像画像と、当該圧縮画像の生成で適用された圧縮パラメータ値とを含む学習データを用いてモデル350の学習処理を行う。学習処理部33は、監視カメラ2ごとに異なるモデル350の学習処理を行ってよい。
学習処理部33は、モデル350に新たな撮像画像が入力されることに応じ、否定的ではない評価の圧縮画像を生成するために適用するべき圧縮パラメータ値が当該モデル350から出力されるように、学習処理を行ってよい。例えば、学習処理部33は、圧縮で適用するべき圧縮パラメータ値が、肯定的な評価の対象となった圧縮画像の圧縮パラメータ値と、否定的な評価の対象となった圧縮画像の圧縮パラメータ値との間となるよう、モデル350の学習処理を行ってよい。一例として、学習処理部33は肯定的な評価の対象となった複数の圧縮画像の圧縮パラメータ値のグループと、否定的な評価の対象となった複数の圧縮画像の圧縮パラメータ値のグループとの境界を検出してよい。そして、学習処理部33は、圧縮で適用するべき圧縮パラメータ値が、肯定的な評価の対象となった複数の圧縮画像の圧縮パラメータ値のうち当該境界に最も近い圧縮パラメータ値と、否定的な評価の対象となった複数の圧縮画像の圧縮パラメータ値のうち当該境界に最も近い圧縮パラメータ値との間となるよう、モデル350の学習処理を行ってよい。
なお、学習処理部33は、一の監視カメラ2についての学習済みのモデル350を、他の監視カメラ2についての学習用のモデル350として用い、学習処理を行ってよい。例えば、学習処理部33は、一の監視カメラ2について図2の動作が行われたモデル350を複製して他の監視カメラ2についての学習用のモデル350とし、当該他の監視カメラ2についての学習データを用いて学習処理を行ってよい。
ステップS39において学習処理部33は、ステップS11~S37の処理を基準繰り返し(イテレーション)数だけ行ったか否かを判定する。基準繰り返し数だけ処理を行っていないと判定された場合(ステップS39;No)には、ステップS11に処理が移行する。基準イテレーション数だけ処理を行ったと判定された場合(ステップS39;Yes)には、処理が終了する。
以上の動作によれば、圧縮画像を拡大表示させる旨の操作が当該圧縮画像に対する否定的な評価として取得されるので、拡大表示の操作とは別に否定的な評価の入力操作をユーザに行わせる場合と異なり、否定的な評価を確実に取得することができる。
また、表示済みの圧縮画像を改めて表示させる旨の操作が当該圧縮画像に対する否定的な評価として取得されるので、再表示の操作とは別に否定的な評価の入力操作をユーザに行わせる場合と異なり、否定的な評価を確実に取得することができる。
また、否定的な評価が取得されるまで圧縮パラメータ値が増加または減少されるので、ユーザにとって見難くならない極限の圧縮画像を生成することができる。従って、圧縮画像のデータ量を小さくするよう圧縮パラメータ値を変更することで、ユーザにとって見やすく、かつ、データ量の小さい圧縮画像を生成して学習処理に供することができる。
また、圧縮で適用するべき圧縮パラメータ値を、肯定的な評価の対象となった圧縮画像の圧縮パラメータ値と、否定的な評価の対象となった圧縮画像の圧縮パラメータ値との間とするよう、学習処理部33によってモデル350の学習処理が行われる。従って、学習済みのモデル350から出力される圧縮パラメータ値を圧縮に適用することにより、ユーザにとって見難くならない極限の圧縮画像を生成することができる。
また、一のカメラについての学習済みのモデル350が他のカメラについての学習用のモデル350として用いられるので、他のカメラに対するモデル350の学習処理を効率化することができる。
[2.2.運用段階]
図3は、本実施形態に係る警備システム1の運用段階での動作を示す。警備システム1は、ステップS41~S71の処理を行うことにより、学習済みのモデル350を用いて監視を行う。
まずステップS41において画像取得部30は、各監視カメラ2から撮像画像を取得する。
ステップS43において供給部36は、撮像画像をモデル350に供給する。供給部36は、各監視カメラ2の撮像画像を、当該監視カメラ2に対応するモデル350に供給してよい。供給部36は、取得された撮像画像のうち、圧縮されていない期間の撮像画像をモデル350に供給してよい。例えば、ステップS43の処理が最初に行われる場合には、供給部36は、これまでの撮像画像の全体をモデル350に供給してよい。ステップS41以降の処理が繰り返されてステップS43の処理が繰り返し行われる場合には、供給部36は、前回のステップS43の処理で供給された撮像画像よりも後の期間の撮像画像をモデル350に供給してよい。
ステップS45において供給部36は、モデル350から出力される圧縮パラメータ値を取得する。供給部36は監視カメラ2ごとに、当該監視カメラ2に対応するモデルから圧縮パラメータ値を取得してよい。
ステップS47において圧縮部31は、供給部36からの圧縮パラメータ値を適用して各監視カメラ2からの撮像画像を圧縮する。圧縮部31は、各監視カメラ2に対応するモデル350から出力された圧縮パラメータ値を、当該監視カメラ2からの撮像画像に適用して圧縮してよい。
ステップS49において送信部320は、圧縮画像を監視端末4に送信する。これにより、監視端末4の通信部40によって圧縮画像が受信される。トランスコーダ3は、ステップS49の処理が終了したら、ステップS41に処理を移行してよい。
ステップS51において監視端末4の表示部42は、各監視カメラ2に対応する圧縮画像を併せて表示する。これにより、圧縮画像を用いて監視が行われる。
ステップS53において操作入力部43は、上述のステップS23と同様にして、ユーザから種々の操作入力を受ける。但し、拡大表示や巻き戻し表示の操作が行われた場合には、ステップS53の段階では表示部42は表示内容を維持してよい。
ステップS55において監視端末4の通信部40は、入力された操作内容をトランスコーダ3に送信する。
ステップS61においてトランスコーダ3の評価取得部321は、上述のステップS31と同様にして、圧縮画像の見やすさに応じた評価を取得する。なお、ステップS61以降のトランスコーダ3の処理は、ステップS41~S49の処理を中断して行われてよい。評価取得部321は、取得した評価を評価対象の圧縮画像に対応付けて記憶部35に記憶させてよい。記憶部35に評価が記憶される場合には、ユーザ操作に応じ、上述のステップS37の処理と同様にして、学習済みのモデル350に改めて学習処理が行われてよい。
ステップS63において評価取得部321は、取得された評価が否定的であるか否かを判定する。評価が否定的ではないと判定された場合(ステップS63;No)には、ステップS41に処理が移行する。評価が否定的であると判定された場合(ステップS63;Yes)には、ステップS65に処理が移行する。
ステップS65において送信部320は、評価対象の圧縮画像に対応する撮像画像を画像ファイル351から読み出して監視端末4に送信する。これにより、圧縮画像に対して否定的な評価が取得されたことに応じて、当該圧縮画像に対応する撮像画像が監視端末4に送信される。評価対象の圧縮画像に対応する撮像画像は、評価取得部321から評価と対応付けて供給されたカメラIDおよびタイムスタンプに対応する撮像画像であってよい。ステップS65の処理が終了したら、トランスコーダ3は上述のステップS41に処理を移行してよい。
そして、ステップS71において監視端末4の表示部42は、受信した撮像画像を表示する。これにより、撮像画像を用いて監視が行われる。上述のステップS53において拡大表示や巻き戻し表示の操作が行われた場合には、表示部42は撮像画像を用いて表示内容を変更してよい。ステップS71の処理が終了したら、監視端末4は上述のステップS53に処理を移行してよい。
以上の動作によれば、圧縮画像に対して否定的な評価が取得されたことに応じて、当該圧縮画像に対応する撮像画像が監視端末4に送信されるので、ユーザにとって圧縮画像が見にくい場合に、圧縮前の撮像画像を用いて監視を行うことができる。
[3.圧縮対象に関する変形例]
上記の実施形態においては、圧縮部31は撮像画像の全体に共通の圧縮パラメータ値を適用して圧縮画像を生成することとして説明したが、撮像画像を領域ごとに圧縮して圧縮画像を生成してもよい。例えば、圧縮部31は、撮像画像のフレームの一部の領域のみを圧縮してもよいし、フレームの領域ごとに別々の圧縮パラメータ値を適用して撮像画像を圧縮してもよい。圧縮部31は、圧縮に適用した圧縮パラメータ値と、その圧縮パラメータ値による圧縮領域を示す情報とを圧縮画像に付加して送信部320や記憶部35、学習処理部33に供給してよい。なお、フレーム内の領域は、被写体のエッジから特定される領域でもよいし、色や輝度などの画像情報から特定される領域でもよいし、フレーム内の座標で特定される領域であってもよい。
本変形例においては、評価取得部321は、圧縮画像の少なくとも一部の領域に対して評価を取得してよい。例えば、評価取得部321は、圧縮画像内でユーザにより指定された領域に対する評価を取得してよい。一例として、評価取得部321は、監視端末4において圧縮画像のフレームの何れかの領域を指定して行われた操作内容から、少なくとも当該領域に対する評価を取得してよい。より具体的には、評価取得部321は、圧縮画像を拡大表示させる旨の操作を、少なくとも当該拡大領域に対する否定的な評価として取得してよい。評価取得部321は、圧縮画像内の一部の領域に対する評価を取得する場合には、取得した評価と、評価対象とされた領域を示す情報と、評価対象とされた圧縮画像に付加された圧縮パラメータ値、カメラIDおよびタイムスタンプとを対応付けて学習処理部33に供給してよい。
また、本変形例においては、モデル350は、新たな撮像画像が入力されることに応じて、当該撮像画像の少なくとも一部の領域の圧縮で適用するべき圧縮パラメータ値を出力してよい。このようなモデル350の学習処理を行う学習処理部33は、圧縮画像の少なくとも一部の領域に対する評価と、撮像画像のうち評価の対象となった少なくとも一部の領域と、当該少なくとも一部の領域の生成で適用された圧縮パラメータ値とを含む学習データを用いて学習処理を行ってよい。
以上の変形例によれば、撮像画像を入力したモデル350から出力される、撮像画像内の少なくとも一部の領域に対する圧縮パラメータ値を当該領域の圧縮に用いることにより、当該領域に関し、ユーザにとって見やすい圧縮画像を生成することができる。
また、圧縮画像内でユーザにより指定された領域に対する評価が取得されるので、指定領域に関し、ユーザにとって見やすい圧縮画像を生成することができる。
[4.その他の変形例]
なお、上記の実施形態においては、トランスコーダ3は記憶部35および供給部36を有することとして説明したが、これらの何れかを有しないこととしてもよい。例えば、トランスコーダ3は記憶部35を有しない場合には、学習処理部33は、外部接続された記憶装置内のモデル350に学習処理を行ってよい。
また、圧縮部31は、一の撮像画像から一の圧縮画像を生成することとして説明したが、互いに異なる複数の圧縮画像を生成してもよい。例えば、圧縮部31は、同じタイムスタンプが付された撮像画像に対して別々の圧縮パラメータ値を適用して、複数の圧縮画像を生成してよい。この場合には、監視端末4の表示部42が、一の撮像画像から生成された複数の圧縮画像を並べて表示してよい。また、評価取得部321は、一の撮像画像から生成された複数の圧縮画像の間での見やすさの相対評価を、見やすさの評価として取得してよい。例えば、評価取得部321は、一の撮像画像から生成された複数の圧縮画像の中で相対的に見やすい圧縮画像、または相対的に見にくい圧縮画像を選択する操作内容を監視端末4から受信してよく、この操作内容から選択された圧縮画像、または、選択されなかった圧縮画像に対する評価を取得してよい。このように一の撮像画像から生成された複数の圧縮画像の間での見やすさの相対評価が取得されてモデル350の学習に用いられる場合には、モデル350から出力される圧縮パラメータ値を当該撮像画像の圧縮に用いることにより、ユーザにとって見やすい圧縮画像を確実に生成することができる。
また、圧縮部31は評価取得部321により見やすさの評価が取得されるごとに圧縮パラメータ値を変更することとして説明したが、圧縮画像が表示されて基準時間が経過するごとに圧縮パラメータ値を変更してもよい。
また、学習処理部33は圧縮に適用するべき圧縮パラメータ値が、肯定的な評価の対象となった圧縮画像の圧縮パラメータ値と、否定的な評価の対象となった圧縮画像の圧縮パラメータ値との間となるようモデル350の学習処理を行うこととして説明したが、圧縮パラメータ値が他の値となるように学習処理を行ってもよい。例えば、学習処理部33は、圧縮で適用するべき圧縮パラメータ値が、肯定的な評価の対象となった圧縮画像の圧縮パラメータ値のうち、否定的な評価の対象となった圧縮パラメータ値に最も近い圧縮パラメータ値となるようモデル350の学習処理を行ってよい。一例として、学習処理部33は肯定的な評価の対象となった複数の圧縮画像の圧縮パラメータ値のグループと、否定的な評価の対象となった複数の圧縮画像の圧縮パラメータ値のグループとの境界を検出してよい。そして、学習処理部33は、圧縮で適用するべき圧縮パラメータ値が、肯定的な評価の対象となった複数の圧縮画像の圧縮パラメータ値のうち当該境界に最も近い圧縮画像の圧縮パラメータ値となるよう、モデル350の学習処理を行ってよい。
また、学習処理部33は監視カメラ2ごとに異なるモデル350の学習処理を行うこととして説明したが、複数の監視カメラ2の間で共通のモデル350の学習処理を行ってもよい。これにより、どの監視カメラ2による撮像画像であっても、同じモデル350から出力される圧縮パラメータ値を用いて、ユーザにとって見やすい圧縮画像に圧縮することができる。また、監視カメラ2ごとに異なるモデル350の学習処理を行う場合と比較して、学習処理を効率化することができる。なお、複数の監視カメラ2の間で共通のモデル350の学習処理が行われる場合には、記憶部35は単一のモデル350を記憶してよい。また、評価取得部321は、監視カメラ2ごとに評価を取得してもよいし、複数の監視カメラ2を区別せずに評価を取得してもよい。
また、学習処理部33は監視カメラ2ごとに異なるモデル350の学習処理を行うこととして説明したが、これに加えて、または、これに代えて、ユーザごとに異なるモデル350の学習処理を行ってもよい。また、この場合に学習処理部33は、一のユーザについての学習済みのモデル350を、他のユーザについての学習用のモデル350として用いてよい。例えば、学習処理部33は、一のユーザについて学習済みのモデル350を複製して他のユーザについての学習用のモデル350とし、当該他のユーザについての学習データを用いて学習処理を行ってよい。また、評価取得部321は、ユーザごとに評価を取得してよい。例えば、評価取得部321は、操作を行ったユーザの識別情報(ユーザIDとも称する)を含む操作内容を監視端末4から受信して、ユーザIDごとに評価を取得してよい。この場合には、監視端末4はユーザのログインを受けた後に、種々の操作入力を受けてよい。このようにしてユーザごとに異なるモデル350の学習処理を行うことにより、ユーザにとって見やすい圧縮画像を、ユーザごとに生成することができる。また、一のユーザについての学習済みのモデル350を他のユーザについての学習用のモデル350として用いることにより、他のユーザに対するモデル350の学習処理を効率化することができる。
また、ユーザごとに異なるモデル350の学習処理を行うこととして説明したが、複数のユーザの間で共通のモデル350の学習処理を行ってもよい。これにより、同じモデル350から出力される圧縮パラメータ値を用いて、どのユーザにとっても見やすい圧縮画像を生成することができる。また、ユーザごとに異なるモデル350の学習処理を行う場合と比較して、学習処理を効率化することができる。なお、複数のユーザの間で共通のモデル350の学習処理が行われる場合には、記憶部35は単一のモデル350を記憶してよい。また、評価取得部321は、ユーザごとに評価を取得してもよいし、複数のユーザを区別せずに評価を取得してもよい。
また、圧縮部31は圧縮率、解像度、階調数およびフレームレートの少なくとも1つを示す圧縮パラメータ値を適用して圧縮を行うこととして説明したが、これに加えて、または、これに代えて、画像効果(画像エフェクトとも称する)を示す圧縮パラメータ値を適用して圧縮を行ってよい。別言すれば、圧縮部31は、圧縮パラメータ値で示される画像効果を撮像画像に適用して圧縮を行ってよい。例えば、圧縮部31は、基準撮像条件とは異なる他の撮像条件で撮像された撮像画像に対し、基準撮像条件に応じた画像効果を適用して圧縮画像を生成してよい。撮像条件は撮像領域の明るさや天候に応じた条件であってよく、基準撮像条件は、被写体が鮮明に撮像される撮像条件(例えば日中の晴天時の撮像条件)、他の撮像条件は、被写体が不鮮明に撮像され得る撮像条件(例えば夜間や降雪、降雨の撮像条件)であってよい。基準撮像条件とは異なる他の撮像条件で撮像された撮像画像に対し、基準撮像条件に応じた画像効果を適用するとは、他の撮像条件に応じた画像効果を撮像画像から取り除くことであってよく、他の撮像条件で撮像された撮像画像を、基準撮像条件で撮像された画像にすることであってよい。一例として、圧縮部31は、降雪の撮像条件で撮像された撮像画像に対して、晴天の撮像条件に応じた画像効果を適用し、雪の粒が除去された圧縮画像を生成してよい。撮像条件に応じて画像効果が適用される場合には、トランスコーダ3には、各監視カメラ2の撮像領域の撮像条件を検知して圧縮部31に提供する検知部(図示せず)が具備されてよく、検知部には明るさセンサや温度計、雨量計、風速計などが設けられてよい。また、この場合には、送信部320は、圧縮画像と、撮像領域の撮像条件を示す識別情報とを監視端末4に送信してよい。これにより、撮像条件に応じた画像の特徴が圧縮によって消失していることを監視端末4のユーザに報知することができるため、元の撮像条件に応じた復元画像を適宜、生成して監視を行うことができる。
また、画像取得部30は、監視カメラ2で撮像された撮像画像を取得することとして説明したが、撮像後に画像効果が適用された画像を撮像画像として取得してもよい。例えば、画像取得部30は、基準撮像条件(一例として晴天の撮像条件)で撮像されて、当該基準撮像条件とは異なる他の撮像条件(一例として降雪の撮像条件)に応じた画像効果が適用された画像(一例として晴天で撮像されて降雪の撮像条件の画像効果が付加された画像)を撮像画像として取得してよい。この場合には、監視カメラ2で撮像された画像に画像効果を付加する画像処理装置(図示せず)から画像取得部30に撮像画像が供給されてよい。画像効果が付加された撮像画像はモデル350に学習を行う場合に取得されてよく、上述の実施形態においては一例として、ステップS11の処理で取得されてよい。基準撮像条件(一例として晴天の撮像条件)とは異なる他の撮像条件(一例として降雪の撮像条件)に応じた画像効果が付加された撮像画像が取得される場合には、圧縮部31は、当該撮像画像に対し、基準撮像条件に応じた画像効果を適用して(一例として雪の粒を除去して)圧縮画像を生成してよい。また、評価取得部321は、圧縮画像の見やすさと、当該圧縮画像、および、基準撮像条件で撮像された画像の近似度と、に応じた評価(統合評価とも称する)を取得してよい。この場合には、基準撮像条件で撮像された画像に対する近似度が高く、かつ、ユーザにとって見やすい圧縮画像を生成することができる。ここで、圧縮画像と、基準撮像条件で撮像された画像との近似度は、基準撮像条件で撮像された画像(基準画像とも称する)に対して圧縮画像がどれだけ近似しているかを示してよい。基準画像は、圧縮画像および撮像画像の元となった画像であってよい。一例として、基準画像は、基準撮像条件で撮像された画像のうち、他の撮像条件に応じた画像効果が付加されて撮像画像とされる前の画像であってよく、また、基準撮像条件で撮像された画像のうち、他の撮像条件に応じた画像効果が付加されて撮像画像とされ、更に基準撮像条件に応じた画像効果が付加されて圧縮画像とされる前の画像であってよい。画像同士の近似度は、従来より公知の手法に算出される値であってよく、例えば画像解析による解析結果の一致度であってよい。統合評価は、予め任意に設定された許容近似度よりも圧縮画像と基準画像との近似度が小さい場合には、見やすさに応じた評価に関わらず、否定的な評価であってよい。また、統合評価は、圧縮画像と基準画像との近似度が許容近似度である場合には、見やすさに応じた評価そのものであってよい。一例として、統合評価は、肯定的な評価と、否定的な評価との二値の値であってよい。
また、評価取得部321は、圧縮画像の見やすさと、撮像画像および圧縮画像の近似度に応じた評価を取得することとして説明したが、近似度に代えて、または、近似度に加えて、圧縮画像の見やすさと、圧縮画像の他の属性値とに応じた評価を取得してもよい。一例として、評価取得部321は、圧縮画像の見やすさと、圧縮画像のデータ量の小ささとに応じた評価(統合評価とも称する)を取得してよい。この場合には、ユーザにとって見やすく、かつ、データ量が小さい圧縮画像を生成することができる。統合評価は、予め設定された許容データ量よりも圧縮画像のデータ量が大きい場合には、見やすさに応じた評価に関わらず、否定的な評価であってよい。また、統合評価は、圧縮画像のデータ量が許容データ量以下である場合には、見やすさに応じた評価そのものであってよい。一例として、統合評価は、肯定的な評価と、否定的な評価との二値の値であってよい。許容データ量は、通信ネットワーク10の通信帯域に基づいて設定されてよく、一例として圧縮画像を情報の欠落なしに逐次、監視端末4で表示し得るデータ量であってよい。これに代えて、許容データ量は、通信ネットワーク10での通信料金に基づいて設定されてよく、データ通信量に応じた通信料金が許容金額以下となるデータ量であってよい。
また、装置をトランスコーダとして説明したが、他の装置としてもよい。例えば、装置は学習装置であってよく、学習済みのモデル350を生成してトランスコーダに供給してよい。
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図4は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、および/またはコンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、およびICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD-ROMドライブ2226は、プログラムまたはデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、および/またはコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
プログラムが、DVD-ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1 警備システム
2 監視カメラ
3 トランスコーダ
4 監視端末
10 通信ネットワーク
30 画像取得部
31 圧縮部
32 通信部
33 学習処理部
35 記憶部
36 供給部
40 通信部
42 表示部
43 操作入力部
320 送信部
321 評価取得部
350 モデル
351 画像ファイル
2200 コンピュータ
2201 DVD-ROM
2210 ホストコントローラ
2212 CPU
2214 RAM
2216 グラフィックコントローラ
2218 ディスプレイデバイス
2220 入/出力コントローラ
2222 通信インタフェース
2224 ハードディスクドライブ
2226 DVD-ROMドライブ
2230 ROM
2240 入/出力チップ
2242 キーボード

Claims (20)

  1. 撮像画像を取得する画像取得部と、
    撮像画像を圧縮して圧縮画像を生成する圧縮部と、
    ユーザから圧縮画像の見やすさに応じた評価を取得する評価取得部と、
    前記評価と、当該評価の対象となった圧縮画像に対応する撮像画像と、当該圧縮画像の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の圧縮で適用するべき圧縮パラメータ値を出力するモデルの学習処理を行う学習処理部と、
    を備え
    前記学習処理部は、圧縮で適用するべき圧縮パラメータ値が、肯定的な前記評価の対象となった圧縮画像の圧縮パラメータ値と、否定的な前記評価の対象となった圧縮画像の圧縮パラメータ値との間となるよう、前記モデルの学習処理を行う、装置。
  2. 撮像画像を取得する画像取得部と、
    撮像画像を領域ごとに圧縮して圧縮画像を生成する圧縮部と、
    圧縮画像内でユーザにより指定された少なくとも一部の領域に対して、ユーザから圧縮画像の当該少なくとも一部の領域の見やすさに応じた評価を取得する評価取得部と、
    圧縮画像の少なくとも一部の領域に対する前記評価と、当該評価の対象となった圧縮画像に対応する撮像画像のうち当該評価の対象となった当該少なくとも一部の領域と、当該圧縮画像の当該少なくとも一部の領域の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の少なくとも一部の領域の圧縮で適用するべき圧縮パラメータ値を出力するモデルの学習処理を行う学習処理部と、
    を備える装置。
  3. 撮像画像を取得する画像取得部と、
    撮像画像を圧縮して圧縮画像を生成する圧縮部と、
    ユーザから圧縮画像の見やすさに応じた評価を取得する評価取得部と、
    前記評価と、当該評価の対象となった圧縮画像に対応する撮像画像と、当該圧縮画像の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の圧縮で適用するべき圧縮パラメータ値を出力するモデルの学習処理を行う学習処理部と、
    前記圧縮画像を監視端末に送信する送信部と、
    前記学習処理部により学習処理が行われた前記モデルに対し、前記画像取得部により新たに取得された撮像画像を供給する供給部と、
    撮像画像を記憶する記憶部と、
    を備え、
    前記評価取得部は、前記監視端末を介して前記評価を取得し、
    前記圧縮部は、前記供給部によって新たな撮像画像が供給されたことに応じて前記モデルから出力される圧縮パラメータ値を適用して、当該新たな撮像画像から圧縮画像を生成し、
    前記送信部は、圧縮画像に対して否定的な前記評価が前記評価取得部により取得されたことに応じて、当該圧縮画像に対応する撮像画像を前記監視端末に送信する、装置。
  4. 前記記憶部は、撮像画像と圧縮画像とを記憶し、撮像画像を圧縮画像よりも短い期間の経過後に消去する、請求項に記載の装置。
  5. 前記圧縮部は、基準撮像条件とは異なる他の撮像条件で撮像された撮像画像に対し、前記基準撮像条件に応じた画像効果を適用して前記圧縮画像を生成し、
    前記送信部は、前記圧縮画像と、前記他の撮像条件を示す識別情報とを前記監視端末に送信する、請求項3または4に記載の装置。
  6. 当該装置は、撮像画像を撮像する監視カメラと、前記監視端末との間に配置されるトランスコーダである、請求項3から5の何れか一項に記載の装置。
  7. 前記評価取得部は、ユーザから圧縮画像の見やすさに応じた、当該ユーザによる評価を取得する、請求項1から6のいずれか一項に記載の装置。
  8. 前記評価取得部は、複数の圧縮画像について肯定的な評価と、否定的な評価とを取得し、
    前記学習処理部は、新たな撮像画像が前記モデルに入力されることに応じて、否定的ではない評価の圧縮画像を生成するために適用するべき圧縮パラメータ値が当該モデルから出力されるように学習処理を行う、請求項1から7の何れか一項に記載の装置。
  9. 前記評価取得部は、圧縮画像の見やすさと、圧縮画像のデータ量の小ささとに応じた前記評価を取得する、請求項1から8の何れか一項に記載の装置。
  10. 前記圧縮部は、圧縮パラメータ値を変更して逐次、圧縮画像を生成する、請求項1からの何れか一項に記載の装置。
  11. 前記圧縮部は、同じ撮像画像から互いに異なる複数の圧縮画像を生成し、
    前記評価取得部は、前記複数の圧縮画像の間での見やすさの相対評価を、前記評価として取得する、請求項1から10の何れか一項に記載の装置。
  12. 前記画像取得部は、基準撮像条件で撮像されて、当該基準撮像条件とは異なる他の撮像条件に応じた画像効果が適用された画像を前記撮像画像として取得し、
    前記圧縮部は、前記撮像画像に対し、前記基準撮像条件に応じた画像効果を適用して前記圧縮画像を生成し、
    前記評価取得部は、前記圧縮画像の見やすさと、当該圧縮画像、および、前記基準撮像条件で撮像された画像の近似度とに応じた前記評価を取得する、請求項1から10の何れか一項に記載の装置。
  13. 前記画像取得部は、複数のカメラから撮像画像を取得し、
    前記評価取得部は、カメラごとに前記評価を取得し、
    前記学習処理部は、カメラごとに異なる前記モデルの学習処理を行う、請求項1から1の何れか一項に記載の装置。
  14. 前記学習処理部は、一のカメラについての学習済みのモデルを、他のカメラについての学習用のモデルとして用いる、請求項1に記載の装置。
  15. 前記画像取得部は、複数のカメラから撮像画像を取得し、
    前記学習処理部は、前記複数のカメラの間で共通の前記モデルの学習処理を行う、請求項1から12の何れか一項に記載の装置。
  16. 前記評価取得部は、ユーザごとに前記評価を取得し、
    前記学習処理部は、ユーザごとに異なる前記モデルの学習処理を行う、請求項1から1の何れか一項に記載の装置。
  17. 前記学習処理部は、一のユーザについての学習済みのモデルを、他のユーザについての学習用のモデルとして用いる、請求項1に記載の装置。
  18. 前記学習処理部は、複数のユーザの間で共通の前記モデルの学習処理を行う、請求項1から1の何れか一項に記載の装置。
  19. 撮像画像を取得する画像取得段階と、
    撮像画像を圧縮して圧縮画像を生成する圧縮段階と、
    ユーザから圧縮画像の見やすさに応じた評価を取得する評価取得段階と、
    前記評価と、当該評価の対象となった圧縮画像に対応する撮像画像と、当該圧縮画像の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の圧縮で適用するべき圧縮パラメータ値を出力するモデルの学習処理を行う学習処理段階と、
    を備え
    前記学習処理段階では、圧縮で適用するべき圧縮パラメータ値が、肯定的な前記評価の対象となった圧縮画像の圧縮パラメータ値と、否定的な前記評価の対象となった圧縮画像の圧縮パラメータ値との間となるよう、前記モデルの学習処理を行う、方法。
  20. コンピュータを、
    撮像画像を取得する画像取得部と、
    撮像画像を圧縮して圧縮画像を生成する圧縮部と、
    ユーザから圧縮画像の見やすさに応じた評価を取得する評価取得部と、
    前記評価と、当該評価の対象となった圧縮画像に対応する撮像画像と、当該圧縮画像の生成で適用された圧縮パラメータ値とを含む学習データを用いて、新たな撮像画像が入力されることに応じて、当該撮像画像の圧縮で適用するべき圧縮パラメータ値を出力するモデルの学習処理を行う学習処理部
    として機能させ
    前記学習処理部は、圧縮で適用するべき圧縮パラメータ値が、肯定的な前記評価の対象となった圧縮画像の圧縮パラメータ値と、否定的な前記評価の対象となった圧縮画像の圧縮パラメータ値との間となるよう、前記モデルの学習処理を行う、プログラム。
JP2021080964A 2021-05-12 2021-05-12 装置、方法およびプログラム Active JP7424345B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021080964A JP7424345B2 (ja) 2021-05-12 2021-05-12 装置、方法およびプログラム
EP22172278.8A EP4090016A3 (en) 2021-05-12 2022-05-09 Apparatus, method and program
US17/740,353 US20220368886A1 (en) 2021-05-12 2022-05-10 Apparatus, method, and computer readable medium
CN202210517331.7A CN115345820A (zh) 2021-05-12 2022-05-12 装置、方法及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021080964A JP7424345B2 (ja) 2021-05-12 2021-05-12 装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022174918A JP2022174918A (ja) 2022-11-25
JP7424345B2 true JP7424345B2 (ja) 2024-01-30

Family

ID=81595662

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021080964A Active JP7424345B2 (ja) 2021-05-12 2021-05-12 装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US20220368886A1 (ja)
EP (1) EP4090016A3 (ja)
JP (1) JP7424345B2 (ja)
CN (1) CN115345820A (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281634A (ja) 2006-04-04 2007-10-25 Hitachi Ltd 画像処理装置及び動画像符号化方法。
JP2014116890A (ja) 2012-12-12 2014-06-26 Mitsubishi Electric Corp 画像符号化装置
WO2017094847A1 (ja) 2015-12-02 2017-06-08 日本電信電話株式会社 体感品質最適化装置、ネットワーク品質推定装置、モバイル端末、体感品質最適化方法、ネットワーク品質推定方法、及びプログラム
JP2018026654A (ja) 2016-08-09 2018-02-15 三菱電機株式会社 画質評価装置及び画像処理装置
US20190026555A1 (en) 2017-07-18 2019-01-24 Facebook, Inc. Image compression using content categories
CN109714557A (zh) 2017-10-25 2019-05-03 中国移动通信集团公司 视频通话的质量评估方法、装置、电子设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2795147B2 (ja) * 1993-12-24 1998-09-10 日本電気株式会社 画質評価装置
US9842261B2 (en) 2011-05-24 2017-12-12 Nissan Motor Co., Ltd. Vehicle monitoring device and method of monitoring vehicle
US9609323B2 (en) * 2014-06-26 2017-03-28 Allego Inc. Iterative video optimization for data transfer and viewing
GB2558644A (en) * 2017-01-13 2018-07-18 Nokia Technologies Oy Video encoding

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281634A (ja) 2006-04-04 2007-10-25 Hitachi Ltd 画像処理装置及び動画像符号化方法。
JP2014116890A (ja) 2012-12-12 2014-06-26 Mitsubishi Electric Corp 画像符号化装置
WO2017094847A1 (ja) 2015-12-02 2017-06-08 日本電信電話株式会社 体感品質最適化装置、ネットワーク品質推定装置、モバイル端末、体感品質最適化方法、ネットワーク品質推定方法、及びプログラム
JP2018026654A (ja) 2016-08-09 2018-02-15 三菱電機株式会社 画質評価装置及び画像処理装置
US20190026555A1 (en) 2017-07-18 2019-01-24 Facebook, Inc. Image compression using content categories
CN109714557A (zh) 2017-10-25 2019-05-03 中国移动通信集团公司 视频通话的质量评估方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
EP4090016A2 (en) 2022-11-16
JP2022174918A (ja) 2022-11-25
EP4090016A3 (en) 2023-02-01
US20220368886A1 (en) 2022-11-17
CN115345820A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
Liu et al. Third-eye: A mobilephone-enabled crowdsensing system for air quality monitoring
CN103678472B (zh) 用于经由社交媒体内容检测事件的方法和系统
JP6425856B1 (ja) ビデオ録画方法、サーバー、システム及び記憶媒体
JP4702877B2 (ja) 表示装置
CN110853033B (zh) 基于帧间相似度的视频检测方法和装置
CN112424769A (zh) 用于地理位置预测的系统和方法
CN113807276B (zh) 基于优化的YOLOv4模型的吸烟行为识别方法
US20220172476A1 (en) Video similarity detection method, apparatus, and device
Cheng et al. Smoke detection and trend prediction method based on Deeplabv3+ and generative adversarial network
KR20190079047A (ko) 육안 인식 검사원의 부하경감을 위한 등급별 영상인식 기술을 이용한 cctv 영상내 의심물체 부분검사 지원 시스템 및 방법
JP7205457B2 (ja) 装置、システム、方法およびプログラム
CN103888731A (zh) 枪机-球机混合视频监控的结构化描述装置及系统
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN112907138B (zh) 一种从局部到整体感知的电网场景预警分类方法及系统
JP7424345B2 (ja) 装置、方法およびプログラム
JP2007158496A (ja) 地図連携映像監視方法及びその装置
US9082049B2 (en) Detecting broken lamps in a public lighting system via analyzation of satellite images
KR20210090484A (ko) 촬영영상을 이용한 계량기 무인 원격 검침 시스템
CN116797864A (zh) 基于智能镜子的辅助化妆方法、装置、设备及存储介质
CN114390200B (zh) 相机作弊识别方法、装置、设备及存储介质
JP2022174948A (ja) 装置、監視システム、方法およびプログラム
US10885343B1 (en) Repairing missing frames in recorded video with machine learning
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
JP2020160762A (ja) 情報処理装置、コンテンツ制御装置、情報処理方法、及びプログラム
CN115760886B (zh) 基于无人机鸟瞰图的地块划分方法、装置及相关设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220719

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231013

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240101

R150 Certificate of patent or registration of utility model

Ref document number: 7424345

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150