JP6809731B1 - ビデオ信号処理システムおよびビデオ信号処理方法 - Google Patents
ビデオ信号処理システムおよびビデオ信号処理方法 Download PDFInfo
- Publication number
- JP6809731B1 JP6809731B1 JP2019220772A JP2019220772A JP6809731B1 JP 6809731 B1 JP6809731 B1 JP 6809731B1 JP 2019220772 A JP2019220772 A JP 2019220772A JP 2019220772 A JP2019220772 A JP 2019220772A JP 6809731 B1 JP6809731 B1 JP 6809731B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- video signal
- processing
- detection target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000001514 detection method Methods 0.000 claims abstract description 126
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 52
- 230000002093 peripheral effect Effects 0.000 claims description 7
- 238000005094 computer simulation Methods 0.000 claims description 5
- 230000001934 delay Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims 4
- 239000010979 ruby Substances 0.000 claims 1
- 229910001750 ruby Inorganic materials 0.000 claims 1
- 238000010586 diagram Methods 0.000 abstract description 7
- 230000003111 delayed effect Effects 0.000 abstract description 2
- 238000011895 specific detection Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012821 model calculation Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003467 diminishing effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
例えば、文字認識技術に基づくテキストオブジェクトの検出の場合、まず、フレーム画像内の不特定のオブジェクトが検出され、検出されたオブジェクトの1つ1つに対して文字認識処理が実行されるため、1フレーム画像あたりの演算量は、検出されるオブジェクトの数に線形的に依存し、事前に特定することは困難である。
12 オブジェクト検出部
21 フレームバッファ
22 画像加工部
Claims (6)
- 所定のフレームレートのビデオ信号を処理するビデオ信号処理システムにおいて、
前記ビデオ信号からフレーム画像を抽出するフレーム画像抽出部と、
前記フレーム画像における検出対象を検出し、検出した前記検出対象の位置を少なくとも出力するオブジェクト検出部と、
前記フレーム画像抽出部および前記オブジェクト検出部の1フレーム画像あたりの処理時間以上の所定ディレイ時間だけ前記ビデオ信号を遅延させるフレームバッファと、
前記フレームバッファからの前記ビデオ信号の各フレーム画像において、そのフレーム画像について検出された前記検出対象の位置により指定される画像領域に対して所定の画像処理を施し、前記フレームレートで前記画像処理後のフレーム画像を出力する画像加工部とを備え、
前記オブジェクト検出部は、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、前記フレームレートに対応するフレーム周期以下で、前記フレーム画像における検出対象の位置を少なくとも検出し、
前記演算モデルは、機械学習済みのディープニューラルネットワークを含み、
前記検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、
前記画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかであり、
前記マスク処理は、特定の画像で前記画像領域を上書きする処理であり、
前記置換処理は、前記検出対象に対応する画像を生成し生成した前記画像で前記画像領域を置換する処理であり、
前記置換処理は、前記テキストオブジェクトの場合、前記テキストオブジェクトのテキストを所定言語に翻訳した翻訳テキストの画像で前記画像領域を置換する処理であること、
を特徴とするビデオ信号処理システム。 - 所定のフレームレートのビデオ信号を処理するビデオ信号処理システムにおいて、
前記ビデオ信号からフレーム画像を抽出するフレーム画像抽出部と、
前記フレーム画像における検出対象を検出し、検出した前記検出対象の位置を少なくとも出力するオブジェクト検出部と、
前記フレーム画像抽出部および前記オブジェクト検出部の1フレーム画像あたりの処理時間以上の所定ディレイ時間だけ前記ビデオ信号を遅延させるフレームバッファと、
前記フレームバッファからの前記ビデオ信号の各フレーム画像において、そのフレーム画像について検出された前記検出対象の位置により指定される画像領域に対して所定の画像処理を施し、前記フレームレートで前記画像処理後のフレーム画像を出力する画像加工部とを備え、
前記オブジェクト検出部は、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、前記フレームレートに対応するフレーム周期以下で、前記フレーム画像における検出対象の位置を少なくとも検出し、
前記演算モデルは、機械学習済みのディープニューラルネットワークを含み、
前記検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、
前記画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかであり、
前記マスク処理は、特定の画像で前記画像領域を上書きする処理であり、
前記置換処理は、前記検出対象に対応する画像を生成し生成した前記画像で前記画像領域を置換する処理であり、
前記置換処理は、前記画像オブジェクトの場合、前記検出対象の所定範囲の周辺画像から前記画像領域の画像を推定して生成し、生成した前記画像で前記画像領域を置換する処理であること、
を特徴とするビデオ信号処理システム。 - 前記画像加工部は、前記フレーム周期以下で、1フレーム画像に対する前記画像処理を実行することを特徴とする請求項1または請求項2記載のビデオ信号処理システム。
- 所定のフレームレートのビデオ信号を処理するビデオ信号処理方法において、
前記ビデオ信号からフレーム画像を抽出するフレーム画像抽出ステップと、
前記フレーム画像における検出対象を検出し、検出した前記検出対象の位置を少なくとも出力するオブジェクト検出ステップと、
前記フレーム画像抽出ステップおよび前記オブジェクト検出ステップの1フレーム画像あたりの処理時間以上の所定ディレイ時間だけ前記ビデオ信号をフレームバッファで遅延させるステップと、
前記フレームバッファからの前記ビデオ信号の各フレーム画像において、そのフレーム画像について検出された前記検出対象の位置により指定される画像領域に対して所定の画像処理を施し、前記フレームレートで前記画像処理後のフレーム画像を出力するステップとを備え、
前記オブジェクト検出ステップは、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、前記フレームレートに対応するフレーム周期以下で、前記フレーム画像における検出対象の位置を少なくとも検出し、
前記演算モデルは、機械学習済みのディープニューラルネットワークを含み、
前記検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、
前記画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかであり、
前記マスク処理は、特定の画像で前記画像領域を上書きする処理であり、
前記置換処理は、前記検出対象に対応する画像を生成し生成した前記画像で前記画像領域を置換する処理であり、
前記置換処理は、前記テキストオブジェクトの場合、前記テキストオブジェクトのテキストを所定言語に翻訳した翻訳テキストの画像で前記画像領域を置換する処理であること、
を特徴とするビデオ信号処理方法。 - 所定のフレームレートのビデオ信号を処理するビデオ信号処理方法において、
前記ビデオ信号からフレーム画像を抽出するフレーム画像抽出ステップと、
前記フレーム画像における検出対象を検出し、検出した前記検出対象の位置を少なくとも出力するオブジェクト検出ステップと、
前記フレーム画像抽出ステップおよび前記オブジェクト検出ステップの1フレーム画像あたりの処理時間以上の所定ディレイ時間だけ前記ビデオ信号をフレームバッファで遅延させるステップと、
前記フレームバッファからの前記ビデオ信号の各フレーム画像において、そのフレーム画像について検出された前記検出対象の位置により指定される画像領域に対して所定の画像処理を施し、前記フレームレートで前記画像処理後のフレーム画像を出力するステップとを備え、
前記オブジェクト検出ステップは、1フレーム画像あたりの演算量が事前に特定されている演算モデルを実行して、前記フレームレートに対応するフレーム周期以下で、前記フレーム画像における検出対象の位置を少なくとも検出し、
前記演算モデルは、機械学習済みのディープニューラルネットワークを含み、
前記検出対象は、テキストオブジェクト、図形オブジェクト、および画像オブジェクトのいずれかであり、
前記画像処理は、ブラーフィルタ処理、マスク処理、および置換処理のいずれかであり、
前記マスク処理は、特定の画像で前記画像領域を上書きする処理であり、
前記置換処理は、前記検出対象に対応する画像を生成し生成した前記画像で前記画像領域を置換する処理であり、
前記置換処理は、前記画像オブジェクトの場合、前記検出対象の所定範囲の周辺画像から前記画像領域の画像を推定して生成し、生成した前記画像で前記画像領域を置換する処理であること、
を特徴とするビデオ信号処理方法。 - 前記フレーム周期以下で、1フレーム画像に対する前記画像処理を実行することを特徴とする請求項4または請求項5記載のビデオ信号処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019220772A JP6809731B1 (ja) | 2019-12-05 | 2019-12-05 | ビデオ信号処理システムおよびビデオ信号処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019220772A JP6809731B1 (ja) | 2019-12-05 | 2019-12-05 | ビデオ信号処理システムおよびビデオ信号処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020186362A Division JP2021090191A (ja) | 2020-11-09 | 2020-11-09 | ビデオ信号処理システムおよびビデオ信号処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6809731B1 true JP6809731B1 (ja) | 2021-01-06 |
JP2021089684A JP2021089684A (ja) | 2021-06-10 |
Family
ID=73992899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019220772A Active JP6809731B1 (ja) | 2019-12-05 | 2019-12-05 | ビデオ信号処理システムおよびビデオ信号処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6809731B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112843677A (zh) * | 2021-02-08 | 2021-05-28 | 脸萌有限公司 | 一种系统延时确定方法、装置、设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004145660A (ja) * | 2002-10-24 | 2004-05-20 | Fuji Heavy Ind Ltd | 障害物検出装置 |
JP4448477B2 (ja) * | 2004-12-28 | 2010-04-07 | 株式会社テレビ朝日データビジョン | 字幕付き映像信号の遅延制御装置及び遅延制御プログラム |
JP2008021034A (ja) * | 2006-07-11 | 2008-01-31 | Fujitsu Ten Ltd | 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置 |
JP2009111761A (ja) * | 2007-10-30 | 2009-05-21 | Toshiba Corp | 字幕番組編集装置および字幕編集方法 |
EP2889840A1 (en) * | 2013-12-31 | 2015-07-01 | Patents Factory Ltd. Sp. z o.o. | A method for visualising dynamics of motion in a video image |
JP6795195B2 (ja) * | 2017-10-25 | 2020-12-02 | ネットスマイル株式会社 | 文字種推定システム、文字種推定方法、および文字種推定プログラム |
KR102015945B1 (ko) * | 2018-04-19 | 2019-08-28 | 주식회사 크라우드웍스 | 자율주행을 위한 학습대상 이미지 패키징 장치 및 방법 |
-
2019
- 2019-12-05 JP JP2019220772A patent/JP6809731B1/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112843677A (zh) * | 2021-02-08 | 2021-05-28 | 脸萌有限公司 | 一种系统延时确定方法、装置、设备和存储介质 |
CN112843677B (zh) * | 2021-02-08 | 2023-07-11 | 脸萌有限公司 | 一种系统延时确定方法、装置、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2021089684A (ja) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107707931B (zh) | 根据视频数据生成解释数据、数据合成方法及装置、电子设备 | |
CN106686452B (zh) | 一种动态图片的生成方法及装置 | |
US9542735B2 (en) | Method and device to compose an image by eliminating one or more moving objects | |
KR20160013984A (ko) | 비디오 편집을 위한 터치 최적화 디자인 | |
US20160173787A1 (en) | Surveillance camera with heat map function | |
US10410059B2 (en) | Cloud platform with multi camera synchronization | |
CN112419132B (zh) | 视频水印检测方法、装置、电子设备及存储介质 | |
WO2022188510A1 (zh) | 审核视频的方法、装置及计算机可读存储介质 | |
CN112887510A (zh) | 基于视频检测的视频播放方法及系统 | |
JP6809731B1 (ja) | ビデオ信号処理システムおよびビデオ信号処理方法 | |
KR101281850B1 (ko) | 영상 디스크립터 생성 장치 | |
CN114554267A (zh) | 基于数字孪生技术的音频视频的同步方法及装置 | |
US8165387B2 (en) | Information processing apparatus and method, program, and recording medium for selecting data for learning | |
CN111625661A (zh) | 一种音视频片段分类方法及装置 | |
US20240062545A1 (en) | Information processing device, information processing method, and recording medium | |
EP3484145B1 (en) | Compact video generation device and method, and recording medium in which computer program is recorded | |
JP2021090191A (ja) | ビデオ信号処理システムおよびビデオ信号処理方法 | |
JP2010039877A (ja) | 要約コンテンツ生成装置および要約コンテンツ生成プログラム | |
CN112235600A (zh) | 视频数据及视频业务请求的处理方法、装置及系统 | |
US11521656B2 (en) | Incorporating visual objects into video material | |
US20170069348A1 (en) | Method and method for shortening video with event preservation | |
CN113992979A (zh) | 一种视频扩展方法及系统、计算机设备 | |
JP2011097229A (ja) | 撮影データ処理装置及び撮影データ処理用プログラム | |
JP2015177471A (ja) | 抽出プログラム、方法、及び装置 | |
WO2023139760A1 (ja) | データ拡張装置、データ拡張方法、及び非一時的なコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20200327 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200327 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200908 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200908 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200923 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201126 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6809731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |