JP7105309B2 - 映像前処理方法、装置及びコンピュータプログラム - Google Patents
映像前処理方法、装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP7105309B2 JP7105309B2 JP2020535971A JP2020535971A JP7105309B2 JP 7105309 B2 JP7105309 B2 JP 7105309B2 JP 2020535971 A JP2020535971 A JP 2020535971A JP 2020535971 A JP2020535971 A JP 2020535971A JP 7105309 B2 JP7105309 B2 JP 7105309B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- image
- frames
- scene
- search target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
Description
Claims (13)
- 任意の映像を処理する方法であって、
前記映像を、一つ以上のフレームを含む場面(scene)単位に区分する段階と、
前記場面に含まれる一つ以上のフレームのうち、客体ベースイメージ検索時に正確性の高い検索結果が得られるフレームを検索対象フレームとして選定する段階と、
前記検索対象フレームからあらかじめ設定された主題に関連した客体を識別する段階と、
前記客体に対応するイメージ又は客体情報のうち少なくとも一つを検索し、前記客体に検索結果をマッピングする段階と、
を含む映像処理方法。 - 前記映像を場面単位に区分する段階は、
前記フレームのカラースペクトルを識別する段階と、
連続する第1フレームと第2フレーム間の前記カラースペクトルの変化があらかじめ設定された臨界値以上であれば、前記第1フレームと前記第2フレームの場面を区分する段階とを含む、請求項1に記載の映像処理方法。 - 前記映像を場面単位に区分する段階は、
前記フレームにおいて任意の客体と推定される特徴情報を探知する段階と、
第1フレームに含まれた第1特徴情報が連続する第2フレームに含まれるか否かを判断する段階と、
前記第2フレームに前記第1特徴情報が含まれていなければ、前記第1フレームと前記第2フレームの場面を区分する段階とを含む、請求項1に記載の映像処理方法。 - 前記映像を場面単位に区分する段階は、
連続する第1フレームと第2フレームのマッチング率を演算する段階と、
前記マッチング率があらかじめ設定された値未満であれば、前記第1フレームと前記第2フレームの場面を区分する段階とを含む、請求項1に記載の映像処理方法。 - 前記映像を場面単位に区分する段階は、
前記フレームの周波数スペクトルを識別する段階と、
連続する第1フレームと第2フレーム間の前記周波数スペクトルの変化があらかじめ設定された臨界値以上であれば、前記第1フレームと前記第2フレームの場面を区分する段階とを含む、請求項1に記載の映像処理方法。 - 前記映像を場面単位に区分する段階は、
前記フレームのそれぞれをあらかじめ設定された大きさの一つ以上の領域に分割する段階と、
前記領域別にカラースペクトル又は周波数スペクトルを識別する段階と、
連続する第1フレームと第2フレームにおいて互いに対応する領域の前記カラースペクトルの差又は前記周波数スペクトルの差を演算する段階と、
前記領域別に演算された差の絶対値を合算する段階と、
前記合算した結果値があらかじめ設定された臨界値以上であれば、前記第1フレームと前記第2フレームの場面を区分する段階とを含む、請求項1に記載の映像処理方法。 - 前記映像を場面単位に区分する段階は、
前記フレームのそれぞれをあらかじめ設定された大きさの一つ以上の領域に分割する段階と、
連続する第1フレームと第2フレームにおいて互いに対応する領域別マッチング率を演算する段階と、
前記マッチング率の平均があらかじめ設定された値未満であれば、前記第1フレームと前記第2フレームの場面を区分する段階とを含む、請求項1に記載の映像処理方法。 - 任意の映像を処理する方法であって、
前記映像を、一つ以上のフレームを含む場面(scene)単位に区分する段階と、
前記場面からあらかじめ設定された基準による検索対象フレームを選定する段階と、
前記検索対象フレームからあらかじめ設定された主題に関連した客体を識別する段階と、
前記客体に対応するイメージ又は客体情報のうち少なくとも一つを検索し、前記客体に検索結果をマッピングする段階と、
を含み、
前記検索対象フレームを選定する段階は、
前記フレームにおいてブラー領域を識別する段階と、
前記ブラー領域が前記フレームに占める比重を演算する段階と、
第1場面に含まれる一つ以上のフレームのうち、前記ブラー領域の比重が最も低いフレームを前記第1場面の検索対象フレームとして選定する段階とを含む映像処理方法。 - 前記ブラー領域を識別する段階は、前記フレームでローカルディスクリプタが抽出されない領域をブラー領域として識別する段階を含む、請求項8に記載の映像処理方法。
- 任意の映像を処理する方法であって、
前記映像を、一つ以上のフレームを含む場面(scene)単位に区分する段階と、
前記場面からあらかじめ設定された基準による検索対象フレームを選定する段階と、
前記検索対象フレームからあらかじめ設定された主題に関連した客体を識別する段階と、
前記客体に対応するイメージ又は客体情報のうち少なくとも一つを検索し、前記客体に検索結果をマッピングする段階と、
を含み、
前記検索対象フレームを選定する段階は、
前記フレームから特徴情報を抽出する段階と、
第1場面に含まれる一つ以上のフレームのうち、抽出された特徴情報が最も多く含まれたフレームを前記第1場面の検索対象フレームとして選定する段階とを含む映像処理方法。 - 請求項1~10のいずれか一項の方法を用いた電子装置の客体情報提供方法であって、
請求項1~10のいずれか一項の方法を用いて処理された映像を再生する段階と、
ユーザからあらかじめ設定された選択命令が入力されると、該選択命令が入力された時点のフレームをキャプチャーする段階と、
前記フレームに含まれた客体にマッピングされた客体情報を画面に表示する段階と、
を含む、客体情報提供方法。 - 請求項1~10のいずれか一項の方法を用いて客体情報を提供する装置であって、
請求項1~10のいずれか一項の方法を用いて処理された映像を出力する出力部と、
ユーザからあらかじめ設定された選択命令が入力される入力部と、
前記映像から前記選択命令が入力された時点のフレームをキャプチャーし、前記フレームに含まれた客体を識別する制御部と、
を含み、
前記出力部は、前記識別された客体にマッピングされた客体情報を出力する客体情報提供装置。 - 請求項1~10のいずれか一項の方法を実行させるためにコンピュータ読取り可能媒体に格納された映像処理応用プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0005820 | 2018-01-17 | ||
KR1020180005820A KR102102164B1 (ko) | 2018-01-17 | 2018-01-17 | 영상 전처리 방법, 장치 및 컴퓨터 프로그램 |
PCT/KR2019/000676 WO2019143137A1 (ko) | 2018-01-17 | 2019-01-17 | 영상 전처리 방법, 장치 및 컴퓨터 프로그램 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021509201A JP2021509201A (ja) | 2021-03-18 |
JP7105309B2 true JP7105309B2 (ja) | 2022-07-22 |
Family
ID=67302353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020535971A Active JP7105309B2 (ja) | 2018-01-17 | 2019-01-17 | 映像前処理方法、装置及びコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210182566A1 (ja) |
JP (1) | JP7105309B2 (ja) |
KR (1) | KR102102164B1 (ja) |
WO (1) | WO2019143137A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102380255B1 (ko) * | 2019-10-10 | 2022-03-28 | 주식회사 신세계아이앤씨 | 영상 기반 선반 상품 재고 모니터링 시스템 및 방법 |
KR102395876B1 (ko) * | 2020-04-14 | 2022-05-10 | 빅베이스 주식회사 | 딥러닝을 이용하여 유사한 이미지를 필터링할 수 있는 상품 분류 시스템 및 방법 |
KR102423968B1 (ko) * | 2020-10-06 | 2022-07-22 | 동명대학교산학협력단 | 영상의 객체 재인식 방법 |
KR102558504B1 (ko) | 2021-06-04 | 2023-07-25 | 주식회사 지에프티 | 장면 기반의 동영상 정리 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003087771A (ja) | 2001-09-07 | 2003-03-20 | Oki Electric Ind Co Ltd | 監視システム及び方法 |
JP2009015672A (ja) | 2007-07-06 | 2009-01-22 | Mitsubishi Electric Corp | 顔検出装置及び顔検出方法 |
JP2012523607A (ja) | 2009-04-10 | 2012-10-04 | サムスン エレクトロニクス カンパニー リミテッド | 放送プログラム関連情報提供装置および方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3175632B2 (ja) * | 1997-04-18 | 2001-06-11 | 松下電器産業株式会社 | シーンチェンジ検出方法およびシーンチェンジ検出装置 |
KR20090093904A (ko) * | 2008-02-28 | 2009-09-02 | 미디어코러스 주식회사 | 장면 변화에 강인한 멀티미디어 영상 분석 장치 및 그 방법과, 그를 이용한 객체 기반 멀티미디어 편집 시스템 |
KR102278048B1 (ko) * | 2014-03-18 | 2021-07-15 | 에스케이플래닛 주식회사 | 영상 처리 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체 |
KR102298066B1 (ko) * | 2014-08-14 | 2021-09-06 | 삼성전자주식회사 | 영상 콘텐츠 제공 방법 및 영상 콘텐츠 제공 장치 |
KR20160027486A (ko) * | 2014-08-29 | 2016-03-10 | 주식회사 테라클 | 광고 제공 장치, 광고 표시 장치, 광고 제공 방법, 및 광고 표시 방법 |
KR102206184B1 (ko) * | 2014-09-12 | 2021-01-22 | 삼성에스디에스 주식회사 | 동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치 |
-
2018
- 2018-01-17 KR KR1020180005820A patent/KR102102164B1/ko active IP Right Grant
-
2019
- 2019-01-17 JP JP2020535971A patent/JP7105309B2/ja active Active
- 2019-01-17 US US16/769,237 patent/US20210182566A1/en not_active Abandoned
- 2019-01-17 WO PCT/KR2019/000676 patent/WO2019143137A1/ko active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003087771A (ja) | 2001-09-07 | 2003-03-20 | Oki Electric Ind Co Ltd | 監視システム及び方法 |
JP2009015672A (ja) | 2007-07-06 | 2009-01-22 | Mitsubishi Electric Corp | 顔検出装置及び顔検出方法 |
JP2012523607A (ja) | 2009-04-10 | 2012-10-04 | サムスン エレクトロニクス カンパニー リミテッド | 放送プログラム関連情報提供装置および方法 |
Non-Patent Citations (1)
Title |
---|
Quang Nhat Vo et al.,A feature-based adaptive model for realtime face tracking on smart phones,18th Acadinavian Conference. SCIA 2013,SCIA,2013年06月17日,630-639 |
Also Published As
Publication number | Publication date |
---|---|
KR102102164B1 (ko) | 2020-04-20 |
JP2021509201A (ja) | 2021-03-18 |
WO2019143137A1 (ko) | 2019-07-25 |
KR20190087711A (ko) | 2019-07-25 |
US20210182566A1 (en) | 2021-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7105309B2 (ja) | 映像前処理方法、装置及びコンピュータプログラム | |
US20230012732A1 (en) | Video data processing method and apparatus, device, and medium | |
US9323785B2 (en) | Method and system for mobile visual search using metadata and segmentation | |
JP5358083B2 (ja) | 人物画像検索装置及び画像検索装置 | |
CN105373768B (zh) | 提供图像内容的方法和设备 | |
JP5827445B2 (ja) | 拡張現実インタラクションを実現する方法およびシステム | |
CN104994426B (zh) | 节目视频识别方法及系统 | |
KR102206184B1 (ko) | 동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치 | |
US20130101209A1 (en) | Method and system for extraction and association of object of interest in video | |
US8805123B2 (en) | System and method for video recognition based on visual image matching | |
WO2006025272A1 (ja) | 映像分類装置、映像分類プログラム、映像検索装置、および映像検索プログラム | |
CN111581423B (zh) | 一种目标检索方法及装置 | |
CN113766330A (zh) | 基于视频生成推荐信息的方法和装置 | |
WO2014100936A1 (zh) | 视频的关联信息库制作和视频播放的方法、平台及系统 | |
CN113596496A (zh) | 虚拟直播间的交互控制方法、装置、介质及电子设备 | |
US20170013309A1 (en) | System and method for product placement | |
KR20180025754A (ko) | 디스플레이장치 및 그 제어방법 | |
CN110636322B (zh) | 多媒体数据的处理方法、装置、智能终端及存储介质 | |
JP5685958B2 (ja) | 画像表示システム | |
CN115379290A (zh) | 视频处理方法、装置、设备及存储介质 | |
US20180189602A1 (en) | Method of and system for determining and selecting media representing event diversity | |
CN113297405A (zh) | 数据处理方法和系统、计算机可读存储介质及处理设备 | |
CN115086774B (zh) | 资源显示方法、装置、电子设备及存储介质 | |
Karthick et al. | Automatic genre classification from videos | |
Aggarwal et al. | Automated Navigation System for News Videos: A Survey |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200626 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210914 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20211006 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20211206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220711 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7105309 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |