JP5838351B2 - 映像受信装置及び受信映像の画像認識方法 - Google Patents
映像受信装置及び受信映像の画像認識方法 Download PDFInfo
- Publication number
- JP5838351B2 JP5838351B2 JP2013065198A JP2013065198A JP5838351B2 JP 5838351 B2 JP5838351 B2 JP 5838351B2 JP 2013065198 A JP2013065198 A JP 2013065198A JP 2013065198 A JP2013065198 A JP 2013065198A JP 5838351 B2 JP5838351 B2 JP 5838351B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image recognition
- content
- recognition
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 63
- 238000000605 extraction Methods 0.000 claims description 57
- 230000008859 change Effects 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 22
- 238000001514 detection method Methods 0.000 description 86
- 230000008569 process Effects 0.000 description 34
- 230000005540 biological transmission Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000006399 behavior Effects 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/488—Data services, e.g. news ticker
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
図1は、本開示の実施の形態における映像受信装置を含むコンテンツ認識システム10の構成を示す図である。
一つ目の特徴は、映像受信装置40の制御部41が、映像抽出部45で次々に抽出される部分映像に対して、コンテンツ切替検知部46でコンテンツ切替が含まれないと検知された部分映像だけに対して、画像認識装置20に画像認識を行わせる点である。つまり、制御部41は、コンテンツ切替が含まれる部分映像については、画像認識装置20に画像認識を行わせない。これによって、一つの部分映像に少なくとの2種類のコンテンツが含まれることによる画像認識の失敗が回避されるとともに、映像受信装置40における無駄な処理が回避される。
二つ目の特徴は、映像受信装置40の認識周期決定部47が、映像入力部49で受信された映像において、コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、その可能性が存在すると判断した場合に、画像認識の周期をより小さな値に変更し、逆に、その可能性が存在しないと判断した場合に、画像認識の周期をより大きな値に変更する点である。これによって、画像認識に伴う映像受信装置40での処理負荷が軽減されるとともに、画像認識のタイミングが自動調整され、コンテンツごとに画像認識が行われる可能性が高まる。
以下、本実施の形態におけるコンテンツ認識システム10における特徴的な機能における動作について説明する。
まず、本コンテンツ認識システム10における映像受信装置40による選択的な画像認識の動作について説明する。
次に、本コンテンツ認識システム10における映像受信装置40による画像認識周期の調整動作について説明する。
12 放送局
14 STB
20 画像認識装置(サーバ装置)
21 HTTP送受信部
22 コンテンツ検索部
23 コンテンツ格納部
30 通信装置
40 映像受信装置
41 制御部
42 HTTP送受信部
43 操作信号受信部
44a 映像出力部
44b 表示画面
45 映像抽出部
46 コンテンツ切替検知部
47 認識周期決定部
48 付加情報格納部
49 映像入力部
49a 映像受信部
49b 第1外部入力部
49c 第2外部入力部
Claims (9)
- 画像認識を行う画像認識装置と接続された映像受信装置であって、
時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力部と、
受信された前記映像に対する画像認識を繰り返す際の周期を決定する認識周期決定部と、
決定された前記周期で、前記映像から、当該映像の一部である部分映像を抽出することを繰り返す映像抽出部と、
前記映像抽出部によって前記部分映像が抽出される度に、抽出された前記部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御部とを備え、
前記認識周期決定部は、前記映像において、前記コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、前記可能性が存在すると判断した場合に、前記周期をより小さな値に変更する
映像受信装置。 - 前記認識周期決定部は、前記画像認識装置から取得した前記画像認識の結果に基づいて、前記可能性の存否を判断する
請求項1記載の映像受信装置。 - 前記認識周期決定部は、前記画像認識装置から取得した前記画像認識の結果が広告である場合に、前記可能性が存在すると判断する
請求項2記載の映像受信装置。 - 前記認識周期決定部は、前記画像認識装置から取得した前記画像認識の結果が変化する場合に、前記可能性が存在すると判断する
請求項2記載の映像受信装置。 - さらに、ユーザの操作を示す操作信号を操作部から受信する操作信号受信部を備え、
前記認識周期決定部は、前記操作信号受信部が受信した操作信号に基づいて、前記可能性の存否を判断する
請求項1記載の映像受信装置。 - 前記認識周期決定部は、前記可能性が存在しないと判断した場合に、前記周期をより大きな値に変更する
請求項2又は5記載の映像受信装置。 - 前記映像受信装置は、通信装置と接続され、さらに表示画面を備え、
前記制御部は、前記画像認識装置から画像認識の結果を取得した場合に、当該画像認識
の結果に関連する情報である関連情報を前記通信装置から取得し、取得した前記関連情報を前記表示画面に表示する
請求項2又は5記載の映像受信装置。 - 画像認識装置と接続された映像受信装置の画像認識方法であって、
時間の経過に伴って切り替わるコンテンツを含む映像を受信する映像入力ステップと、
受信された前記映像に対する画像認識を繰り返す際の周期を決定する認識周期決定ステップと、
決定された前記周期で、前記映像から、当該映像の一部である部分映像を抽出することを繰り返す映像抽出ステップと、
前記映像抽出ステップによって前記部分映像が抽出される度に、抽出された前記部分映像を前記画像認識装置に出力し、当該部分映像に対する画像認識の結果を前記画像認識装置から取得する制御を行う制御ステップとを含み、
前記認識周期決定ステップでは、前記映像において、前記コンテンツの切り替わりであるコンテンツ切替が発生した可能性、又は、発生する可能性の存否を判断し、前記可能性が存在すると判断した場合に、前記周期をより小さな値に変更する
受信映像の画像認識方法。 - 映像受信装置のためのプログラムが記録されている非一時的なコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、請求項8に記載の画像認識方法に含まれるステップをコンピュータに実行させる
記録媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013065198A JP5838351B2 (ja) | 2013-03-26 | 2013-03-26 | 映像受信装置及び受信映像の画像認識方法 |
US13/954,102 US9131184B2 (en) | 2013-03-26 | 2013-07-30 | Video reception device and image recognition method for received video |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013065198A JP5838351B2 (ja) | 2013-03-26 | 2013-03-26 | 映像受信装置及び受信映像の画像認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014192630A JP2014192630A (ja) | 2014-10-06 |
JP5838351B2 true JP5838351B2 (ja) | 2016-01-06 |
Family
ID=51620492
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013065198A Expired - Fee Related JP5838351B2 (ja) | 2013-03-26 | 2013-03-26 | 映像受信装置及び受信映像の画像認識方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9131184B2 (ja) |
JP (1) | JP5838351B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ITUB20155934A1 (it) * | 2015-11-26 | 2017-05-26 | Joshua Mendella | sistema e metodo interattivo per la diffusione di messaggi pubblicitari in televisione |
JP7143836B2 (ja) * | 2019-12-25 | 2022-09-29 | 株式会社デンソー | 解析処理装置、解析処理方法、及び解析処理プログラム |
CN115002550B (zh) * | 2022-05-19 | 2024-07-02 | 深圳康佳电子科技有限公司 | 基于图像识别的视频播放控制方法、终端设备及存储介质 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6055025A (en) * | 1993-12-21 | 2000-04-25 | Lucent Technologies, Inc. | Method and apparatus for detecting abrupt and gradual scene changes in image sequences |
US8107015B1 (en) * | 1996-06-07 | 2012-01-31 | Virage, Incorporated | Key frame selection |
JPH10214258A (ja) | 1997-01-28 | 1998-08-11 | Victor Co Of Japan Ltd | データ処理システム |
CN100592788C (zh) | 2000-04-14 | 2010-02-24 | 日本电信电话株式会社 | 与广播信息相关的信息取得方法、系统和装置 |
JP3994682B2 (ja) * | 2000-04-14 | 2007-10-24 | 日本電信電話株式会社 | 放送情報送受信システム |
JP2002010237A (ja) | 2000-06-22 | 2002-01-11 | Sony Corp | 情報送受信システム及び方法、情報処理装置及び方法 |
WO2002071736A2 (en) * | 2001-03-05 | 2002-09-12 | Intervideo, Inc. | Systems and methods of error resilience in a video decoder |
JP4710350B2 (ja) * | 2005-02-23 | 2011-06-29 | ソニー株式会社 | Cm付加情報供給方法、cm付加情報供給装置、cm付加情報受給装置及びcm付加情報供給システム |
US8312489B2 (en) | 2005-02-23 | 2012-11-13 | Sony Corporation | CM searching method and apparatus, and CM-appendant information supplying method and apparatus |
US8886014B2 (en) * | 2005-08-11 | 2014-11-11 | Mitsubishi Electric Corporation | Video recording apparatus, scene change extraction method, and video audio recording apparatus |
US8433611B2 (en) * | 2007-06-27 | 2013-04-30 | Google Inc. | Selection of advertisements for placement with content |
JP2009038793A (ja) | 2007-07-11 | 2009-02-19 | Panasonic Corp | 情報処理サーバ、番組受信端末、番組関連情報提供方法及び番組関連情報描画方法 |
US8311390B2 (en) * | 2008-05-14 | 2012-11-13 | Digitalsmiths, Inc. | Systems and methods for identifying pre-inserted and/or potential advertisement breaks in a video sequence |
JP4870820B2 (ja) * | 2008-05-28 | 2012-02-08 | 京セラ株式会社 | 通信端末、検索サーバ及び通信システム |
US8582952B2 (en) * | 2009-09-15 | 2013-11-12 | Apple Inc. | Method and apparatus for identifying video transitions |
US8971651B2 (en) * | 2010-11-08 | 2015-03-03 | Sony Corporation | Videolens media engine |
US8805827B2 (en) * | 2011-08-23 | 2014-08-12 | Dialogic (Us) Inc. | Content identification using fingerprint matching |
JP5948773B2 (ja) * | 2011-09-22 | 2016-07-06 | ソニー株式会社 | 受信装置、受信方法、プログラム、及び情報処理システム |
-
2013
- 2013-03-26 JP JP2013065198A patent/JP5838351B2/ja not_active Expired - Fee Related
- 2013-07-30 US US13/954,102 patent/US9131184B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9131184B2 (en) | 2015-09-08 |
US20140293129A1 (en) | 2014-10-02 |
JP2014192630A (ja) | 2014-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5820986B2 (ja) | 映像受信装置及び受信映像の画像認識方法 | |
US10375440B2 (en) | Display device, server, and method of controlling the display device | |
JP5768134B2 (ja) | 放送コンテンツに関連したコンテンツ関連情報を提供するシステム及び方法 | |
US20150026718A1 (en) | Systems and methods for displaying a selectable advertisement when video has a background advertisement | |
US10911835B2 (en) | Systems, methods, and devices supporting scene-based search functionalities | |
US10019058B2 (en) | Information processing device and information processing method | |
US9615127B2 (en) | Systems and methods for recording content from a different source when previous content runs over | |
WO2009088669A1 (en) | Systems and methods for determining attributes of media items accessed via a personal media broadcaster | |
JP6281126B2 (ja) | 映像受信装置、付加情報表示方法および付加情報表示システム | |
US20220150293A1 (en) | Determining Location Within Video Content for Presentation to a User | |
US9525912B1 (en) | Systems and methods for selectively triggering a biometric instrument to take measurements relevant to presently consumed media | |
US20060161854A1 (en) | Method and apparatus for controlling operation of screen saver during reproduction of content | |
JP6281125B2 (ja) | 映像受信装置、映像認識方法および付加情報表示システム | |
JP6379362B2 (ja) | 映像受信装置、パラメータ設定方法および付加情報表示システム | |
KR101865106B1 (ko) | 미디어 항목이 표시되고 있다는 신뢰도를 결정하기 위한 시스템 및 방법 | |
JP5838351B2 (ja) | 映像受信装置及び受信映像の画像認識方法 | |
US11711557B2 (en) | Systems, methods, and devices supporting scene change-based smart search functionalities | |
US20160165299A1 (en) | Apparatus and method for facilitating channel control on a paired device | |
US20190379920A1 (en) | Method and system for creating a customized video associated with an advertisement | |
CN104079988A (zh) | 一种电视节目关联信息的推送设备及推送方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140728 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141008 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150515 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150612 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5838351 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |