JP4765452B2 - 画像処理装置および方法、並びにプログラム - Google Patents

画像処理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP4765452B2
JP4765452B2 JP2005208839A JP2005208839A JP4765452B2 JP 4765452 B2 JP4765452 B2 JP 4765452B2 JP 2005208839 A JP2005208839 A JP 2005208839A JP 2005208839 A JP2005208839 A JP 2005208839A JP 4765452 B2 JP4765452 B2 JP 4765452B2
Authority
JP
Japan
Prior art keywords
content
screen
sub
displayed
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005208839A
Other languages
English (en)
Other versions
JP2007028311A (ja
Inventor
信之 藤原
裕成 岡本
力 関
昇 村林
英明 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005208839A priority Critical patent/JP4765452B2/ja
Priority to EP06253367A priority patent/EP1746822B1/en
Priority to DE602006005749T priority patent/DE602006005749D1/de
Priority to US11/488,871 priority patent/US7990473B2/en
Publication of JP2007028311A publication Critical patent/JP2007028311A/ja
Application granted granted Critical
Publication of JP4765452B2 publication Critical patent/JP4765452B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147—PVR [Personal Video Recorder]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Circuits (AREA)
  • Television Receiver Circuits (AREA)

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、主画面および従画面にマルチ表示されるコンテンツについて、従画面に表示されるコンテンツの特徴量に基づいて、主画面の表示を切り替えることを可能とする画像処理装置および方法、並びにプログラムに関する。
複数のコンテンツを主画面および従画面にマルチ表示することができる例えばテレビジョン受像機が開発されている。
しかしながら、例えば従画面に表示されているコンテンツを、その所定の特徴量に応じて主画面に表示させるなど、従画面に表示されているコンテンツの特徴量に応じて主画面の表示を切り替えることは、開発されていない。
本発明は、このような状況に鑑みてなされたものであり、例えば従画面に表示されるコンテンツの特徴量に応じて主画面の表示を切り替えることを可能にするものである。
本発明の一側面の画像処理装置は、主画面に主コンテンツを表示し、従画面に従コンテンツを表示する表示手段と、前記従画面に表示させる前記従コンテンツの特徴量を検出する検出手段と、前記検出手段により検出された前記従コンテンツの前記特徴量が所定の閾値を超えた場合、前記従コンテンツを前記主コンテンツに代えて前記主画面に表示させる制御手段とを備え、前記制御手段は、前記従コンテンツを前記主画面に表示させた場合、前記検出手段により検出された前記従コンテンツの前記特徴量の推移に応じて、前記主画面に表示されている前記従コンテンツの表示の大きさを段階的に変化させるとともに、前記従コンテンツの背面に前記主画面の大きさの前記主コンテンツを表示させる。
前記特徴量は、前記従コンテンツの音声の音量や所定の周波数の音声信号の大きさ、または前記従コンテンツの映像と所定の画像とのマッチング度であるようにすることができる。
前記制御手段は、所定の条件を満たしたとき、前記従コンテンツに代えて前記主画面に再び前記主コンテンツを表示させることができる。
前記主コンテンツの再生が停止されている場合において、前記主コンテンツの終了時刻が決定されている場合、前記制御手段は、前記終了時刻までに再生が完了するように、前記主コンテンツを再生する再生手段をさらに設けることができる。
前記制御手段は、前記閾値を超える特徴量が検出されたとき、前記従コンテンツの、前記閾値を超える特徴量が検出されたシーンから所定の時間遡ったシーンから前記主画面に表示させることができる。
前記制御手段は、前記主画面に表示された前記従コンテンツの特徴状態が終了するまで前記主画面の表示の切り替えを制限することができる。
前記制御手段は、前記従コンテンツの映像を反転させて前記主画面に表示させることができる。
前記制御手段は、複数の前記従コンテンツから、前記閾値を超える特徴量が同時に検出されたとき、前記複数の従コンテンツの全部または一部を前記主画面に表示させることができる。
前記従画面に表示される前記従コンテンツを記録する記録手段をさらに設けることができる。
前記主コンテンツは、放送番組またはゲームコンテンツであるようにすることができる。
前記主画面に表示される前記主コンテンツの音声と、前記従画面に表示される前記従コンテンツの音声を出力する音声出力手段をさらに備え、
前記制御手段は、前記検出手段により検出された前記特徴量に基づいて、前記音声出力手段を制御することができる。
本発明の一側面の画像処理方法は、主画面に主コンテンツを表示し、従画面に従コンテンツを表示する表示ステップと、前記従画面に表示させる前記従コンテンツの特徴量を検出する検出ステップと、前記検出ステップの処理で検出された前記従コンテンツの前記特徴量が所定の閾値を超えた場合、前記従コンテンツを前記主コンテンツに代えて前記主画面に表示させる制御ステップとを含み、前記制御ステップの処理は、前記従コンテンツを前記主画面に表示させた場合、前記検出ステップの処理により検出された前記従コンテンツの前記特徴量の推移に応じて、前記主画面に表示されている前記従コンテンツの表示の大きさを段階的に変化させるとともに、前記従コンテンツの背面に前記主画面の大きさの前記主コンテンツを表示させる。
本発明の一側面の複数のプログラムは、主画面に主コンテンツを表示し、従画面に従コンテンツを表示する表示ステップと、前記従画面に表示させる前記従コンテンツの特徴量を検出する検出ステップと、前記検出ステップの処理で検出された前記従コンテンツの前記特徴量が所定の閾値を超えた場合、前記従コンテンツを前記主コンテンツに代えて前記主画面に表示させる制御ステップとをコンピュータに実行させるためのプログラムであって、前記制御ステップの処理は、前記従コンテンツを前記主画面に表示させた場合、前記検出ステップの処理により検出された前記従コンテンツの前記特徴量の推移に応じて、前記主画面に表示されている前記従コンテンツの表示の大きさを段階的に変化させるとともに、前記従コンテンツの背面に前記主画面の大きさの前記主コンテンツを表示させる。
本発明の一側面においては、主画面に主コンテンツを表示し、従画面に従コンテンツが表示され、前記従画面に表示させる前記従コンテンツの特徴量が検出され、検出された前記従コンテンツの前記特徴量が所定の閾値を超えた場合、前記従コンテンツが前記主コンテンツに代えて前記主画面に表示される。そして、前記従コンテンツを前記主画面に表示させた場合、検出された前記従コンテンツの前記特徴量の推移に応じて、前記主画面に表示されている前記従コンテンツの表示の大きさを段階的に変化させるとともに、前記従コンテンツの背面に前記主画面の大きさの前記主コンテンツが表示される。
以上のごとく、本発明の一側面によれば、例えば従画面に表示されるコンテンツの特徴量に応じて、主画面の表示を切り替えることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
請求項１に記載の画像処理装置は、
前記主画面（例えば、図２の主画面２１）に主コンテンツ（例えば、図２のコンテンツＭ）を表示し、前記従画面（例えば、図２の従画面２２）に従コンテンツ（例えば、コンテンツＣ）を表示する表示手段（例えば、図６の表示制御部２０６）と、
前記従画面に表示させる前記従コンテンツの特徴量を検出する検出手段（例えば、図６の特徴量抽出部２０３）と、
前記検出手段により検出された前記特徴量に基づいて、前記主画面の表示を切り替える制御手段（例えば、図６の制御部２０４）と
を備えることを特徴とする。
請求項２に記載の画像処理装置は、
前記制御手段は、所定の閾値を超える前記特徴量が得られた前記従コンテンツを、前記主コンテンツに代えて前記主画面に表示させる（例えば、図３）
ことを特徴とする。
請求項３に記載の画像処理装置は、
前記特徴量は、前記従コンテンツの音声の音量や所定の周波数の音声信号の大きさ（例えば、図８Ｂ）、または前記従コンテンツの映像と所定の画像とのマッチング度である
ことを特徴とする。
請求項４に記載の画像処理装置は、
前記制御手段は、所定の条件を満たしたとき、前記主画面の表示を、前記主コンテンツに戻す（例えば、図１０）
ことを特徴とする。
前記主コンテンツの再生が停止されている場合において、前記主コンテンツの終了時刻が決定されている場合、前記制御手段は、前記終了時刻までに再生が完了するように、前記主コンテンツを再生する再生手段（例えば、図６の再生部２０２）（例えば、図１１および図１２）
をさらに備えることを特徴とする。
請求項６に記載の画像処理装置は、
前記制御手段は、前記閾値を超える特徴量が検出されたとき、前記従コンテンツの、前記閾値を超える特徴量が検出されたシーンから所定の時間遡ったシーンから前記主画面に表示させる（例えば、図１４）
ことを特徴とする。
請求項７に記載の画像処理装置は、
前記制御手段は、前記主画面に表示された前記従コンテンツの特徴状態が終了するまで前記主画面の表示の切り替えを制限する（例えば、図１５）
ことを特徴とする。
請求項８に記載の画像処理装置は、
前記制御手段は、前記従コンテンツの映像を反転させて前記主画面に表示させる（例えば、図２９乃至図３１）
ことを特徴とする。
請求項９に記載の画像処理装置は、
前記制御手段は、複数の前記従コンテンツから、前記閾値を超える特徴量が同時に検出されたとき、前記複数の従コンテンツの全部または一部を前記主画面に表示させる（例えば、図１７）
ことを特徴とする。
請求項１０に記載の画像処理装置は、
前記制御手段は、前記主画面に表示されている前記従コンテンツの表示を、前記特徴量の推移に応じて変化させる（例えば、図１６）
ことを特徴とする。
請求項１１に記載の画像処理装置は、
前記従画面に表示される前記従コンテンツを記録する記録手段（例えば、図６の記録制御部２０７）
をさらに備えることを特徴とする。
請求項１２に記載の画像処理装置は、
前記主コンテンツは、放送番組またはゲームコンテンツである（例えば、図３および図３２）
ことを特徴とする。
請求項１３に記載の画像処理装置は、
前記主画面に表示される前記主コンテンツの音声と、前記従画面に表示される前記従コンテンツの音声を出力する音声出力手段（例えば、図６の音声出力制御部２０５）をさらに備え、
前記制御手段は、前記検出手段により検出された前記特徴量に基づいて、前記音声出力手段を制御する（例えば、図３６および図３７）
ことを特徴とする。
請求項１４に記載の画像処理方法および請求項１５に記載のプログラムは、
前記主画面に主コンテンツを表示し、前記従画面に従コンテンツを表示する表示ステップ（図６の表示制御部２０６の処理）と、
前記従画面に表示させる前記従コンテンツの特徴量を検出する検出ステップ（例えば、図７のステップＳ１）と、
前記検出ステップの処理で検出された前記特徴量に基づいて、前記主画面の表示を切り替える制御ステップ（例えば、図７のステップＳ２およびステップＳ３）と
を含むことを特徴とする。
以下、図面を参照して、本発明の実施の形態について説明する。
図１は、本発明を適用した画像処理装置１と、画像処理装置１とケーブルを介して接続されるテレビジョン受像機２（以下、TV２という）の外観の例を示している。
画像処理装置１は、HDD(Hard Disk Drive)１１８（図５）を内蔵するデジタル録画機器であり、例えば図示せぬアンテナを介して受信した放送波から複数のコンテンツのデータを取得し、取得したコンテンツのデータに対応する映像（以下、適宜、コンテンツの映像と称する）を、TV２の表示部１１に、図２に示すようにマルチ表示することができる。
図２の例では、１個の主画面２１（大きな画面）と、３個の従画面２２−１乃至２２−３（小さな画面）（以下、個々に区別する必要がない場合、単に、従画面２２と称する）が設けられ、主画面２１には、所定のコンテンツ（初期状態において主画面２１に表示されるコンテンツをコンテンツＭと称する）が表示される。
コンテンツＭは、視聴者により選択された任意のコンテンツとすることもできるし、ライブ番組を優先的にコンテンツＭとして主画面２１に表示することもできる。
各従画面２２には、例えば所定のチャンネルで放送されるコンテンツが表示され、図２の例では、従画面２２−１にコンテンツＣaが、従画面２２−２にコンテンツＣbが、そして従画面２２−３にコンテンツＣcがそれぞれ表示されている。画像処理装置１は、従画面２２に表示するコンテンツＣa、コンテンツＣb、およびコンテンツＣc（以下、個々に区別する必要がない場合、コンテンツＣと称する）を同時にHDD１１８に記録することができる。
画像処理装置１はさらに、従画面２２に表示するコンテンツＣの特徴量を検出し、その特徴量に応じて、主画面２１の表示を切り替えることができる。
例えば、図２に示したように、コンテンツＭが主画面２１に、コンテンツＣaが従画面２２−１に、コンテンツＣbが従画面２２−２に、そしてコンテンツＣcが従画面２２−３にそれぞれ表示されている状態（初期状態）において、従画面２２−３に表示されているコンテンツＣcの特徴量が所定の閾値を超えたとき、図３に示すように、主画面２１の表示を、コンテンツＭの映像から、コンテンツＣcのそのときのシーン（以下、特徴シーンと称する）からの映像に切り替えることができる。
特徴量は、例えば、コンテンツＣの音声信号から得られる音量や所定の周波数の音声信号の大きさとすることができる。サッカー中継番組では、得点が入ったときなどは、観客の声援等の音声出力が大きくなり、音量や所定の周波数の音声信号が大きくなるので、それらを特徴量とすれば、得点シーン（盛り上がりシーン）を特徴シーンとして検出し、その盛り上がりシーンからの映像を大きな画面の主画面２１に表示することができる。
すなわち図２および図３におけるコンテンツＣcがサッカー中継番組である場合、図４に示すように、そのときの盛り上がりシーン（この例の場合、得点した選手のアップ映像）を、主画面２１に表示することができる。
特徴量はまた、コンテンツＣの画像と、例えば、所定の俳優の顔部分の画像とのマッチング度とすることができる。そのマッチング度を特徴量とすれば、ドラマ番組において、その俳優が登場するシーンの画像からは、高いマッチング度が得られるので、その俳優が登場したシーンを特徴シーンとして検出し、そのシーンからの映像を大きな主画面２１に表示することができる。
なお特徴量は、コンテンツＣの特徴を表す量であれば、上述した例に限られるものではない。
すなわち本発明によれば、このように従画面２２に表示されるコンテンツＣを、その特徴量に応じて主画面２１に表示するなど、従画面２２に表示されるコンテンツＣの特徴量に応じて主画面２１の表示を切り替えることができるので、視聴者の嗜好に合った特徴量を設定することで、視聴者は、コンテンツＭを主画面２１で視聴しながら、嗜好に合ったコンテンツＣの映像も、適宜、主画面２１で視聴することができる。
なお従画面２２に表示される画像は動画であっても静止画であってもよい。
図５は、画像処理装置１のハードウエア構成例を示すブロック図である。
CPU(Central Processing Unit)１０１は、ROM(Read Only Memory)１０３に記憶されたプログラムや、HDD１１８から、HDD I/F１１７およびバス１０４を介してRAM(Random Access Memory)１０２にロードされたプログラムを実行し、例えば、U/I制御部１０５により受信されたユーザからの指示（例えば図示せぬリモートコントローラからのコマンド）に応じて各部の動作を制御する。
チューナ１０６は、CPU１０１による制御に従って、図示せぬアンテナからの放送信号を受信し、受信信号を復調器１０７に出力する。
復調器１０７は、チューナ１０６から供給されてきた受信信号を復調し、所定のチャンネルで放送されてきたトランスポートストリームをTSデコーダ１０８に出力する。
TSデコーダ１０８は、CPU１０１による制御に従って、復調器１０７から供給されてきたトランスポートストリームから所定のストリームを、RAM１０９を用いて抽出し、抽出したストリームを構成するパケットをバス１０４上に、または、AVデコーダ１１０に出力する。バス１０４上に供給されたパケット（コンテンツのデータ）は、例えば、HDD I/F１１７を介してHDD１１８に供給され、記録される。また、TSデコーダ１０８により得られたEPGも、適宜、HDD１１８に供給され、記録される。
AVデコーダ１１０は、TSデコーダ１０８から供給されてきたビデオデーダ（ビデオパケット）とオーディオデータ（オーディオパケット）を、RAM１１１を用いてデコードし、デコードして得られたオーディオ信号をMUX１１２に、ビデオ信号をMUX１１３にそれぞれ出力する。
MUX１１２は、AVデコーダ１１０から供給されてきたオーディオ信号に対応する音声をTV２のスピーカ１２から出力させる。
MUX１１３は、AVデコーダ１１０から供給されてきたビデオ信号と、表示コントローラ１１４から供給されてきたビデオ信号（OSD(On Screen Display)信号）に基づいて、所定の画像（画面）をTV２の表示部１１に表示させる。
表示コントローラ１１４は、CPU１０１による制御に従って、例えば主画面２１および従画面２２等のコンテンツをマルチ表示させるためのビデオ信号を生成し、生成したビデオ信号をMUX１１３に出力する。
SIO(Serial I/O)コントローラ１１５は、高速モデム１３１を制御することによってインターネット１３２を介してWebサーバ１３３等に接続し、EPGなどを必要に応じてダウンロードする。ダウンロードにより得られたEPGはHDD１１８に供給され、記憶される。
IEEE(Institute of Electrical and Electronics Engineers)1394 I/F１１６は、IEEE1394ケーブルを介して接続されるビデオカメラ１３４からビデオデータを取り込む。
HDD I/F１１７は、バス１０４を介して供給されてきたデータをHDD１１８に記憶させるとともに、要求に応じて、HDD１１８に記憶されているデータを、バス１０４を介して各部に供給する。
カードI/F１１９は、バス１０４を介して供給されてきたデータを、スロット１２０に装着されたメモリカード１３５に記録させ、また、メモリカード１３５に記録されているデータを読み出してバス１０４上に出力する。
図６は、画像処理装置１のマルチ表示機能に係る機能的構成例を示している。
入力部２０１（図５のチューナ１０６、SIOコントローラ１１５、IEEE1394I/F１１６、HDDI/F１１７およびCPU１０１等で実現される）は、例えばアンテナを介して受信された放送信号、ネットワーク１３２を介して受信されたコンテンツ、HDD１１８に記憶されているコンテンツ等を入力して、再生部２０２に供給する。
再生部２０２（図５の復調器１０７乃至RAM１１１およびCPU１０１等で実現される）は、入力部２０１から供給された放送信号等を再生し、その結果得られた所定のコンテンツのビデオ信号およびオーディオ信号を特徴量抽出部２０３および制御部２０４に供給する。
特徴量抽出部２０３（図５のCPU１０１等で実現される）は、再生部２０２から供給されたビデオ信号やオーディオ信号を解析し、例えば視聴者の指定に応じた特徴量を抽出し、制御部２０４に供給する。
例えば、特徴量が音量や所定の周波数の音声信号の大きさとされた場合、所定の音声解析が行われ、その結果得られた音量や所定の周波数の音声信号の大きさ等が、制御部２０４に供給される。
また特徴量が所定の画像とのマッチング度とされた場合、再生部２０２から供給されたビデオ信号を解析して、その画像とのマッチング度が検出され、制御部２０４に供給される。
制御部２０４（CPU１０１等により実現される）は、表示制御部２０６を制御して、再生部２０２から供給されたビデオ信号に対応する各コンテンツの映像をマルチ表示させる。制御部２０４はそのとき、例えば、特徴量抽出部２０３から供給された特徴量を所定の閾値と比較して、特徴シーン（盛り上がりシーン、所定俳優が登場するシーンなど）を検出し、特徴シーンが検出されたコンテンツを音声出力制御部２０５や表示制御部２０６に通知する処理を行う。
制御部２０４はまた、音声出力制御部２０５を制御して、再生部２０２から供給された音声信号に対応する音声をスピーカ１２から出力させる。
制御部２０４はまた、記録制御部２０７を制御して、再生部２０２から供給されたビデオ信号およびオーディオ信号をHDD１１８に記録させる。
音声出力制御部２０５（図５のMUX１１２およびCPU１０１等で実現される）は、後述するように制御部２０４の制御に従って、コンテンツの音声をスピーカ１２から出力させる。
表示制御部２０６（図５のMUX１１３、表示コントローラ１１４およびCPU１０１等で実現される）は、後述するように制御部２０４の制御に従って、コンテンツの表示を、表示部１１にマルチ表示させる。
記録制御部２０７は、制御部２０４の制御に従って、コンテンツデータをHDD１１８に記憶させる。
次に、画像処理装置１の表示切替処理を、図７のフローチャートを参照して説明する。
なおいまの場合TV２の表示部１１には、図２に示したように、主画面２１および従画面２２−１乃至２２−３が設けられ、主画面２１にはコンテンツＭが表示され、従画面２２−１乃至２２−３には、コンテンツＣa乃至コンテンツＣcのそれぞれが記録されると同時に表示されるものとする。
すなわち画像処理装置１の制御部２０４は、再生部２０２から供給されたコンテンツＭ、およびコンテンツＣa乃至コンテンツＣcのビデオ信号を表示制御部２０６に供給する処理を、表示制御部２０６は、コンテンツＭのビデオ信号に対応する映像を主画面２１に表示し、コンテンツＣaのビデオ信号に対応する映像を従画面２２−１に表示し、コンテンツＣbのビデオ信号に対応する映像を従画面２２−２に表示し、コンテンツＣcのビデオ信号に対応する映像を従画面２２−３に表示する処理を、そして記録処理部２０７は、コンテンツＣa乃至コンテンツＣcをHDD１１８に記録する処理を、別途開始しているものとする。
ステップＳ１において、特徴量抽出部２０３は、従画面２２に表示されるコンテンツＣの特徴量の検出を開始し、その検出結果を、制御部２０４に出力する。
例えば、図８Ｂに示すようなコンテンツＣa、コンテンツＣb、およびコンテンツＣcの特徴量（例えば音量や所定の周波数の音声信号の大きさ）の検出が開始され、その検出結果が制御部２０４に供給される。
ステップＳ２において、制御部２０４は、コンテンツＣ毎に、特徴量抽出部２０３から供給された特徴量と所定の閾値を比較し、その閾値を超える特徴量が検出まで待機し、閾値を超えた特徴量が検出されたとき、ステップＳ３に進む。
ステップＳ３において、制御部２０４は、閾値を超えた特徴量が得られたコンテンツＣ（図３の例では、コンテンツＣc）を表示制御部２０６に通知する。表示制御部２０６は、制御部２０４から通知されたコンテンツＣ（コンテンツＣc）の、閾値を超えた特徴量が得られたシーン（特徴シーン）からの映像を主画面２１に表示する（図３）。
なお図３に示すように、従画面２２−３には、コンテンツＣcがそのまま表示されるようにすることもできるし、図９に示すように、主画面２１に表示されていたコンテンツＭが表示されるようにすることもできる。
その後、ステップＳ２に戻り、それ以降の処理が同様に行われる。
以上のようにして主画面２１の表示が、従画面２２に表示されているコンテンツＣの特徴量に応じて切り替えられる。
図８を参照して、上述した表示切替処理を具体的に説明する。図８の例では、時刻ｔ11でコンテンツＣcから閾値を超える特徴量が検出され（特徴シーンが検出され）（図８Ｂ）（ステップＳ２）、その時点で主画面２１の表示が、コンテンツＭの映像からコンテンツＣcの映像に切り替えられる（図３、図８Ａ）。
また時刻ｔ21でコンテンツＣbから閾値を超える特徴量が検出され（図８Ｂ）、その時点で主画面２１の表示が、コンテンツＣcの映像からコンテンツＣbの映像に切り替えられる（図８Ａ）。
また時刻ｔ31でコンテンツＣaから閾値を超える特徴量が検出され（図８Ｂ）、その時点で主画面２１の表示が、コンテンツＣbの映像からコンテンツＣaの映像に切り替えられる（図８Ａ）。
また時刻ｔ41で再びコンテンツＣcから閾値を超える特徴量が検出され（図８Ｂ）、その時点で主画面２１の表示が、コンテンツＣaの映像からコンテンツＣcの映像に切り替えられる（図８Ａ）。
具体的には、このように主画面２１の表示が、従画面２２に表示されているコンテンツＣの特徴量に応じて切り替えられる。
なお図８の例においては、次に特徴シーンが検出されるまで主画面２１の表示が切り替えられなかったが、特徴量が一定の値まで減少したり、所定の時間Ｔv次の特徴シーンが検出されなかった場合、主画面２１の表示を、初期状態において主画面２１に表示されていたコンテンツＭの映像に切り替えるようにすることができる。
図１０（コンテンツＣの特徴量は、図８における場合と同じ）の例では、時刻ｔ41でコンテンツＣcから特徴シーンが検出された後、所定の時間Ｔvの間、特徴シーンが検出されないので、時間Ｔv経過時の時刻ｔ51に、コンテンツＭが再び主画面２１に表示される。
なおコンテンツＭが、主画面２１の表示がコンテンツＣに切り替えられた後、従画面２２にも表示されない場合（図３）、コンテンツＭの再生は、図１０の例では時刻ｔ11から時刻ｔ51まで中断される。この場合、コンテンツＭがドラマ番組であり、図１１に示すように、放送終了時刻ｔendが決められているとき、その時刻までに再生が完了するように再生する必要がある。
そこで、そのような場合、図１１の例では、時刻ｔ51でのコンテンツＭの残りの再生量はｒ１であることから、時刻ｔ51から時刻ｔendまでの時間で再生量ｒ1を除算して得られた再生速度で、コンテンツＭを再生（話速再生）することができる。
また出来るだけ通常の再生速度で再生するために、再生量が、図１２に示すように、残り時間との関係で通常の再生速度で再生可能となる再生量ｒ2になるように、時刻ｔ51から時刻61まで高速で再生することもできる。時刻ｔ61からは、通常の再生速度で再生され、時刻ｔendで再生が完了する。
図１３の主画面２１および従画面２２には、そこに表示されるコンテンツの種類を識別できる表示が付加されている。この例の場合、コンテンツＭおよびコンテンツＣaがライブ番組であるので、それらが表示されている主画面２１および従画面２２−１には、その旨を表す枠Ｗが表示されている。
このように、表示されるコンテンツの種類を識別できる表示が主画面２１および従画面２２に付されることにより、視聴者は、そこに表示されるコンテンツの種類を容易に把握することができる。
例えばコンテンツＭが、主画面２１の表示が切り替えられて再生が中断し再表示されるとき、上述した特殊再生が必要となるコンテンツであることも容易に把握することができる。
図８および図１０の例においては、特徴シーンが検出されると、その特徴シーンからの映像が主画面２１に表示されたが、特徴シーンから所定の時間Ｔbだけ遡ったシーンからの映像が表示されるようにすることができる。
図１４（コンテンツＣの特徴量は、図８における場合と同じ）の例では、時刻ｔ11から、コンテンツＣcの、時刻ｔ11から時間Ｔbだけ遡った時刻ｔ10のシーンからの映像が主画面２１に表示され、時刻ｔ21から、コンテンツＣbの、時刻ｔ21から時間Ｔbだけ遡った時刻ｔ20のシーンからの映像が主画面２１に表示される。
また時刻ｔ31から、コンテンツＣaの、時刻ｔ31から時間Ｔbだけ遡った時刻ｔ30のシーンからの映像が主画面２１に表示され、時刻ｔ41から、コンテンツＣcの、時刻ｔ41から時間Ｔbだけ遡った時刻ｔ40のシーンからの映像が主画面２１に表示される。
例えばサッカーの中継番組において、図４に示すように、得点を上げた選手を映すシーンが特徴シーンとして検出されることがあるが、上述したように、そのシーンから所定の時間Ｔbだけ遡ったシーンからの映像を表示することにより、得点された経過を示す映像を主画面２１に表示させることができる。
なお遡る時間Ｔbの長さは、コンテンツの内容によって決定することができる。例えば、サッカー中継番組であれば、時間Ｔb1とし、野球中継番組であれば、時間Ｔb1と異なる時間Ｔb2とすることができる。
図８、図１０、および図１４の例においては、特徴シーンが検出されると、直ちに主画面２１の表示が切り替わったが、いま主画面２１に表示されているコンテンツＣにおいて特徴状態（例えば特徴量が所定の値以上である状態）が継続している場合、その特徴状態が終了するのを待って（特徴量が所定の値より小さくなるまで待って）、主画面２１の表示を切り替えることができる。
図１５（コンテンツＣの特徴量は、図８における場合と同じ）の例では、コンテンツＣcは時刻ｔ11から主画面２１に表示されるが、盛り上がり状態が時刻ｔ13まで継続しているので（特徴量が大きい状態が継続しているので）、時刻ｔ13より前の時刻ｔ21でコンテンツＣbから特徴シーンが検出されても、時刻ｔ13までは主画面２１の表示の切り替えは行われず、コンテンツＣcの盛り上がりが終了した時点（時刻ｔ13）で、主画面２１の表示がコンテンツＣbに切り替わっている。
図３の例においては、次の特徴シーンが検出されるまで、主画面２１には特徴シーンが検出されたコンテンツＣが同じように表示されたが、その特徴量の推移に応じて、そのコンテンツＣの表示を変化させることができる。
例えば、図１６に示すように、主画面２１の表示がコンテンツＣcの映像に切り替えられた後、コンテンツＣcの特徴量の減少に応じて、そのコンテンツＣcの表示を段階的に小さくし、その背面にコンテンツＭの映像が表示されるようにすることができる。
図３、および図８等の例においては、各コンテンツの特徴シーン等が異なるタイミングで検出されていたが、複数のコンテンツから同時に特徴シーンが検出される場合も考えられるので、そのときは、主画面２１を複数に分割してそれらのコンテンツを同時に表示することができる。
例えば、図１７に示すように、同時に特徴シーンが検出されたコンテンツＣaおよびコンテンツＣbの映像が、２個に分割された主画面２１−１および２１−２に同時に表示されるようにすることができる。
なお図１７の例では、同じ大きさの２個の主画面２１が形成されたが、図１８Ａに示すように、同時に検出された特徴シーンについて特徴量が大きかった方のコンテンツＣbの映像を、主画面２１全体に表示し、特徴量が小さかった方のコンテンツＣaの映像をその一部に組み込むようにして表示することもできる。
また図１８Ｂおよび図１８Ｃに示すように、特徴量が小さかった方のコンテンツＣaの映像を、その特徴量の変化に応じて段階的に変化させる（図１８の例では小さくする）こともできる。
図２および図３の例では、初期状態として、主画面２１とともに従画面２２が設けられ、それぞれにコンテンツＭおよびコンテンツＣが表示されていたが、図１９に示すように、初期状態として大きな主画面２１だけを設けてコンテンツＭを表示し、コンテンツＣを裏で記録するようにし、コンテンツＣを表示しないようにすることができる。そして記録しているコンテンツＣにおいて特徴シーンが検出されたとき、図２０に示すように、特徴シーンが検出されたコンテンツＣ（コンテンツＣc）が主画面２１に表示されるようにすることができる。
また裏で記録されているコンテンツＣ（例えば、コンテンツＣc）から特徴シーンが検出されたとき、図２１に示すように、主画面２１が縮小されされるとともに、そこにコンテンツＣcが表示され、そして新たに従画面２２が設けられるとともに、そこに、コンテンツＣcの過去の特徴シーン（Ｃc−Ｄ１、Ｃc−Ｄ２、Ｃc−Ｄ３）が時間順に表示されるようにすることもできる。また従画面２２に代えて、例えば特徴シーンの時刻等を示すリストが表示されるようにすることもできる。
また裏で記録されているコンテンツＣの記録が終了したとき、記録を終了したコンテンツＣを、主画面２１に表示するようにすることもできる。またその際、図２１に示すように、従画面２２が新たに設けられ、そこに、そのコンテンツＣの特徴シーンが時間順に表示されるようにすることもできる。
またその他、視聴者により所定の操作がなされたとき、未視聴のコンテンツＣが優先的に主画面２１に表示されるようにすることもできる。またその際にも、図２１に示すように、従画面２２が新たに設けられ、そこに、そのコンテンツＣの特徴シーンが時間順に表示されるようにすることができる。
図２および図３等の例においては、特徴シーンが検出されたとき、主画面２１の表示が切り替わるようにしたが、例えば、図２２に示すように、カーソルＫで視聴者が所望の従画面２２を選択することができるようにし、図２３に示すように、選択した従画面２２に表示されていたコンテンツＣが主画面２１に表示されるようにすることもできる。
また主画面２１に表示されていたコンテンツＭの放送が終了したとき、主画面２１の表示を切り替えるようにすることができる。
図２の主画面２１に表示されているコンテンツＭ、および従画面２２に表示されているコンテンツＣが、図２４に示すタイミングで終了する場合において、時刻ｔ71でコンテンツＭの放送が終了したとき、図２５Ａに示すように、従画面２２−１に表示されていたコンテンツＣaが主画面２１に表示されるようにすることができる。
このとき従画面２２−１にはコンテンツＣbが、そして従画面２２−２にはコンテンツＣcが、それぞれ順に移動して表示され、従画面２２−３は、消去される。
また例えば時刻ｔ72でコンテンツＣcの放送が終了した場合、図２５Ｂに示すように、従画面２２−２は消去される。またさらに時刻ｔ73でコンテンツＣbの放送が終了した場合、図２５Ｃに示すように、従画面２２−１も消去される。
なお従画面２２の数が少なくなったときに、図２５Ｄに示すように、主画面２１を拡大し、従画面２２に表示されているコンテンツの映像が、その主画面２１内に組み込まれるようにすることもできる。
また従画面２２を削除する場合、図２５Ａの例のように、従画面２２を単純に削除するだけでなく、図２６に示すように、残った従画面２２の大きさを、横方向に拡張させて見やすくすることもできる。
以上においては、従画面２２に表示されるコンテンツＣの順番については言及しなかったが、従画面２２に表示されるコンテンツＣの順番を、同じジャンルのコンテンツＣが並んで表示されるようにし、表示されるコンテンツＣが変更されて、そのジャンルが変更された場合、従画面２２に表示される順番を際調整することもできる。
コンテンツＣa乃至コンテンツＣcがスポーツ番組で同じジャンルのコンテンツである場合、例えば図２に示すように、それらは従画面２２−１乃至２２−３に順に表示される。しかしながら、例えば、図２７に示すように、コンテンツＣbが終了し（時刻ｔs）、ニュース番組のコンテンツＣb’が放送されるようになったとき、図２８に示すように、従画面２２−１と２２−２に、コンテンツＣaおよびコンテンツＣc（スポーツ番組）が並んで表示され、従画面２２−３に、コンテンツＣb'が表示されるようにすることができる。
図３および図４の例では、特徴シーンからの映像がそのまま主画面２１に表示されたが、例えば反転させた映像が表示されるようにすることもできる。
図２９の主画面２１に表示されているコンテンツＣの映像は、図３０の従画面２２−３に表示されていたコンテンツＣの映像が線Ｘを中心に反転された映像（鏡に映った映像）である。
例えば、床屋などで視聴者（床屋のお客）が鏡越しにテレビジョン受像機２に表示される映像を見る場合、特徴シーンが検出されたときこのように反転した映像を主画面２１に表示するようにすれば、例えば盛り上がったシーンをその視聴者に見えやすいように表示ことができる。
また図２９に示すように、反転されていない映像を従画面２２−３にそのまま表示することもできる。また図３１に示すように、主画面２１に、反転されない映像（図３０の従画面２２−３の映像）がそのまま表示され、従画面２２−３に反転画像が表示されるようにすることもできる。
図３の例では、主画面２１には、例えば受信されたコンテンツＭが表示されたが、図３２Ａに示すように、画像処理装置１を介して供給されるゲーム機５００からのゲームコンテンツＧの映像が表示されるようにすることもできる。
すなわちこの例の場合、従画面２２に表示されているコンテンツＣから特徴シーンが検出されると、主画面２１の表示が、図３２Ｂに示すように、ゲームコンテンツＧの映像から特徴シーンが検出されたコンテンツＣ（コンテンツＣb）の映像に切り替えられる。
このようにすることにより、ゲーム機５００でゲームを利用しているユーザに対しても、コンテンツＣの盛り上がったシーンを適切に提供することができる。
なお図３２の例では、１個のゲームコンテンツＧの映像が表示されていたが、複数のゲームコンテンツＧの映像が主画面２１に表示されるようにすることもできる。
例えば、図３３Ａのように、２個のゲーム機５００が接続されて、それぞれのゲームコンテンツＧの映像が２個の主画面２１−１および２１−２にそれぞれ表示されるようにすることができる。
この例の場合、従画面２２に表示されているコンテンツＣから特徴シーンが検出されると、図３３Ｂに示すように、２つの主画面２１が１つの主画面２１に再構成され、そこに特徴シーンが検出されたコンテンツＣ（コンテンツＣb）が表示されるまた盛り上がりが終了した時には、図３３Ａに示すように、再び、主画面２１を２つの主画面２１に再構成して、それぞれにもとのゲームコンテンツＧの映像が表示される。
また図３４に示すように、インターネット１３２を介して接続される複数の画像処理装置１においても同様な表示切り替えをすることができる。
すなわちこの例の場合、各TV２の表示部１１の従画面２２に表示されているコンテンツＣから特徴シーンが検出されると、各主画面２１の表示が、図３５に示すように、ゲームコンテンツＧの映像から、特徴シーンが検出されたコンテンツＣ（コンテンツＣb）の映像に同時に切り替えられる。
以上においては、コンテンツの音声については言及しなかったが、主画面２１および従画面２２に表示されているコンテンツＣのすべての音声を一定の音量で、スピーカ１２から出力しておき、主画面２１の表示が切り替わったとき、主画面２１に表示されるようになったコンテンツＣの音声の音量を、他のコンテンツの音量より上げて出力することもできる。
また図３６に示すように、主画面２１に表示されているコンテンツＣの音声をスピーカ１２−１から出力させ、従画面２２−１に表示されているコンテンツの音声をスピーカ１２−２から出力させ、そして従画面２２−３に表示されているコンテンツＣの音声をスピーカ１２−３から出力させるようにし、そして例えばコンテンツＣａから特徴シーンが検出されたとき、図３７に示すように、主画面２１の表示を、コンテンツＣaの映像に切り替えるとともに、すべてのスピーカ１２からコンテンツＣaの音声が出力させるようにすることもできる。
なお図３６および図３７でスピーカ１２は、説明のため便宜上抜き出されて図示されている。
なお上述した説明の中のマルチ画面表示は、通常の単一画面表示から必要に応じて行われるようにすることができる。すなわち、リモコンなどの所定操作手段によりユーザが、マルチ画面表示の動作モードを選択することで、所定盛上りに応じて、前記、各説明のようにマルチ画面表示を行うようにしても良い。
また以上においては、上述した各処理を、画像処理装置１単独に実行するものとしたが、例えばインターネット１３２で接続される図示せぬ処理サーバとの間で所定のソフトウエアセルを適宜送受信するようにして実行することもできる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図５のメモリカード１３５や、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、若しくは光磁気ディスクを含む）などよりなるパッケージメディアであるリムーバブルメディア、またはROM１０３やHDD１１８などにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースであるSIOコントローラ１１５を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した画像処理装置１の利用例を示す図である。 図１のTV２の表示部１１の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１の画像処理装置１のハードウエア構成例を示すブロック図である。 図１の画像処理装置１の機能的構成例を示すブロック図である。 表示切替処理を説明するフローチャートである。 表示切替処理を説明する図である。 図１のTV２の表示部１１の他の表示例を示す図である。 表示切替処理を説明する他の図である。 特殊再生を説明する図である。 特殊再生を説明する図である。 図１のTV２の表示部１１の他の表示例を示す図である。 表示切替処理を説明する他の図である。 表示切替処理を説明する他の図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 コンテンツの放送時間の例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 コンテンツのジャンルの例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。 図１のTV２の表示部１１の他の表示例を示す図である。
符号の説明
１ 画像処理装置， ２ TV， １１ 表示部， １２ スピーカ， ２１ 主画面， ２２ 従画面， ２０３ 特徴量抽出部， ２０４ 制御部， ２０５ 音声出力制御部， ２０６ 表示制御部， ２０７ 記録制御部， ５００ ゲーム機

Claims (13)

  1. 所定のコンテンツを所定の主画面としてまたは所定の従画面として表示できる画像処理装置において、
    前記主画面に主コンテンツを表示し、前記従画面に従コンテンツを表示する表示手段と、
    前記従画面に表示させる前記従コンテンツの特徴量を検出する検出手段と、
    前記検出手段により検出された前記従コンテンツの前記特徴量が所定の閾値を超えた場合、前記従コンテンツを前記主コンテンツに代えて前記主画面に表示させる制御手段と
    を備え、
    前記制御手段は、前記従コンテンツを前記主画面に表示させた場合、前記検出手段により検出された前記従コンテンツの前記特徴量の推移に応じて、前記主画面に表示されている前記従コンテンツの表示の大きさを段階的に変化させるとともに、前記従コンテンツの背面に前記主画面の大きさの前記主コンテンツを表示させる
    画像処理装置。
  2. 前記特徴量は、前記従コンテンツの音声の音量や所定の周波数の音声信号の大きさ、または前記従コンテンツの映像と所定の画像とのマッチング度である
    請求項１に記載の画像処理装置。
  3. 前記制御手段は、所定の条件を満たしたとき、前記従コンテンツに代えて前記主画面に再び前記主コンテンツを表示させる
    請求項１に記載の画像処理装置。
  4. 前記主コンテンツの再生が停止されている場合において、前記主コンテンツの終了時刻が決定されている場合、前記制御手段は、前記終了時刻までに再生が完了するように、前記主コンテンツを再生する再生手段
    をさらに備える請求項３に記載の画像処理装置。
  5. 前記制御手段は、前記閾値を超える特徴量が検出されたとき、前記従コンテンツの、前記閾値を超える特徴量が検出されたシーンから所定の時間遡ったシーンから前記主画面に表示させる
    請求項１に記載の画像処理装置。
  6. 前記制御手段は、前記主画面に表示された前記従コンテンツの特徴状態が終了するまで前記主画面の表示の切り替えを制限する
    請求項１に記載の画像処理装置。
  7. 前記制御手段は、前記従コンテンツの映像を反転させて前記主画面に表示させる
    請求項１に記載の画像処理装置。
  8. 前記制御手段は、複数の前記従コンテンツから、前記閾値を超える特徴量が同時に検出されたとき、前記複数の従コンテンツの全部または一部を前記主画面に表示させる
    請求項１に記載の画像処理装置。
  9. 前記従画面に表示される前記従コンテンツを記録する記録手段
    をさらに備える請求項１に記載の画像処理装置。
  10. 前記主コンテンツは、放送番組またはゲームコンテンツである
    請求項１に記載の画像処理装置。
  11. 前記主画面に表示される前記主コンテンツの音声と、前記従画面に表示される前記従コンテンツの音声を出力する音声出力手段をさらに備え、
    前記制御手段は、前記検出手段により検出された前記特徴量に基づいて、前記音声出力手段を制御する
    請求項１に記載の画像処理装置。
  12. 所定のコンテンツを所定の主画面としてまたは所定の従画面として表示できる画像処理方法において、
    前記主画面に主コンテンツを表示し、前記従画面に従コンテンツを表示する表示ステップと、
    前記従画面に表示させる前記従コンテンツの特徴量を検出する検出ステップと、
    前記検出ステップの処理で検出された前記従コンテンツの前記特徴量が所定の閾値を超えた場合、前記従コンテンツを前記主コンテンツに代えて前記主画面に表示させる制御ステップと
    を含み、
    前記制御ステップの処理は、前記従コンテンツを前記主画面に表示させた場合、前記検出ステップの処理により検出された前記従コンテンツの前記特徴量の推移に応じて、前記主画面に表示されている前記従コンテンツの表示の大きさを段階的に変化させるとともに、前記従コンテンツの背面に前記主画面の大きさの前記主コンテンツを表示させる
    画像処理方法。
  13. 所定のコンテンツを所定の主画面としてまたは所定の従画面として表示するためのプログラムにおいて、
    前記主画面に主コンテンツを表示し、前記従画面に従コンテンツを表示する表示ステップと、
    前記従画面に表示させる前記従コンテンツの特徴量を検出する検出ステップと、
    前記検出ステップの処理で検出された前記従コンテンツの前記特徴量が所定の閾値を超えた場合、前記従コンテンツを前記主コンテンツに代えて前記主画面に表示させる制御ステップと
    をコンピュータに実行させるためのプログラムであって、
    前記制御ステップの処理は、前記従コンテンツを前記主画面に表示させた場合、前記検出ステップの処理により検出された前記従コンテンツの前記特徴量の推移に応じて、前記主画面に表示されている前記従コンテンツの表示の大きさを段階的に変化させるとともに、前記従コンテンツの背面に前記主画面の大きさの前記主コンテンツを表示させる
    プログラム。
JP2005208839A 2005-07-19 2005-07-19 画像処理装置および方法、並びにプログラム Active JP4765452B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005208839A JP4765452B2 (ja) 2005-07-19 2005-07-19 画像処理装置および方法、並びにプログラム
EP06253367A EP1746822B1 (en) 2005-07-19 2006-06-28 Image processing apparatus, image processing method, and image processing program
DE602006005749T DE602006005749D1 (de) 2005-07-19 2006-06-28 Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
US11/488,871 US7990473B2 (en) 2005-07-19 2006-07-18 Image processing apparatus, image processing method, and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005208839A JP4765452B2 (ja) 2005-07-19 2005-07-19 画像処理装置および方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2007028311A JP2007028311A (ja) 2007-02-01
JP4765452B2 true JP4765452B2 (ja) 2011-09-07

Family

ID=37112995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005208839A Active JP4765452B2 (ja) 2005-07-19 2005-07-19 画像処理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (1) US7990473B2 (ja)
EP (1) EP1746822B1 (ja)
JP (1) JP4765452B2 (ja)
DE (1) DE602006005749D1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5157320B2 (ja) * 2007-08-28 2013-03-06 ソニー株式会社 番組同時視聴システム
JP2009117927A (ja) * 2007-11-02 2009-05-28 Sony Corp 情報処理装置、情報処理方法、およびコンピュータプログラム
JP4564557B2 (ja) * 2008-08-28 2010-10-20 株式会社東芝 映像表示装置および映像表示方法
CN102165765B (zh) * 2008-09-26 2014-06-18 京瓷株式会社 图像显示设备
JP2010147509A (ja) * 2008-12-16 2010-07-01 Hitachi Ltd 映像処理装置及び映像配信システム
DE112009002682B4 (de) * 2008-12-24 2016-11-03 Mitsubishi Electric Corporation Digitaler Rundfunkempfänger
JP2010213208A (ja) * 2009-03-12 2010-09-24 Funai Electric Co Ltd 表示装置
JP5550248B2 (ja) 2009-03-19 2014-07-16 株式会社ソニー・コンピュータエンタテインメント プログラム、情報記憶媒体、画像処理装置、画像処理方法及びデータ構造
JP2015191507A (ja) * 2014-03-28 2015-11-02 ソニー株式会社 情報処理装置及びプログラム
JP6319038B2 (ja) 2014-10-23 2018-05-09 株式会社デンソー 画像描画装置
CN109151201B (zh) * 2018-08-30 2021-04-09 努比亚技术有限公司 一种防沉迷方法、移动终端以及计算机存储介质
JP7295053B2 (ja) * 2020-03-05 2023-06-20 Kddi株式会社 シーン抽出方法、装置およびプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2642925B2 (ja) * 1986-01-07 1997-08-20 ソニー株式会社 テレビジョン受像機
JPH06105245A (ja) * 1992-09-18 1994-04-15 Fujitsu General Ltd テレビジョン受信機
JPH0715683A (ja) * 1993-06-29 1995-01-17 Toshiba Corp 映像信号切り換え回路
KR100197838B1 (ko) * 1995-09-14 1999-06-15 윤종용 정보텔레비젼의 신호 선택회로
US5754253A (en) * 1996-01-11 1998-05-19 Lg Electronics Inc. Apparatus for generating a plurality of quasi-moving PIP/POP screens
US5978046A (en) * 1996-12-24 1999-11-02 Sony Corporation Television receiver with picture-in-picture function displays titles of reduced screen programs
US6384868B1 (en) * 1997-07-09 2002-05-07 Kabushiki Kaisha Toshiba Multi-screen display apparatus and video switching processing apparatus
JP2000138873A (ja) * 1998-10-30 2000-05-16 Sony Corp 映像処理装置
JP2000152120A (ja) * 1998-11-06 2000-05-30 Toshiba Corp 表示装置及び表示方法
JP4240785B2 (ja) * 2000-08-31 2009-03-18 キヤノン株式会社 受信装置、及び受信装置の制御方法
JP2002077780A (ja) * 2000-08-31 2002-03-15 Matsushita Electric Ind Co Ltd 映像信号記録再生制御装置
JP2003169274A (ja) * 2001-09-21 2003-06-13 Matsushita Electric Ind Co Ltd 番組記録再生方法、番組記録再生装置、プログラム、および記録媒体
JP2003134415A (ja) * 2001-10-30 2003-05-09 Toshiba Corp テレビジョン受像機及び表示方法
JP3799288B2 (ja) * 2002-04-05 2006-07-19 キヤノン株式会社 受信装置
KR100873437B1 (ko) * 2002-11-28 2008-12-11 삼성전자주식회사 Ｐｉｐ화면을 이용한 듀얼모드 신호처리장치
JP4229816B2 (ja) * 2003-11-25 2009-02-25 シャープ株式会社 受信装置
JP2005191834A (ja) * 2003-12-25 2005-07-14 Fujitsu Ltd 端末装置

Also Published As

Publication number Publication date
DE602006005749D1 (de) 2009-04-30
EP1746822A1 (en) 2007-01-24
EP1746822B1 (en) 2009-03-18
US7990473B2 (en) 2011-08-02
US20070024753A1 (en) 2007-02-01
JP2007028311A (ja) 2007-02-01

Similar Documents

Publication Publication Date Title
JP4765452B2 (ja) 画像処理装置および方法、並びにプログラム
KR101454025B1 (ko) 영상표시기기에서 녹화정보를 이용한 영상 재생 장치 및 방법
JP4006612B2 (ja) データ処理装置およびデータ処理方法、記録媒体、並びにディジタル放送受信装置およびディジタル放送受信装置における記録再生方法
JP2007208954A (ja) ビデオ再生装置及びその制御方法
US20100119207A1 (en) The display device for having a function of searching a divided screen, and the method for controlling the same
JP5067370B2 (ja) 受信装置、表示制御方法、及びプログラム
US7768575B2 (en) Method and apparatus for capturing consecutive frames in digital video
JP2009004872A (ja) ワンセグ放送受信装置、ワンセグ放送受信方法、およびワンセグ放送受信プログラムを記録した媒体
JP4741825B2 (ja) 放送受信装置、放送受信方法及び放送受信プログラム
WO2007052413A1 (ja) 映像再生装置、映像再生方法、映像再生プログラム、および、映像再生プログラムを記録した記録媒体
JP4849708B2 (ja) コンテンツ評価方法および情報処理装置
JP4679532B2 (ja) 表示方法及び表示装置
JP4635098B1 (ja) 電子機器
JP4325432B2 (ja) 録画再生機及びプログラム
US20080104656A1 (en) Method of storing and reproducing interactive digital broadcast signals and apparatus therefor
KR101497700B1 (ko) 영상표시기기에서 프로그램 재생 방법 및 그 장치
JP2009171277A (ja) 情報データストリームの記録装置、及び方法
US20160064037A1 (en) Video apparatus and control method of video apparatus
JP5444722B2 (ja) ダビング装置
JP2007116480A (ja) 録画タイトル選択方式
JP2005538635A (ja) 視聴覚データ・ストリームをメモリに記憶させる方法
JP2007068042A (ja) 受信装置および方法
JP3624935B2 (ja) デジタル映像再生装置及びデジタル映像記録再生装置
JP5350037B2 (ja) 表示制御装置、その制御方法及びプログラム
JP2012105218A (ja) 記録再生装置及び記録再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110530

R151 Written notification of patent or utility model registration

Ref document number: 4765452

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140624

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250