JP4762211B2 - 映像表示装置及びその制御方法、プログラム、記録媒体 - Google Patents

映像表示装置及びその制御方法、プログラム、記録媒体 Download PDF

Info

Publication number
JP4762211B2
JP4762211B2 JP2007208444A JP2007208444A JP4762211B2 JP 4762211 B2 JP4762211 B2 JP 4762211B2 JP 2007208444 A JP2007208444 A JP 2007208444A JP 2007208444 A JP2007208444 A JP 2007208444A JP 4762211 B2 JP4762211 B2 JP 4762211B2
Authority
JP
Japan
Prior art keywords
thumbnail
video content
video
display device
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007208444A
Other languages
English (en)
Other versions
JP2009044560A (ja
Inventor
一人 大原
秀一 渡部
浩行 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2007208444A priority Critical patent/JP4762211B2/ja
Priority to PCT/JP2008/063980 priority patent/WO2009020102A1/ja
Publication of JP2009044560A publication Critical patent/JP2009044560A/ja
Application granted granted Critical
Publication of JP4762211B2 publication Critical patent/JP4762211B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/16Analogue secrecy systems; Analogue subscription systems
    • H04N7/162Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/326Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is a video-frame or a video-field (P.I.P.)
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34Indicating arrangements 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4821End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、複数の映像コンテンツの中から、サムネール表示により所望の映像コンテンツを選択する映像表示装置及びその制御方法、プログラム、記録媒体に関する。
従来、映像コンテンツを記録媒体に記録するレコーダ装置等では、多数の映像コンテンツを一覧表示するために、該映像コンテンツを代表する静止画像として映像コンテンツの動画像1フレームを縮小表示することが行なわれている。このような映像コンテンツを代表する画像は、一般にサムネールと呼ばれている。複数の映像コンテンツが記録されている場合には、複数のサムネールを一画面に一覧表示して、この一覧表示によりユーザに所望の映像コンテンツを迅速に選択させることを可能としている。
一方で、近年の記録媒体の大容量化や通信回線の高速化を背景に、記録媒体に記録され、またはネットワークを介してアクセス可能とされる映像コンテンツの量は着実に増加している。このように映像コンテンツの数が多くなった場合に、所望の映像コンテンツにアクセスするためには、静止画によるサムネール表示では不十分である。なぜなら多数の映像コンテンツを記録した状態では、視聴前から個別にその映像コンテンツの内容を把握していることもあるが、視聴前において映像コンテンツに関する漠然としたイメージ以上の知識を持っていないことも多いからである。このような場合の例としては、ユーザ自身が個別に録画設定をしなくとも好みに応じて自動的に録画された映像コンテンツや、個人により作成された映像コンテンツを視聴することが該当する。このようなときに目的の映像コンテンツを効率的に検索するためには、一覧表示において映像コンテンツの内容を端的に表している動画像を見ながら探すことが有効である。そこで、初期状態としてサムネールを静止画像として表示しておき、視聴対象として選択されたもののみを動画像として表示する技術が開示されている(たとえば、特許文献1参照)。
また、映像コンテンツの量が増加した場合に、視認性を損なうことなく、かつ一覧性よくこれらのサムネールを表示するためには、一画面に表示可能なサムネール数が制限される。したがって、できるだけ一画面に表示する映像コンテンツはユーザの好みに近いものを事前に選択するべきであるが、必ずしも見たい映像コンテンツが明確に決まっているとは限らない。そこで、情報を閲覧する際にユーザの閲覧履歴からユーザの興味を把握し、漠然とした検索意図を持ったユーザが関心のあるコンテンツを見つけることのできるシステムが開示されている(たとえば、特許文献2参照)。
特開2003−274368号公報 特許第3656986号
しかし、ユーザの興味を反映する際に、特許文献2のように単に閲覧の履歴をもちいるだけでは、現在閲覧の対象となっているコンテンツへの関心が反映されていない。つまり現在のユーザの嗜好を正確に反映できていないという問題点がある。また、過去に一度閲覧したが実際には関心がなかった情報がユーザの興味の把握に使用されてしまい、現在の関心から掛け離れたコンテンツが表示され続けると、情報の視覚的検索性を損なうという問題がある。
本発明は、以上のような問題点を解決するためになされたものであって、その課題は、ユーザの現時点でのコンテンツへの関心度に応じてサムネールの配置の入替えや、未閲覧なサムネールの入替えを行うことで、ユーザが簡単かつ直感的に好みの映像コンテンツにアクセスできる視聴環境を提供することにある。
本発明に係る映像表示装置は、映像コンテンツに対応付けられたサムネールを一画面内に複数並べて表示する映像表示装置であって、前記映像表示装置に対してのユーザの指示を検知する指示検知部と、前記指示検知部により検知された表示指示に応じて、サムネールの表示を制御する表示制御部と、前記指示検知部により検知されたサムネール選択指示により、選択されたサムネールの閲覧時間から該サムネールに対応した映像コンテンツに対する関心度を算出する関心度推定部と、を備え、前記表示制御部は、前記選択されたサムネールの関心度の大きさに応じて、類似のサムネールを前記選択されたサムネールの近傍により多く配置するように入れ替え制御することを特徴とする。
また、本発明に係る映像表示装置において、前記表示制御部は、前記類似のサムネールとして、前記選択されたサムネールに対応した映像コンテンツと同一カテゴリーの映像コンテンツのサムネールを指定し、該映像コンテンツのサムネールを該選択されたサムネールの近傍に配置することを特徴とする。
また、本発明に係る映像表示装置において、前記表示制御部は、前記関心度の大きさが所定の閾値以下の場合に、該映像コンテンツのサムネールを消去対象とし、該消去対象のサムネールの代わりに、未表示の映像コンテンツのサムネールを選択し配置することを特徴とする。
また、本発明に係る映像表示装置において、前記表示制御部は、選択されたサムネールに対応した映像コンテンツとそれ以外の映像コンテンツとの間の相関度を計算し、該相関度が大きいほど映像コンテンツのサムネールを選択されたサムネールのより近傍に表示することを特徴とする。
本発明に係る映像表示装置は、映像コンテンツに対応付けられたサムネールを一画面内に複数並べて表示する映像表示装置であって、該映像表示装置に対してのユーザの指示を検知する指示検知部と、前記指示検知部により検知された表示指示に応じて、前記サムネールの表示を制御する表示制御部と、前記指示検知部により検知されたサムネール選択指示により、選択されたサムネールの閲覧時間から当該サムネールに対応した映像コンテンツに対する関心度を算出する関心度推定部と、ユーザにより今までに選択されたサムネールに対応した映像コンテンツの関心度と、該映像コンテンツの特徴ベクトルとに基づき、前記選択されたサムネールに対応した映像コンテンツへの関心度が大きいほど当該映像コンテンツへの嗜好が強くなるようにしたユーザ毎に嗜好情報を算出する嗜好情報算出部と、を備え、前記表示制御部は、前記選択されたサムネール以外の映像コンテンツについて前記嗜好情報との関連度を計算し、前記関連度が大きいほど映像コンテンツのサムネールを前記選択されたサムネールのより近傍に表示するとともに、前記関心度の大きさが所定の閾値以下の場合に、該映像コンテンツのサムネールを消去対象とし、該消去対象のサムネールの代わりに、未表示の映像コンテンツのサムネールを選択し配置することを特徴とする。
また、本発明に係る映像表示装置において、前記関心度推定部は、サムネールの閲覧時間が長いほど関心度が大きくなるように関心度を算出することを特徴とする。
本発明に係る映像表示装置の制御方法は、映像コンテンツに対応付けられたサムネールを一画面内に複数並べて表示する映像表示装置の制御方法であって、前記映像表示装置に対してのユーザの指示を検知するステップと、検知された表示指示に応じて、前記サムネールの表示を制御するステップと、検知されたサムネール選択指示により、選択されたサムネールの閲覧時間との関係から該サムネールに対応した映像コンテンツに対する関心度を算出するステップと、算出された前記選択されたサムネールの関心度の大きさに応じて、類似のサムネールを前記選択されたサムネールの近傍により多く配置するように入れ替え制御し、表示するステップと、を有することを特徴とする。
また、本発明に係る映像表示装置の制御方法において、前記入れ替え制御し、表示するステップは、前記類似のサムネールとして、前記選択されたサムネールに対応した映像コンテンツと同一カテゴリーの映像コンテンツのサムネールを指定し、該映像コンテンツのサムネールを該選択されたサムネールの近傍に配置し、表示することを特徴とする。
また、本発明に係る映像表示装置の制御方法において、前記入れ替え制御し、表示するステップは、前記関心度の大きさが所定の閾値以下の場合に、該映像コンテンツのサムネールを消去対象とし、該消去対象のサムネールの代わりに、未表示の映像コンテンツのサムネールを選択し配置することを特徴とする。
また、本発明に係る映像表示装置の制御方法は、前記入れ替え制御し、表示するステップは、前記選択されたサムネールに対応した映像コンテンツとそれ以外の映像コンテンツとの相関度を計算し、該相関度が大きいほど映像コンテンツのサムネールを選択されたサムネールのより近傍に配置し、表示することを特徴とする。
また、本発明に係る映像表示装置の制御方法は、映像コンテンツに対応付けられたサムネールを一画面内に複数並べて表示する映像表示装置の制御方法であって、前記映像表示装置に対してのユーザの指示を検知するステップと、検知された表示指示に応じて、前記サムネールの表示を制御するステップと、検知されたサムネール選択指示により、選択されたサムネールの閲覧時間から該サムネールに対応した映像コンテンツに対する関心度を算出するステップと、前記選択されたサムネールに対応した映像コンテンツへの前記関心度が大きいほど当該映像コンテンツへの嗜好が強くなるようにした嗜好情報を算出するステップと、前記選択されたサムネール以外の映像コンテンツについて前記嗜好情報との関連度を計算するステップと、前記関連度が大きいほど映像コンテンツのサムネールを前記選択されたサムネールのより近傍に表示するとともに、前記関心度の大きさが所定の閾値以下の場合に、該映像コンテンツのサムネールを消去対象とし、該消去対象のサムネールの代わりに、未表示の映像コンテンツのサムネールを選択し配置するステップと、を有することを特徴とする。
また、本発明に係る映像表示装置の制御方法において、前記関心度を算出するステップは、サムネールの閲覧時間が長いほど関心度が大きくなるように関心度を算出することを特徴とする。
また、本発明に係るプログラムは、前記映像表示装置の制御方法をコンピュータに実行させることを特徴とする。
また、本発明に係る記録媒体は、前記プログラムをコンピュータ読み取り可能に記録したことを特徴とする。
以上のような各技術手段から構成される本発明によれば、サムネール閲覧時に、ユーザがどのような操作をしたかの操作状況や、どのくらいの時間だけ動画サムネールを見たかの閲覧状況によって、映像コンテンツに対するユーザの関心度を推定する。関心度が高い場合には、サムネール間で表示位置を入替えて関心度の高い映像コンテンツと同分類の、または類似した、またはユーザの好みに近い映像コンテンツを近接させるように、サムネールの配置を入替えることができる。
また、ユーザの関心が低い場合、サムネールを他の未閲覧のサムネールと自動で入替えるため、画面の中の限られた表示領域を有効に活用することができる。このように、ユーザは特に表示の入替えを操作することなく、サムネールとして表示された映像コンテンツを閲覧するだけでよいため、あいまいな検索意図であっても手数を掛けずに好みの映像コンテンツを選択することができる。つまり、ユーザが簡単かつ直感的に好みの映像コンテンツにアクセスできる視聴環境を提供可能となる。
以下、本発明の実施形態について、図面を参照しながら説明する。同一の符号を付した部分は同一物を表すとする。
<第1の実施形態>
図1は、本発明の第1の実施形態に係る映像表示装置100の構成例を示すブロック図である。
映像表示装置100は、映像コンテンツ等のデータを記録する記録部101と、動画再生部102と、静止画再生部103と、表示部104と、関心度推定部105と、表示制御部106と、指示検知部として操作部107とを含んで構成される。
本発明の構成要素である各部は、たとえば、マイクロプロセッサ、メモリ、バス、インターフェイス、周辺装置などから構成されるハードウェアと、これらのハードウェア上にて実行可能なソフトウェアにより実現される。
ここで、記録部101は、データを記録するための記録媒体とその読み取り装置により構成される。記録媒体は、たとえば磁気ディスク、光ディスク又はフラッシュメモリ等で実現される。
また、表示部104は、画像のほか、文字や図形などを表示するためのディスプレイ装置により実現できる。また、構成した画面を表示するための信号を外部のディスプレイに送出する装置により実現してもよい。さらに音声を再生するためのスピーカ(図示していない)を備えて構成する。
操作部107は、映像表示装置がユーザの指示を検知するための装置であり、リモートコントローラやマウス、トラックボール、キーボード等により実現される。
動画再生部102、静止画再生部103、関心度推定部105および表示制御部106は汎用のマイクロプロセッサにより実現することができ、さらに一部をDSP(Digital Signal Processor)にて実現してもよい。この場合、本実施形態の機能を実現するソフトウェアのプログラムコードが、マイクロプロセッサまたはDSPにより実行される。
このような構成により、映像再生装置100は、記録部101に蓄積された映像コンテンツのサムネールを静止画像として表示部104に並べて表示する(静止画サムネール)。ユーザが操作部107により表示されたサムネールを選択する操作を行うと、サムネールを選択するという指示が表示制御部106に入力される。表示制御部106はユーザの指示に応じて、静止画サムネールを対応する動画像(動画サムネール)に置き換える。ユーザは、その場で映像コンテンツの内容を確認することができる。
このときの映像表示装置100の動作について、図2のフローチャート図を用いて説明する。
まず、処理が開始されると、映像コンテンツのサムネールを一覧表示するために、ステップ(以下、STと記す)201において、表示制御部101は、記録部101にアクセスして、一覧表示の対象となる映像コンテンツの数Mを取得する(ここでMは自然数である)。
ここで、記録部101には映像コンテンツが予め所定のカテゴリーに分類されて記録されているものとする。分類には、放送番組の録画コンテンツならば、たとえばEPG(Electronic Program Guide)の番組分類情報を使用することができる。分類は大分類、中分類、小分類などのように複数の段階で分類されていてもよい。映像コンテンツの分類に関する情報は、所定の形式で記録部に保存される(たとえばファイル管理におけるディレクトリ階層の情報がこれに該当する)。
続くST202において、表示制御部106は、映像コンテンツ数Mが0か否かの判定を行う。映像コンテンツ数Mが0でなければ(ST202;NO)、サムネールによる一覧表示を行うため、ST203の処理に進む。映像コンテンツ数Mが0ならば(ST202;YES)、サムネールを表示する映像コンテンツがないため、そのまま、本処理を終了する。
ST203では、映像コンテンツ数Mと一覧表示数Nとを比較する。表示部104の画面にサムネールを一覧表示したときに、ユーザが見易い状態とするために表示するサムネールの個数を制限するためである。MがN以下ならば(ST203;YES)、制限の必要がないため、ST205の処理に進む。MがNよりも多い場合には(ST203;NO)、M個の映像コンテンツから表示するものを選択する処理に進む(ST204)。ST204の処理では、表示制御部106は所定の順序でN個の映像コンテンツを選択した後、ST205の処理に進む。ここで、所定の順序とは、たとえば、映像コンテンツの作成日時(タイムスタンプ)、ファイル名、タイトル名又はレーティング等の順序である(これらの情報は、記録部101に映像コンテンツが記録される前に付加情報として与えられているか、記録後に付加される)。
ST205では、表示制御部106が選択したN個の映像コンテンツのサムネールを表示する。また、映像コンテンツがM個の場合には、このM個の映像コンテンツのサムネールを表示する。記録部101には、映像コンテンツに関連づけて、静止画サムネールデータが格納されている。表示制御部106は、N個の映像コンテンツそれぞれについて、対応する静止画サムネールと表示部104の画面に表示する表示位置とを静止画再生部103に対して指定する。静止画再生部103は、映像コンテンツに対応する静止画サムネールデータを記録部101から読みだし、復号処理等表示に必要な処理を施したのち表示部104に出力する。たとえば、静止画サムネールがJPEG(Joint Photographic Experts Group)形式で圧縮されているならば、静止画再生部103は、JPEGデコーダを備えるように構成する。
ここで、静止画サムネールデータが記録部101に格納されていない場合には、表示制御部106は、後述の動画再生部102を制御して、記録部101から映像コンテンツ自体のデータを読み出し、先頭の1フレームを復号してもよい。
ここまでの処理を、閲覧対象のN個の映像コンテンツに対して実行すると、表示部104には、記録部101に格納されている映像コンテンツについての静止画サムネールが一覧できる状態で並べられる。N=36のとき表示部104の画面にサムネールを表示したときの状態を図3に示す。図3(a)は、一覧表示の初期状態である。中央の矢印はカーソルを表している。カーソルはサムネールを選択していない状態である。この状態でユーザからの入力を待つ。図3(b)はカーソルを移動させて、サムネールを選択した状態である。サムネールが選択された状態ではサムネールを囲む枠としてカーソルを表示している。ユーザは操作部107によりカーソルを移動させて、サムネールを選択することができる。
次に、一覧表示の状態でユーザの操作に適応してサムネールの配置の入替えや、表示対象のサムネールの入替えを行うために、一覧表示の状態において表示制御部106は、操作部107により操作が通知されるのを待ち、操作が行われた否かを判断する(ST206)。ユーザの操作があり操作部107から通知があった場合(ST206;YES)、ST210の処理に進む。操作部107からの通知がなかった場合(ST206;NO)には、ST207の処理に進む。
ここでは、まず、図3(b)に示したようにユーザによりサムネールが選択され、操作部107から選択操作有無の通知があったものとして(ST206;YES)、ST210の処理について図4のフロー図を用いて説明する。
ユーザの操作によりカーソルがサムネールを選択する状態となったとき、当該サムネールの位置にて静止画サムネールの代わりに動画サムネールを表示するために、ST401において、サムネールの非選択から選択への遷移が行われたか否かの判断を行い、選択操作の遷移があったと判断すると(ST401;YES)、ST407の処理に進む。ST407では、サムネールの選択から非選択への遷移が行われたか否かの判断を行う。現時点での操作は、非選択から選択への遷移のフローであるから、この非選択操作の遷移が行われていないと判断し(ST407;NO)、ST408の処理に進む。
ST408では、表示制御部106は当該サムネールの表示位置から選択された静止画サムネールを割り出し、対応する映像コンテンツと表示位置とを動画象再生部102に対して指定する。動画再生部102は記録部101から映像コンテンツのデータを読み出して、必要に応じて復号処理やスケーリング等表示に必要な処理を施し、表示部104に出力する。映像コンテンツのデータは、通常動画象データと付随する音声データ等から構成され、これらの複数種のデータが多重化された形式となっている。なお、動画再生部102は音声データの再生も行う。つまり、動画再生部102は機能として動画像データのデコーダ、音声データのデコーダを含んで構成されている。
関心度推定部105は、サムネールの選択時間の測定を開始する(ST409)。この時間の測定は、ユーザが操作部107を操作して選択中のサムネールからカーソルを移動させるまで継続する。サムネール選択中の間はサムネールが動画像として表示されるため、サムネールの選択時間の長さは、ユーザが動画サムネールを閲覧した時間に相当する。閲覧時間が長い程、映像コンテンツに関する関心度が高いと推定することができる。
次に、表示制御部106は、サムネールの管理情報を参照し、表示対象のサムネールの入替えを行うための情報である消去フラグ「1」(詳細は後述する)が付加されているものを入替えの対象として選択し、以下に示す方法によって代替として表示するサムネールを決定する(ST410)。
図5に管理情報の例を示す。図5に示すように、管理情報は、一覧表示における表示位置を表す配置501と、映像コンテンツの識別子であるタイトル502と、映像コンテンツの属するカテゴリーを表す分類503と、消去フラグ504とを含んでいる。
消去フラグ504が「1」のものが消去の対象となる。表示制御部106は管理情報を参照し、表示部104の画面に表示中のサムネールのうち消去フラグ504の値が「1」であるものを選択する。そして、記録部101から代替として表示するサムネールを決定する。代替となるサムネールは、一覧表示として未表示のものから選択する。ここでの決定の仕方は、ST204において使用した所定の順序により分類と無関係に選んでもよいし、消去対象のサムネールと同一カテゴリーの中から選択してもよいし、現在選択中のサムネールと同一カテゴリーの中から選択してもよい。ここで、ST210は終了し、ST209の処理に進む。
一方、ユーザの操作があり(ST206;YES)、あるサムネールをカーソルが選択する状態でなくなり、このサムネールの非選択操作が行われると、ST401において、選択から非選択への遷移が行われたと判断し(ST401;NO)、ST402の処理に進む。
ST402では、表示制御部106は、動画再生部102に再生停止を通知する。動画再生部102は、動画サムネールの再生を停止する。画像の出力は停止時に表示していたフレームをそのまま表示してもよいし、静止画サムネールに置き換えるようにしてもよい。
次に、ST403では、表示制御部106は、関心度推定部105に選択解除を通知する。そして、関心度推定部105は、選択時間の測定を終了し、選択時間の長さtから推定されるユーザの関心度を算出する(ST404)。ここで、選択時間の長さtが所定の時間T0以下の場合には、他のサムネールを選択するためにカーソルが通過した、またはユーザの操作ミスにより誤って選択されたものとみなして関心度の算出対象外とする。
なお、算出した関心度は、映像コンテンツに関連させて記録部101に保存してもよい。関心度推定部105は、算出した関心度を表示制御部106に対して出力する。
表示制御部106は、関心度と所定の閾値Thとを比較し(ST405)、関心度が閾値Th以下の場合(ST405;YES)、管理情報の消去フラグを「1」に設定し、入れ替え対象のサムネールとする(ST406)。そして、前述した選択から非選択への遷移を確認する判断処理に進む(ST407)。一方、関心度が閾値Th以上の場合(ST405;NO)、本コンテンツを表示対象のサムネールの入替えの対象とはせずに、同様に、前述した選択から非選択への遷移を確認する判断処理に進む(ST407)。
ST407において、現在、選択から非選択遷移のモードとなっていることから(ST407;YES)、ST210の処理は終了し、ST209の処理に進む。
ST209は、処理を終了するかを判定するステップである。ユーザの操作により、処理終了が選択されたことを判断した場合(ST209;YES)、本処理が終了する。それ以外の場合は(ST209;NO)、ST206の処理に進み、再度、操作部107によりユーザ操作の有無を判定する。
ユーザの操作がない場合(ST206;NO)、ST207の処理に進み、動画サムネールの閲覧を継続している(選択中)か否かの判定を行う。ST207において、サムネールが選択されている場合には(ST207;YES)、ST208の処理に進み、どのサムネールも選択されていない場合には(ST207;NO)、ST206の処理に戻る。
ST208では、サムネールが選択されている状態で関心度推定部105においては選択時間の長さtを測定中である。関心度推定部105は、選択時間の長さtからユーザの関心度を推定する。表示制御部106は、推定された関心度が大きいほど、より多くの類似サムネールが選択されたサムネールの近傍に集まるように、サムネールの配置の入替えを行う。入替えは選択されたサムネールの近傍において、対応するカテゴリーの異なるサムネールを、離れた位置の同じカテゴリーのサムネールと入替える。つまり、選択時間の長さが長い程、ユーザが選択したサムネールに対応する映像コンテンツに高い関心を思っていると推定し、関心の高さに応じて同じようなサムネールが周辺に集まるようにすることで、好みの映像コンテンツを選択しやすくすることができる。なお、選択時間の長さtが所定の時間T0以下の間は、サムネールの配置の入替えを行なわないようにすると、ユーザの操作ミスなどによる誤動作を防止することができる。
表示制御部106におけるサムネールの配置の入替え方法について図6を用いて説明する。
図6は、記録部101における分類のための管理構造の一例を示す図である。この例では分類ごと(カテゴリー1〜8)にディレクトリを設け、各ディレクトリに映像コンテンツを記録している。図7は、サムネールの配置入替え時に表示部104の画面の変化を示す図であり、図7(a)から図7(e)へ変化する様子を示している。ここでカテゴリーiの映像コンテンツをCijと表記する(i、jは自然数である)。jは同一カテゴリー内の映像コンテンツを所定の順序でソートしたときの並び順を示す。
図7(a)は、ユーザがC47のサムネールを選択したときの状態を示す。C47のサムネールは、カテゴリー4に属する映像コンテンツのものである。この状態で映像表示装置100はC47のサムネールを動画像として表示する。一定時間経過後、表示制御部106は、管理情報からカテゴリー4に属する映像コンテンツを入替えの候補(入替え候補)として選択する。この例ではC48、C46、C45、C44のサムネールに対応した映像コンテンツが選択される。次に、C47のサムネール近傍の位置から入替えの対象となる位置(入替え位置)を決定する。たとえば入替え位置は、入替え候補の映像コンテンツ数を考慮して8近傍から決定する。具体的には入替え候補数が5以下ならば選択されたサムネールの左隣を入替え位置とし、入替え候補数が6以上8以下ならば選択されたサムネールの左上を入替え位置とする。ここではC47の表示位置の左に隣接する位置を入替え位置とし、この位置に表示されているサムネールの分類を確認する。入替え位置のサムネールが選択されたサムネールと同じカテゴリーならば、そのまま表示を続ける。そうでなければ、選択されたサムネールと同じ分類のサムネールをリスト中から検索する。この例ではC17はカテゴリー1であるため、C17とC48の位置を入替える(図7(c))。C47の選択が継続する場合、時間が経過するにつれて図7(d)、図7(e)と変化し、選択されたサムネールC47の周辺に同分類のサムネールが集合する。
なお、前述の実施例では入替え候補を管理情報のみから選択しているが、一覧表示中に管理情報を書き換える等により、当初管理情報になかった同一カテゴリーのサムネールを表示するようにしてもよい。つまり、C48、C46、C45、C44以外にC43やC42が記録部101に存在すれば、これらをC47の近傍に表示してもよい。
図8は、関心度推定部105における選択時間の長さtと推定される関心度rとの関係を示す。
図8(a)は、選択時間の経過に対して等間隔となるように関心度rを決定する場合(線形)の例を、図8(b)は、選択時間の経過に対して間隔が変化するように関心度rを決定する場合(非線形)の例である。いずれの場合でも、選択時間の長さtがT1となったとき関心度をR1とし、関心度が変化したときに配置入替えを実行する。
なお、ST409において、表示制御部106は管理情報とは別に消去リストを内部のメモリ内に保持し、入替えにより画面から消去されたサムネールに関する情報を記録し、消去されたサムネールをユーザが簡単に呼び出せるようにしてもよい。ユーザが消去リストを呼び出すために操作を行うと、操作部107がユーザの操作を検知してユーザの指示が表示制御部106に伝えられ、表示制御部106は消去リストに沿ってサムネールを表示する(図9参照)。
また、図6に示した各カテゴリーはさらに細かく分類されていてもよい。その一例として図6に示したカテゴリー1を6つの中分類であるサブカテゴリーに分類し、さらに各サブカテゴリーを小分類であるタイトルに分類した例を図10に示す。この場合に、図7を用いて前述したように前記管理情報に登録された同一カテゴリーのサムネールの配置入替えを行って、1つのサムネールの選択時間の長さtが長くなり配置の入替えが終わったとき、さらにサブカテゴリーに基づき配置の入替えを行ってもよい。前述の図7の例では、C48、C46、C45、C44が同一カテゴリーであるが、ここでC47、C45、C44のサブカテゴリーが同じであり、この順番でタイムスタンプが新しいとする。図7(f)に示すようにC45とC46を入替えて、同じサブカテゴリーのサムネールが近くに集まるようにしてもよい。たとえば映像コンテンツのタイムスタンプの順で配置を変更することで、たとえば連続ドラマならシリーズの順番に並ぶように表示位置を調整し、未視聴のものや次に視聴すべきものを、たとえば枠を付けたり、枠の色を変えたりして、他のサムネールよりも視覚的に目立たせるように表示してもよい。
また、サムネールを対象としたユーザの操作として、カーソルの移動による選択以外に、サムネールの拡大/縮小、サムネールから映像コンテンツの視聴などが挙げられる。このような操作に対してユーザの関心度の大きさを定義して、操作の違いにより選択したサムネールに対応する映像コンテンツの関心度の推定方法を変化させる。たとえば、一覧表示から選択したサムネールに対応する映像コンテンツの視聴へ切り替わった場合には、視聴の仕方によって選択時間の長さtと関心度rとの関係を変化させてもよい。視聴の仕方のバリエーションとしては、通常再生以外に早送り再生やダイジェスト再生などがあげられる。一般に通常再生する場合に比べて早送りやダイジェスト再生の方が視聴対象の映像コンテンツに対する関心が低いと考えられる。視聴時間に対する関心度の変化として、通常再生を早送り再生やダイジェスト再生よりも関心度が大きくなるように変化させる。この場合の選択時間の長さtと関心度rとの関係を図8(c)に示す。この図は、t=T1で一覧表示から映像コンテンツの視聴に切り替わった場合の例である。通常再生のときL2の関係とし、それ以外ではL1の関係とすることで、視聴方法による違いを関心度の推定に反映する。また、サムネールを拡大して表示した方が通常の状態よりも関心度が大きいとみなし、縮小して表示した方が通常の状態よりも関心度が小さいとみなす。操作の違いによる関心度の推定は、選択時間の長さと関心度との関係を変化させてもよいし、操作が発生した時点で一定量だけ関心度を増減させてもよい。
以上のように、本実施形態によれば、サムネール閲覧時に、ユーザがどのくらいの時間だけ動画サムネールを選択したか等の操作状況によって、映像コンテンツに対するユーザの関心度を推定する。関心度が高い場合には、画面に表示されているサムネール同士で表示位置を入替えて関心度の高い映像コンテンツと同分類の映像コンテンツを近接させるように、サムネールの配置を入替えることができる。
また、ユーザの関心が低い場合、サムネールを他の未閲覧のサムネールと自動で入替えるため、画面の中の限られた表示領域を有効に活用することができる。このように、ユーザは特に表示の入替えを操作することなく、サムネール閲覧するだけでよいため、一覧表示の中から好みのコンテンツを選択するために必要な操作を減らし、ユーザが簡単かつ直感的に好みの映像コンテンツにアクセスできる視聴環境を提供可能となる。
<第2の実施形態>
本発明の第2の実施形態は、動画サムネールのマルチ表示により複数の映像コンテンツを閲覧可能とする。図11に、本実施形態に係る映像表示装置200の構成例を示すブロック図を示す。図11に示すように、映像表示装置200は、映像コンテンツ等のデータを記録する記録部101と、複数の動画サムネールを同時に表示する動画再生部108と、静止画再生部103と、表示部104と、関心度推定部105と、表示制御部109と、指示検知部として操作部107および注視位置検出部110とを含んで構成される。
映像表示装置200を使うと、動画サムネールのマルチ表示により映像コンテンツの閲覧が可能となる。つまり前述の第1の実施形態における映像表示装置と比べると、ユーザ操作の如何にかかわらず、サムネールが動画として表示されるという違いがある。このような場合、サムネールの視認性を損なうことなく表示することで、ユーザの視覚的な検索能力を十分に発揮できるようになる。
注視位置検出部110は、表示部104の画面内においてユーザが注視している位置を中心とした、ある広さを持つ領域として注視位置を検出する。注視位置検出部110は、ユーザの操作を補助する目的、また関心度推定部105における関心度の算出精度の向上のために用いられる。注視位置検出部110にはユーザの顔を撮影するためのビデオカメラが設置されている。このビデオカメラにより撮影したユーザの顔画像を解析し、眼の特徴点を抽出する。特徴点から光彩の相対位置を求め、これによりユーザの視線を検出する。顔画像の解析には、たとえば、顔特徴のテンプレート画像によるマッチングを用いることができる。注視位置検出部110は、予め定められた時間間隔で検出した視線から注視位置を確定する。
図12および図13は、映像表示装置200の動作を示すフローチャート図である。図12でST1201〜S1205およびST1207〜1210までの処理は、それぞれ第1の実施形態にて説明したST201〜ST205およびST206〜209までの処理と、図13でST1301、ST1302〜1306、ST1307〜1308の処理は、それぞれST401、ST403〜407、ST409〜410までの処理と基本的に同じであるため、繰り返しとなる説明は省略する。処理として、注視位置を検出した際のハンドリングが追加されるが、これについてはその都度説明する。
処理開始後、ST1201〜ST1205が実行され、表示対象の静止画サムネールを表示した後、ユーザがサムネールを選択したか否かに関係なく、複数の静止画サムネールを動画サムネールに変更し、複数同時に表示する(ST1206)。
ST1207では、注視状態を操作部107による操作に加え、注視位置が検出された場合、操作部107により動画サムネールが選択されたとみなしてカーソルを当該動画サムネールに移動する。注視位置検出部110により、表示部104に表示されている動画サムネールの中から、ユーザがどの動画サムネールを見ているかを検知することができる。注視位置検出部110は、注視位置が確定したら、表示制御部109に注視位置を通知する。この通知を受けて表示制御部109は、注視位置検出部110から得た注視位置から、注視あり(状態G1)/なし(状態G0)の状態の判定を行う。ここで一定時間だけ同じ位置の注視状態が継続しているとき、注視位置の動画サムネールをカーソルで選択するようにしてもよい。この後ST1211の処理に進み、関心度推定部105により注視時間が測定される。
なお、画面の注視の利用はユーザの操作補助のためであるという観点から、ユーザが画面の注視をやめた場合も、画面を注視した場合と同様に操作があったものとして扱う。
表示制御部109では、注視ありの状態をさらに選択中のサムネールと注視位置が一致している状態(状態G11)と選択中のサムネールと注視位置が一致しない状態(状態G2)とに判別してもよい。この場合、状態G11が継続している間はユーザの操作がないものとみなすことができる。したがって図12においてST1207ではNOが選択される。一方、状態G12ではユーザの関心が他の動画サムネールに向いていると判断できるが、単に視線を動かしただけか、それとも本当に他の動画サムネールに関心が移ったのかが区別できない。そこで、これらの区別を状態G12の継続時間で判断する。表示制御部109は、状態G11から状態G12に遷移したら、状態G12の継続時間の測定を開始する。さらに関心度推定部105の選択時間の測定を停止するように制御する。関心度推定部105は、選択時間の測定を一時停止する。注視位置を利用することでユーザがサムネールを見ていない時間を除き、関心度の算出の精度を向上することができる。もし、状態G12が所定の時間だけ継続するならばカーソルによる選択を解除し、状態G1に遷移させ、選択時間の測定を終了する。状態G12が所定の時間だけ継続することなく再度、状態G11に戻ったら、選択時間の測定を再開する。
以上の状態遷移を説明する状態遷移図を図14に示す。また、各状態における状況を表す模式図を図15に示す(楕円の内部が注視領域、斜線部が非注視領域を指す)。動画サムネールを用いた一覧表示を開始した直後は、状態G0(図15(a))となる。状態G0から、注視位置を検出したら、状態G1に遷移する(図15(b))。さらに、状態G1が一定時間継続すると状態G11に遷移して注視位置のサムネールをカーソルにて選択した状態となり(図15(c))、そうでなければ、状態G0に遷移する。状態G11において、カーソル位置と注視位置が一致しなければ、状態G12に遷移する(図15(d))。状態G12から、注視位置とカーソル位置が一致すれば、状態G11に遷移し、そうでなければ、状態G12の状態のままである。また、状態G11およびG12で、注視位置が検出されなくなった場合には、状態G0に遷移する。
なお、注視位置検出部110は、指示検知部としての1例であるが、視線というユーザの動向を検知しているとも言える。視線のようなユーザの動向または行動に関する情報を暗黙的な操作とみなし、装置を動かす制御信号として検知する手段が指示検知部という概念に含まれる。本実施形態で例示した視線のほか、ユーザのジェスチャや血圧、脈波、心拍数、脳波などの生体情報であってもよい。
以上のように、本実施形態によれば、サムネール閲覧時に、ユーザがどのくらいの時間だけ動画サムネールを見たかによって、映像コンテンツに対するユーザの関心度を推定する。ユーザの関心が高い映像コンテンツに対して同分類の映像コンテンツを近接させ、またユーザの関心が低い映像コンテンツに対してサムネールを他の未閲覧のサムネールと自動で入替える。このように関心度に応じて、表示中のサムネールの配置を入替えることで画面の中の限られた表示領域を有効に活用することができる。ユーザは特に表示の入替えを操作することなく、サムネールを閲覧するだけでよいため、一覧表示の中から好みのコンテンツを選択するために必要な操作を減らし、ユーザが簡単かつ直感的に好みの映像コンテンツにアクセスできる視聴環境を提供可能となる。
<第3の実施形態>
本発明の第3の実施形態は、類似の映像コンテンツをより精度よく決定可能とするものである。映像コンテンツはその内容として様々な要素を持っているため、1つのカテゴリーに分類することが必ずしも適当でない場合がある。そこで、映像コンテンツに関する複数の特徴量を表す特徴ベクトルを定義し、映像コンテンツの相関度の判定に使用するようにしてもよい。特徴ベクトルを映像コンテンツごとに予め記録部101に記録する。ここで特徴ベクトルとは、映像コンテンツのショットの数、動きの方向や大きさ、テクスチャ、色などの構造的な情報、あるいは映像コンテンツに関する文字情報等から抽出した意味的な情報の集合であり、多次元ベクトルとして記述される。
ユーザの操作によりカーソルがサムネールを選択する状態となった時、選択されたサムネールは動画像により表示される。このとき、表示制御部106(または109)は、当該サムネールに対応する映像コンテンツの特徴ベクトルと、他の映像コンテンツの特徴ベクトルとの相関度を計算する。
ユーザが動画サムネールの選択を継続している間、関心度推定部105において選択時間の長さtが測定される。関心度推定部105は、選択時間の長さtからユーザの関心度を推定する。ここで表示制御部106(または109)は、ユーザにより選択されたサムネールの位置を中心として、関心度が大きいほど相関度の大きい映像コンテンツのサムネールが集まるようにサムネールの配置の入替えを行う。相関度とは、たとえば特徴ベクトル間のユークリッド距離として与えられる。ユークリッド距離が小さいほど相関度が大きいと判断する。サムネールの入替え方法は、第1の実施形態で説明した方法と同様であり、相関度が最大のものを入替え候補とし、決定した入替え位置のサムネールとの間で配置を入替える。
以上のように、本実施形態によれば、サムネール閲覧時に推定されたユーザの関心度から、表示中のサムネールの配置を、関心度の高い映像コンテンツと高次の特徴量に基づいて近い映像コンテンツとを近接させる。画面の中の限られた表示領域を有効に活用することができ、ユーザは特に表示の入替えを操作することなく、サムネールを閲覧するだけでよいため、一覧表示の中から好みのコンテンツを選択するために必要な操作を減らし、ユーザが簡単かつ直感的に好みの映像コンテンツにアクセスできる視聴環境を提供可能となる。
<第4の実施形態>
本発明の第4の実施形態は、ユーザの嗜好情報という相対的な尺度により、選択されたサムネールの周辺の配置を変更するものである。図16に、本実施形態に係る映像表示装置300の構成例を示すブロック図を示す。図16に示すように、映像表示装置300は、映像コンテンツ等のデータを記録する記録部101と、動画再生部102と、静止画再生部103と、表示部104と、関心度推定部105と、表示制御部112と、指示検知部として操作部107と、嗜好情報算出部108とを含んで構成される。第3の実施形態と同様に、映像コンテンツの特徴ベクトルが予め記録部101に記録されているものとする。
図16では、前述した映像表示装置100(図1)に嗜好情報算出部111を追加した構成となっているが、映像表示装置100は映像表示装置200(図11)であってもよい。
表示制御部112は、第1の実施形態で述べたように、N個の映像コンテンツを選択し、サムネールによる一覧表示を行う。ユーザの操作によりカーソルがサムネールを選択する状態となった時、当該サムネールの位置にて静止画サムネールの代わりに動画サムネールを表示する。ユーザが動画サムネールの視聴を継続している間、関心度推定部105は選択時間の長さtからユーザの関心度を推定する。
ここで嗜好情報算出部111は、ユーザにより閲覧されたサムネールに対応する映像コンテンツの関心度が大きいほど、当該映像コンテンツへの嗜好が強く表れるようにユーザの嗜好情報を算出する。たとえば、映像コンテンツjの特徴ベクトルをPjとし、ユーザがサムネールを選択して映像コンテンツの内容を確認している状況において、過去から現時点を含めL個のサムネールを閲覧しているとき、ユーザの嗜好情報Uを以下のように計算する。
U=ω1×P1+ω2×P2+・・・+ωL×PL
ここで、ωj=Qj/Qs、Qs=Q1+Q2+・・・QLである。また、Qjは映像コンテンツjに対するユーザの関心度である。次に、算出したユーザの嗜好情報Uと映像コンテンツの特徴ベクトルPjとの間の関連度を算出する。算出したユーザの嗜好情報Uは、映像コンテンツの特徴ベクトルL個を重み付けして加算したものであるため、映像コンテンツの特徴ベクトルの次元数をnとすれば、嗜好情報Uのベクトルも、同じ次元数nのベクトルである。そのため、関連度の指標として、たとえばユークリッド距離を用いることができる。
表示制御部112は、ユーザにより選択されたサムネールの位置は変えずに、その位置を中心として、算出した関連度が大きい順にサムネールの配置の入替えを行う。サムネールの入替え方法は、第1の実施形態で説明した方法と同様であり、関連度が最大のものを入替え候補とし、決定した入替え位置のサムネールと入替え候補のサムネールとの間で配置を入替える。
以上のように、本実施形態によれば、サムネール閲覧時に、推定されたユーザの関心度から表示中のサムネールの配置をユーザの嗜好情報に基づいて関心度の高い映像コンテンツと同分類の映像コンテンツを近接させる。画面の中の限られた表示領域を有効に活用することができ、ユーザは特に表示の入替えを操作することなく、サムネールを閲覧するだけでよいため、一覧表示の中からその場の気分に合致した好みのコンテンツに簡単かつ直感的にアクセスできる視聴環境を提供可能となる。
なお、サムネールは映像コンテンツ中の特定のシーンやショットを選択するために使用してもよい。つまり、1つの映像コンテンツの中の複数のシーンやショットを新たな映像コンテンツとみなし、各区間を代表するサムネールを一覧表示することで、ユーザは所望のシーンを選択することが可能となる。このような場合にも同様に本発明を適用することができる。
また、本発明の実施形態に係る映像表示装置において、すでに閲覧した映像コンテンツのサムネールを使って、自分の関心に近い映像コンテンツを素早く閲覧できるようにしてもよい。すでに閲覧し、かつ関心度の高い映像コンテンツのサムネールをメルクマールとして表示する。
図17は、関心度の高い映像コンテンツのサムネールをメルクマールとして表示した例を示す図である。
図17(a)は、表示部104の画面イメージであり、メルクマール1701〜1704を表示している。次に、選択されたメルクマールの近傍に同じカテゴリーに分類される映像コンテンツのサムネールを表示する。図17(b)がその画面イメージである。メルクマール1701が選択されたとして、第1の実施形態と同じように、同一カテゴリーに属する未視聴の映像コンテンツのサムネールを15個表示している。メルクマール1701の選択時間の長さに応じて、表示するサムネール数を増やしてもよい。また、図17(c)に示すように、他のメルクマールを消去してもよい(図において、点線は消去されたメルマールを示す)。この状態では、ユーザの関心はメルクマール1701に向いているため、前述のようにメルクマール1701に対応する映像コンテンツの特徴ベクトルと相関の大きい特徴ベクトルを持つ映像コンテンツのサムネールを表示してもよい。
また、本発明の実施形態に係る映像表示装置はこれまで示した構成の他に、インターネット等のネットワークを介してデータの送信・受信を行うための通信部を備えることで、ネットワーク上の映像コンテンツに対しても同様に扱うことができる。このとき、映像コンテンツの動画像データとは別に、データ量を少なくした動画像データを受信して用いれば、動画サムネールの表示にかかる通信の遅れを少なくすることができる。
また、本発明の実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を装置に供給し、マイクロプロセッサまたはDSPによりプログラムコードが実行されることによっても本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が本実施形態の機能を実現することになり、プログラムコードを記録した記録媒体は本発明を構成することになる。
以上、本発明の実施形態について説明したが、本発明の映像表示装置及びその制御方法、プログラム、記録媒体は、上記の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々の変更を加えうることは勿論である。
本発明の第1の実施形態に係る映像表示装置の構成例を示すブロック図である。 本発明の第1の実施形態に係る映像表示装置の動作例を示すフローチャート図である。 本発明の第1の実施形態に係る一覧表示画面の例を示す図である。 関心度算出と選択時間測定の動作例を示すフローチャート図である。 管理情報の例を示す図である。 映像コンテンツの管理構造の例を示す図である。 サムネールの表示例を示す図である。 選択時間の長さと関心度の関係の一例を示す図である。 消去リストの例を示す図である。 映像コンテンツの管理構造の他の例を示す図である。 本発明の第2の実施形態に係る映像表示装置の構成例を示すブロック図である。 本発明の第2の実施形態に係る映像表示装置の動作例を示すフローチャート図である。 関心度算出と選択時間測定の動作例を示すフローチャート図である。 映像表示装置の状態遷移を示す図である。 各状態における状況を表す模式図である。 本発明の第4の実施形態に係る映像表示装置の構成例を示すブロック図である。 関心度の高い映像コンテンツのサムネールをメルクマールとして表示した例を示す図である。
符号の説明
100、200、300 映像表示装置
101 記録部
102、108 動画再生部
103 静止画再生部
104 表示部
105 関心度推定部
106、109、112 表示制御部
107 操作部
110 注視位置検出部
111 嗜好情報算出部

Claims (14)

  1. 映像コンテンツに対応付けられたサムネールを一画面内に複数並べて表示する映像表示装置であって、
    前記映像表示装置に対してのユーザの指示を検知する指示検知部と、
    前記指示検知部により検知された表示指示に応じて、サムネールの表示を制御する表示制御部と、
    前記指示検知部により検知されたサムネール選択指示により、選択されたサムネールの閲覧時間から該サムネールに対応した映像コンテンツに対する関心度を算出する関心度推定部と、を備え、
    前記表示制御部は、前記選択されたサムネールの関心度の大きさに応じて、類似のサムネールを前記選択されたサムネールの近傍により多く配置するように入れ替え制御することを特徴とする映像表示装置。
  2. 前記表示制御部は、前記類似のサムネールとして、前記選択されたサムネールに対応した映像コンテンツと同一カテゴリーの映像コンテンツのサムネールを指定し、該映像コンテンツのサムネールを該選択されたサムネールの近傍に配置することを特徴とする請求項1に記載の映像表示装置。
  3. 前記表示制御部は、前記関心度の大きさが所定の閾値以下の場合に、該映像コンテンツのサムネールを消去対象とし、該消去対象のサムネールの代わりに、未表示の映像コンテンツのサムネールを選択し配置することを特徴とする請求項1又は請求項2に記載の映像表示装置。
  4. 前記表示制御部は、選択されたサムネールに対応した映像コンテンツとそれ以外の映像コンテンツとの間の相関度を計算し、該相関度が大きいほど映像コンテンツのサムネールを選択されたサムネールのより近傍に表示することを特徴とする請求項1に記載の映像表示装置。
  5. 映像コンテンツに対応付けられたサムネールを一画面内に複数並べて表示する映像表示装置であって、
    該映像表示装置に対してのユーザの指示を検知する指示検知部と、
    前記指示検知部により検知された表示指示に応じて、前記サムネールの表示を制御する表示制御部と、
    前記指示検知部により検知されたサムネール選択指示により、選択されたサムネールの閲覧時間から当該サムネールに対応した映像コンテンツに対する関心度を算出する関心度推定部と、
    ユーザにより今までに選択されたサムネールに対応した映像コンテンツの関心度と、該映像コンテンツの特徴ベクトルとに基づき、前記選択されたサムネールに対応した映像コンテンツへの関心度が大きいほど当該映像コンテンツへの嗜好が強くなるようにしたユーザ毎に嗜好情報を算出する嗜好情報算出部と、を備え、
    前記表示制御部は、前記選択されたサムネール以外の映像コンテンツについて前記嗜好情報との関連度を計算し、前記関連度が大きいほど映像コンテンツのサムネールを前記選択されたサムネールのより近傍に表示するとともに、前記関心度の大きさが所定の閾値以下の場合に、該映像コンテンツのサムネールを消去対象とし、該消去対象のサムネールの代わりに、未表示の映像コンテンツのサムネールを選択し配置することを特徴とする映像表示装置。
  6. 前記関心度推定部は、サムネールの閲覧時間が長いほど関心度が大きくなるように関心度を算出することを特徴とする請求項1から請求項5のいずれか1項に記載の映像表示装置。
  7. 映像コンテンツに対応付けられたサムネールを一画面内に複数並べて表示する映像表示装置の制御方法であって、
    前記映像表示装置に対してのユーザの指示を検知するステップと、
    検知された表示指示に応じて、前記サムネールの表示を制御するステップと、
    検知されたサムネール選択指示により、選択されたサムネールの閲覧時間との関係から該サムネールに対応した映像コンテンツに対する関心度を算出するステップと、
    算出された前記選択されたサムネールの関心度の大きさに応じて、類似のサムネールを前記選択されたサムネールの近傍により多く配置するように入れ替え制御し、表示するステップと、
    を有することを特徴とする映像表示装置の制御方法。
  8. 前記入れ替え制御し、表示するステップは、前記類似のサムネールとして、前記選択されたサムネールに対応した映像コンテンツと同一カテゴリーの映像コンテンツのサムネールを指定し、該映像コンテンツのサムネールを該選択されたサムネールの近傍に配置し、表示することを特徴とする請求項7に記載の映像表示装置の制御方法。
  9. 前記入れ替え制御し、表示するステップは、前記関心度の大きさが所定の閾値以下の場合に、該映像コンテンツのサムネールを消去対象とし、該消去対象のサムネールの代わりに、未表示の映像コンテンツのサムネールを選択し配置することを特徴とする請求項7又は請求項8に記載の映像表示装置の制御方法。
  10. 前記入れ替え制御し、表示するステップは、前記選択されたサムネールに対応した映像コンテンツとそれ以外の映像コンテンツとの相関度を計算し、該相関度が大きいほど映像コンテンツのサムネールを選択されたサムネールのより近傍に配置し、表示することを特徴とする請求項7に記載の映像表示装置の制御方法。
  11. 映像コンテンツに対応付けられたサムネールを一画面内に複数並べて表示する映像表示装置の制御方法であって、
    前記映像表示装置に対してのユーザの指示を検知するステップと、
    検知された表示指示に応じて、前記サムネールの表示を制御するステップと、
    検知されたサムネール選択指示により、選択されたサムネールの閲覧時間から該サムネールに対応した映像コンテンツに対する関心度を算出するステップと、
    前記選択されたサムネールに対応した映像コンテンツへの前記関心度が大きいほど当該映像コンテンツへの嗜好が強くなるようにした嗜好情報を算出するステップと、
    前記選択されたサムネール以外の映像コンテンツについて前記嗜好情報との関連度を計算するステップと、
    前記関連度が大きいほど映像コンテンツのサムネールを前記選択されたサムネールのより近傍に表示するとともに、前記関心度の大きさが所定の閾値以下の場合に、該映像コンテンツのサムネールを消去対象とし、該消去対象のサムネールの代わりに、未表示の映像コンテンツのサムネールを選択し配置するステップと、
    を有することを特徴とする映像表示装置の制御方法。
  12. 前記関心度を算出するステップは、サムネールの閲覧時間が長いほど関心度が大きくなるように関心度を算出することを特徴とする請求項7から請求項11のいずれか1項に記載の映像表示装置の制御方法。
  13. 請求項7から請求項12に記載の映像表示装置の制御方法をコンピュータに実行させることを特徴とするプログラム。
  14. 請求項13に記載のプログラムをコンピュータ読み取り可能に記録したことを特徴とする記録媒体。
JP2007208444A 2007-08-09 2007-08-09 映像表示装置及びその制御方法、プログラム、記録媒体 Expired - Fee Related JP4762211B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007208444A JP4762211B2 (ja) 2007-08-09 2007-08-09 映像表示装置及びその制御方法、プログラム、記録媒体
PCT/JP2008/063980 WO2009020102A1 (ja) 2007-08-09 2008-08-04 映像表示装置及びその制御方法、プログラム、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007208444A JP4762211B2 (ja) 2007-08-09 2007-08-09 映像表示装置及びその制御方法、プログラム、記録媒体

Publications (2)

Publication Number Publication Date
JP2009044560A JP2009044560A (ja) 2009-02-26
JP4762211B2 true JP4762211B2 (ja) 2011-08-31

Family

ID=40341334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007208444A Expired - Fee Related JP4762211B2 (ja) 2007-08-09 2007-08-09 映像表示装置及びその制御方法、プログラム、記録媒体

Country Status (2)

Country Link
JP (1) JP4762211B2 (ja)
WO (1) WO2009020102A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010206296A (ja) * 2009-02-27 2010-09-16 Canon Inc データ閲覧装置及びその制御方法
JPWO2010134479A1 (ja) * 2009-05-18 2012-11-12 シャープ株式会社 動画表示装置
JP5487247B2 (ja) * 2012-06-01 2014-05-07 株式会社東芝 データ処理方法
JP6066602B2 (ja) * 2012-07-13 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント 処理装置
JP6082896B1 (ja) * 2016-03-21 2017-02-22 Uxent株式会社 画像編集装置、及び画像編集方法
JP6983731B2 (ja) * 2018-07-19 2021-12-17 ヤフー株式会社 情報処理プログラム、情報処理方法、端末装置及び解析装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274368A (ja) * 2002-03-14 2003-09-26 Fuji Photo Film Co Ltd サムネイル表示装置及びサムネイル表示プログラム
JP2003303333A (ja) * 2002-04-12 2003-10-24 Fuji Photo Film Co Ltd 画像表示制御装置
JP2007034663A (ja) * 2005-07-27 2007-02-08 Sony Corp 情報処理装置および方法、並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003274368A (ja) * 2002-03-14 2003-09-26 Fuji Photo Film Co Ltd サムネイル表示装置及びサムネイル表示プログラム
JP2003303333A (ja) * 2002-04-12 2003-10-24 Fuji Photo Film Co Ltd 画像表示制御装置
JP2007034663A (ja) * 2005-07-27 2007-02-08 Sony Corp 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JP2009044560A (ja) 2009-02-26
WO2009020102A1 (ja) 2009-02-12

Similar Documents

Publication Publication Date Title
US11003332B2 (en) Gesture-alteration of media files
US9681087B2 (en) Method and system for still image capture from video footage
JP6699916B2 (ja) ユーザ挙動ベースのコンテンツ推奨のためのシステムおよび方法
CN107223241B (zh) 上下文缩放
US8472778B2 (en) Video player and video playback control method
US8615716B2 (en) Content display control apparatus and content display control method
JP4762211B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
US20080040665A1 (en) Method and system for displaying, locating and browsing data files
US9542407B2 (en) Method and apparatus for media searching using a graphical user interface
EP2034487B1 (en) Method and system for generating thumbnails for video files
US20080147664A1 (en) Display image control apparatus
JP5421627B2 (ja) 映像データ表示装置及びその方法
US10191995B2 (en) Providing auto-focus for a search field in a user interface
US20090313545A1 (en) Method and apparatus for playing media file
JP2013038453A (ja) 情報処理装置及び表示方法
US8468452B2 (en) System and method for calling attention to a location of departure in a display
GB2485567A (en) Playlist creation using a graph of interconnected nodes
JP4988461B2 (ja) 情報処理装置及び情報処理方法
CN110020309A (zh) 一种页面处理方法和装置
JP5649340B2 (ja) ファイル管理装置及びファイル管理方法
JP6288336B2 (ja) 情報処理装置
CN112689108A (zh) 基于关键帧的教学板书分段录放系统及方法
JP5460006B2 (ja) 動画検索装置及び動画検索方法
JP5149616B2 (ja) ファイル管理装置、ファイル管理方法およびファイル管理プログラム
KR101091924B1 (ko) 편집 서비스 제공 시스템 및 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110421

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110607

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees