JP6334584B2 - 表示制御装置、表示制御方法およびプログラム - Google Patents

Description

本発明の実施形態は、表示制御装置、表示制御方法およびプログラムに関する。

多くのデジタル映像再生器は、任意の時刻位置を容易に頭出しできるようにするためのシークバーを備えている。シークバーは、映像全体のシーケンスを表すバーと現在再生されている位置を示すポインタ（カーソル）とを含む。ユーザがポインタの位置を移動させる操作を行うと、再生される時刻位置が変更される。

また、ユーザが映像コンテンツの構成や分布を俯瞰できるようにすること、および、特定区間だけを閲覧およびスキップしやすくすることを目的として、特定区間を他の区間と区別できるよう可視化する機能を備えたシークバーがある。

特許第４８７１５５０号公報

しかしながら、従来技術では、特定区間を他の区間と適切に区別して可視化できない場合があった。例えばフレーム単位など非常に細かい区間は、画面の解像度の限界を超えているため直接表現できない。例えば、約１０万フレームから構成される映像（３０ｆｐｓで約６０分）を長さ１０００画素のバーで表示すると仮定する。この場合、この映像に区別すべき特定区間が１万個含まれていたら、これらの特定区間を他と区別するよう表示することは原理的に不可能である。

実施形態の表示制御装置は、Ｌ画素分（Ｌは１以上の整数）の幅の表示単位を幅方向に配置する表示領域に含まれるＳ個（Ｓは２以上の整数）の前記表示単位に対して、Ｍ個（ＭはＳより大きい整数）のデータを分割して割り当てる割当部と、前記表示単位を、割り当てられたデータに含まれる特定種類のデータの個数に応じて異なる表示態様で表示する表示制御部と、を備える。

図１は、実施形態にかかる表示制御装置の構成の一例を示すブロック図である。 図２は、配色テーブルのデータ構造の一例を示す図である。 図３は、配色テーブルのデータ構造の一例を示す図である。 図４は、配色テーブルのデータ構造の一例を示す図である。 図５は、注目区間の抽出方法を説明するための図である。 図６は、ズーム操作に基づく表示映像の変更例を示す図である。 図７は、割り当てられる映像区間の具体例を示す図である。 図８は、割り当てられる映像区間の具体例を示す図である。 図９は、割り当てられる映像区間の具体例を示す図である。 図１０は、割り当てられる映像区間の具体例を示す図である。 図１１は、シークバーの表示例を示す図である。 図１２は、実施形態における表示制御処理の一例を示すフローチャートである。 図１３は、密度算出処理の流れの一例を示すフローチャートである。 図１４は、シークバーの表示処理の流れの一例を示すフローチャートである。 図１５は、３色で塗り分ける方式の場合のズーム操作の例を示す図である。 図１６は、自動スクロールの具体例を説明する図である。 図１７は、自動スクロール処理の一例を示すフローチャートである。 図１８は、手動スクロール機能を説明するための図である。 図１９は、検索システムに適用した場合の例を説明する図である。 図２０は、実施形態にかかる表示制御装置のハードウェア構成例を示す説明図である。

以下に添付図面を参照して、この発明にかかる表示制御装置の好適な実施形態を詳細に説明する。

特定区間を他の区間と区別できるよう可視化する機能を備えたシークバーを、以下では区間表示付シークバーと呼ぶ。特定区間（以下、注目区間とも呼ぶ）は、ゴールシーンやコマーシャル等の特定種類のデータを含む区間である。特定区間を区別する方法としては、特定区間を他の区間と異なる色で着色する方法などがある。このようなシークバーは注目区間か否かの二値情報を提供している。

また、映像をヘッドラインニュース、スポーツニュース、経済ニュース、および、コマーシャルなどの複数種類に分類し、ラベルテキストや着色などにより分類結果を区別する方法がある。このような区間表示付シークバーは各区間の種類を特定する多値情報を提供している。以降の説明において、二値情報を提供する区間表示付シークバーと多値情報を提供する区間表示付シークバーとを区別する場合、それぞれを二値区間表示付シークバーおよび多値区間表示付シークバーと呼ぶ。

区間表示付シークバーは、例えば映像編集業務などにおいて素材となる必要区間を見つける作業を支援するのにも有効と考えられる。このような応用の場合、フレーム単位など細かい精度で区間範囲が確認できることが求められる。さらに、長さが数フレームしかないような極小区間が存在する場合や、極小区間から長大区間までなど大きなサイズ差がある区間が混在している場合もある。このような場合においても、ユーザが各区間の範囲を容易にかつ正確に把握できるような表示が求められる。

しかし上記のように、フレーム単位など非常に細かい区間は、画面の解像度の限界を超えているため適切に表現できない。そこで、本実施形態の表示制御装置は、表示可能な解像度の限界を超えた細かい区間群が含まれる映像に対しても、各区間の範囲を直観的かつ簡便に確認することができるようにする。

本実施形態の表示制御装置は、映像シーケンス内の特定区間を他の区間と区別できるよう可視化する機能を備えるシークバーに、以下の機能（Ｆ１）および（Ｆ２）を追加する。ただし以下の用語を用いる。
・スライス：シークバーの表示サイズを高さＨドット×幅Ｗドットとする時、シークバーの表示領域を構成する高さＨドット×幅１ドットの各サブ表示領域をスライスと呼ぶ。
・単位映像：各注目区間の開始位置および終了位置を定める最小単位の長さを持つ映像を単位映像と呼ぶ。例えば１フレームごとの映像、１ミリ秒ごとの映像などが単位映像である。
・表示映像：シークバーの表示領域に表示する映像を表示映像と呼ぶ。通常は映像シーケンス全体が表示映像となる。ズームアップ表示などが指示された場合は、映像のサブ区間が表示映像になりうる。

なお、スライスの幅は１ドットである必要はなく、Ｌドット（Ｌは１以上の整数）であればよい。例えば１ドットでは視認しにくい場合には、スライスの幅（Ｌ）を２または３などの１より大きい値としてもよい。Ｌが過度に大きいと、映像コンテンツの構成や分布を適切に把握できない場合がある。従って、Ｌの値は、視認性などを考慮して適切な値を設定すればよい。

スライスは、Ｌ画素分（Ｌは１以上の整数）の幅の表示単位に相当する。シークバーの表示領域は、Ｓ個（Ｓは２以上の整数）のスライスを幅方向に配置した表示領域に相当する。Ｌ＝１の場合は、Ｓ＝Ｗ／Ｌ＝Ｗである。すなわち、シークバーの表示領域はＷ個のスライスを含む。

（Ｆ１）スライスの塗り分け
・シークバーに含まれるスライス数を上回る数の単位映像群を持つ映像が与えられた時に、各スライスに単位映像群を動的に割り当てる。
・各スライスに割り当てられた単位映像群を元に、各スライスを以下の３種類のカテゴリに分類する。
Ｃ１：割り当てられた単位映像群がすべて注目区間に属する場合（全カバー）
Ｃ２：割り当てられた単位映像群がすべて注目区間に属さない場合（未カバー）
Ｃ３：Ｃ１およびＣ２以外（部分カバー）
・３種類のカテゴリを区別して閲覧できるよう各スライスを塗り分ける。

（Ｆ２）ズームアップ表示
・Ｆ１によって表示されたシークバー、または、Ｆ１に続きＦ２（注：再帰的定義）を行うことで表示されたシークバーに対して、所定のユーザ操作が行われた場合に、当該ユーザ操作に基づいて、映像のサブ区間を表示映像として再度割り当てる。
・当該サブ区間の映像に対してＦ１と同様の処理を行う。

なお、適用可能なデータは映像（または連続画像列）に限られるものではなく、任意のＭ個のデータの系列を用いることができる。例えば、ＤＮＡ（DeoxyriboNucleic Acid）配列、楽譜、音声波形、センサなどから出力される信号列（センサデータ）、および、テキストなどのデータの表示する際にも適用できる。また、複数のテキスト間の差分を表示するテキスト差分表示ツールにおける差分区間表示などにも利用できる。特にＤＮＡ系列やセンサデータなど膨大なデータ要素を持つデータ系列の場合、ズームと密度による区間表示は所望の区間を探す手間を軽減するのに有効である。

本実施形態は、表示領域の解像度の限界（最大画素数）を超えるデータ、すなわち、スライスの個数Ｓより大きいＭ個のデータを、Ｓ個のスライスに表示するときに有効である。なおＦ２の機能などによって表示するデータの個数ＭがＳ以下となった場合であっても、各スライスに適切にデータを割り当てて表示することができる。

以下では、二値区間表示付シークバーに（Ｆ１）、（Ｆ２）を追加した例を主に説明する。多値区間表示付シークバーへの適用方法については後述する。

図１は、本実施形態にかかる表示制御装置１００の構成の一例を示すブロック図である。図１に示すように、表示制御装置１００は、取得部１０１と、抽出部１０２と、再生制御部１０３と、探索部１０４と、ズーム制御部１０５と、割当部１１１と、算出部１１２と、表示制御部１１３と、記憶部１２１と、を備えている。

記憶部１２１は、表示制御装置１００の各種処理で用いられる各種データを記憶する。例えば記憶部１２１は、表示制御部１１３がスライスの表示色を決定するときに参照する情報（例えば配色テーブル）を記憶する。図２〜図４は、配色テーブルのデータ構造の一例を示す図である。図２、図３、および、図４は、それぞれ、２色、３色、および、６色で塗り分ける場合に用いる配色テーブルの例である。図２〜図４に示すように、配色テーブルは、密度条件と、色と、を対応づけたデータ構造となっている。密度条件に適合する密度に対応する色が、当該密度を有するスライスの色として決定される。密度、および、配色テーブルの詳細については後述する。

なお、記憶部１２１は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

図１に戻り、取得部１０１は、映像を取得する。取得部１０１は、例えばインターネットなどのネットワークにより接続された外部装置から、再生する映像を取得する。取得された映像は、記憶部１２１に記憶されてもよい。取得部１０１による映像の取得方法はこれに限られず、どのような方法であってもよい。例えば取得部１０１は、ＤＶＤ（Digital Versatile Disk）などの記録媒体に記録された映像を取得するように構成してもよい。

抽出部１０２は、取得された映像から注目区間を抽出する。例えば抽出部１０２は、取得部１０１から受け取った映像から、予め定められた観点で注目すべき単位映像群を抽出し、注目区間情報として出力する。抽出アルゴリズムは応用によって異なる。ここでは例として、映像に対して顔検出を用いて注目区間情報を生成する方法を示す。図５は、注目区間の抽出方法を説明するための図である。

まず抽出部１０２は、映像全体に対して顔検出処理を適用する。抽出部１０２は、１以上の顔と、顔が検出された区間を示す映像の区間情報とを抽出する。図５の矢印で示す映像の時間軸より上に示す矩形が、顔が検出された区間を示す。抽出部１０２は、これらの区間の和集合を取った区間、すなわち、重複部分がある複数の区間を１つに統合した区間を、注目区間として抽出する。抽出部１０２は、抽出した注目区間を示す情報（注目区間情報）を出力する。

注目区間情報は、注目区間を特定できる情報であればどのような情報であってもよい。注目区間情報は、例えば、注目区間群をそれ以外と区別できるような二値の情報である。注目区間情報は、注目区間の開始時刻および終了時刻などを示す情報であってもよい。注目区間情報を用いれば、映像の中で人の顔が写っている区間だけを他と区別して表示することが可能となる。

なお、事前に注目区間が抽出されている場合などであれば、抽出部１０２を備えないように構成してもよい。この場合は、事前に抽出された注目区間情報を用いて、後述の処理を実行すればよい。

図１に戻り、再生制御部１０３は、取得された映像の再生などの機能を提供する。例えば再生制御部１０３は、表示された再生ボタン、停止ボタン、一時停止ボタン、早送りボタン、および、巻き戻しボタンなどに対する操作に応じて、映像の再生、再生の停止、再生の一時停止、早送り、および、巻き戻しなどの機能を提供する。

探索部１０４は、ユーザ等により指定された再生位置を探索する。例えば探索部１０４は、ユーザによるシーク操作を受け取り、映像の現在再生位置を、指定された再生位置に変更する命令を表示制御部１１３に送る。シーク操作の例としては、シークバー上でのマウスクリックなどがある。なお表示制御部１１３は、この命令（シーク命令）を受け取り、シークバー上の現在位置表示を変更する。探索部１０４は、同様の命令を再生制御部１０３にも送る。なお再生制御部１０３は、この命令を受け取り、映像の再生位置を変更する。

ズーム制御部１０５は、ユーザ等により指定された表示の拡大の指示に応じて、シークバーに表示する映像の区間を変更する処理（ズーム処理）を制御する。例えばズーム制御部１０５は、ユーザによるズーム操作を受け取り、シークバーのズーム尺度を変更する命令を表示制御部１１３に送る。なお表示制御部１１３は、この命令を受け取り、適切なズーム尺度でシークバーを再表示する。

ズーム操作はどのような操作であってもよいが、例えば、シークバー上での以下のような操作がズーム操作として解釈される。ズーム操作の例と、そのズーム操作に対するズーム処理の例を以下に示す。
［ズーム操作］：［ズーム処理］
・ホイール上回転：ズームアップ操作（２倍）
・ダブルクリック：ズームアップ操作（２倍）
・ホイール下回転：ズームダウン操作（０．５倍）
・シフトキー＋ダブルクリック：ズームダウン操作（０．５倍）

上記のようなズーム操作が行われると、ズーム制御部１０５は、例えば以下の情報（ズーム情報）を生成する。
・ズーム変更率：２倍または０．５倍
・ズーム変更起点：シークバー上の位置（単位はフレーム等）

ズーム制御部１０５は、生成したズーム情報を元に、以下の式（１）および式（２）を用いて、表示映像の新たな区間を算出する。
newStart＝org−（org−oldStart）／zoomRate ・・・（１）
newEnd＝org＋（oldEnd−org）／zoomRate ・・・（２）

上記式では、以下の定義を用いるとする。
oldStart：表示映像の操作前の開始位置
oldEnd：表示映像の操作前の終了位置
newStart：表示映像の操作後の開始位置
newEnd：表示映像の操作後の終了位置
org：ズーム変更起点
zoomRate：ズーム変更率

ズーム制御部１０５は、以上の演算によって得られたnewStartおよびnewEndの値を表示制御部１１３へ送信する。図６は、ズーム操作に基づく表示映像の変更例を示す図である。なおズームダウン操作において式（１）および式（２）を適用することにより、表示映像の開始位置が０％未満になった場合、または、終了位置が１００％を超えた場合、ズーム制御部１０５は、区間が０％〜１００％内に収まるよう適当に映像全体をスクロールさせてもよい。

図１に戻り、割当部１１１は、シークバーの表示領域に含まれる各スライスに対して、当該スライスが可視化対象とする映像区間を割り当てる。割当部１１１は、例えば、Ｍ個のデータを分割してＳ個のスライスに割り当てる。Ｍ個のデータを分割してＳ個のスライスに割り当てるとは、例えば、Ｍ個のデータをＳ個のグループに分割し、グループをそれぞれスライスのいずれかに対応づけ、グループに含まれるデータを、対応づけられたスライスに割り当てることを意味する。

ズーム操作が行われた場合、割当部１１１は、Ｓ個の各スライスに対して、Ｍ’個のデータをＳ個に分割して割り当てる。Ｍ’個のデータは、ズーム操作により変更された、映像の新たな区間に含まれる画像の個数である。ズームアップ操作の場合、Ｍ’は操作前より小さい値になる。ズームダウン操作の場合、Ｍ’は操作前より大きい値になる。

割当部１１１は、例えば以下の（３）式および（４）式により、各スライスへ割り当てる映像区間を決定してもよい。
slice［x］＝movie［floor（x×M／S），floor（x×M／S）＋1）・・・（３）
slice［x］＝movie［floor（x×M／S），floor（（x＋1）×M／S））・・・（４）

ただし以下の定義を用いる。
S：シークバーのスライス数（＝シークバーの幅（長さ）の画素数）
M：映像長（単位はフレーム等）
slice［x］：スライス番号xのスライス
movie［y、z）：位置y以上z未満の映像区間（位置の単位はフレーム等）
floor（x）：実数xを超えない最大の整数を返す関数

シークバーのスライス数が映像長を上回るか同じ場合（Ｓ≧Ｍ）は、（３）式に基づいて各スライスに映像区間（フレーム等を単位とした単位映像の集合）が割り当てられる。そうでない場合（Ｓ＜Ｍ）は、（４）式に基づいて各スライスに映像区間が割り当てられる。

図７および図８は、割り当てられる映像区間の具体例を示す図である。図７はS＝30、M＝3の場合であり、（３）式が適用される。図８はS＝3、M＝30の場合であり、（４）式が適用される。

ズーム制御部１０５によってシークバーのズーム尺度が変更され、シークバー全体が映像のサブ区間を表示する状態となった場合、割当部１１１は、以下の（５）式および（６）式により、各スライスへ割り当てる映像区間を決定する。
slice［x］＝
movie［floor（x×M'／S）＋B，floor（x×M'／S）＋1）＋B・・・（５）
slice［x］＝
movie［floor（x×M'／S）＋B，floor（（x＋1）×M'／S））＋B・・・（６）

ただし以下の追加の定義を用いる。
M'：バーが表示する映像（表示映像）の長さ
B：バーが表示する映像（表示映像）の開始位置（位置の単位はフレーム等）

シークバーのスライス数が表示映像長を上回るか同じ場合（Ｓ≧Ｍ’）は、（５）式に基づいて各スライスに映像区間が割り当てられる。そうでない場合（Ｓ＜Ｍ’）は、（６）式に基づいて各スライスに映像区間が割り当てられる。

図９および図１０は、割り当てられる映像区間の具体例を示す図である。図９はS＝30、M'＝3、B＝2の場合であり、（５）式が適用される。図１０はS＝3、M＝30、B＝20の場合であり、（６）式が適用される。

割当部１１１は、各スライスへ割り当てられた映像区間を示す情報（割当情報）を出力する。上記の例では、映像区間の個数がほぼ均等になるように割り当てられる。なお、割当方法は上記に限られるものではなく、注目区間の個数などを参照して映像区間を割り当ててもよい。例えば、１つのスライスに表示する注目区間の個数が上限を超えないように映像区間の個数を調整してもよい。

算出部１１２は、各スライスに割り当てられたデータのうち特定種類のデータの割合（以下、スライスの密度と呼ぶ）を算出する。例えば算出部１１２は、割当部１１１から出力された各スライスの割当情報と、抽出部１０２から出力された注目区間情報とを用いて、各スライスの密度を算出する。

以下のように定義される記号を用いる。
slice［x］：x番目のスライスに割り当てられた単位映像集合
F：注目区間情報に含まれる注目区間の総数
focus［i］：注目区間情報に含まれるi番目の注目区間の単位映像集合
density［x］：x番目のスライスの密度

x番目のスライスの密度算出処理を疑似プログラムで記述すると以下のようになる。この手順を｛x｜0≦x＜S｝についてそれぞれ行えばよい。
given x
for i ＝0 to F-1：
count＝count＋｜slice［x］∩focus［i］｜
end for
density［x］＝count／｜slice［x］｜

表示制御部１１３は、シークバーの表示を制御する。例えば表示制御部１１３は、スライスの密度（割り当てられたデータに含まれる特定種類のデータの個数）に応じて、各スライスを相互に異なる表示態様で表示する。

以下に、配色テーブルを用いる場合のスライスの表示処理の例を説明する。表示制御部１１３は、各スライスの密度をキーとして、配色テーブルを検索し、密度に対応する色（表示態様の例）を決定する。表示制御部１１３は、決定した色でスライスを表示する。

表示態様は、スライス内部の色に限られるものではない。例えば、スライスの密度に応じて、対応付けて表示するアイコンまたはテキストレベルを異ならせるように構成してもよい。スライスの高さ、スライスの枠線の色、スライスの枠線の太さ、または、スライスの枠線の種類を変更させてもよい。スライス内部のハッチング、色の透明度、および、点滅させて表示するときの点滅パターン（点滅間隔など）を変更させてもよい。

表示制御部１１３は、さらに、現在の映像の再生位置を示す位置情報（カーソル、マーカーなど）をシークバー上に表示する機能を備えていてもよい。例えば再生制御部１０３によって映像の再生、早送り、および、巻き戻しが行われている場合、表示制御部１１３は、再生制御部１０３から刻々と送られてくる現在の再生位置の情報を元に、カーソルを再描画する。また探索部１０４から特定位置へのシーク命令が送られた場合、表示制御部１１３は、この特定位置を示すようカーソルを再描画する。ズーム制御部１０５によってバーのズーム尺度が変更された場合、表示制御部１１３は、ズーム処理の結果生じる画面上のずれに基づきカーソルを再描画する。

表示制御部１１３は、さらに、シークバーの表示領域に割り当てられたデータの範囲を示す情報を表示する機能を備えていてもよい。例えば表示制御部１１３は、シークバーの左端下と右端下に、シークバー全体が示す映像（すなわち表示映像）の開始位置と終了位置を示す情報を表示する。開始位置と終了位置を示す情報は、映像全体を１００％としたときのパーセンテージを示す情報などである。これにより、ユーザはズームの状態を把握できる。

ズームアップ操作が行われていない場合は、開始位置は０％、終了位置は１００％となる。ズーム制御部１０５によってズームアップ操作が行われると、開始位置および終了位置の値は、以下の制約条件の元で変化する。
０％≦開始位置の値＜終了位置の値≦１００％

範囲の表示形式はパーセンテージ形式に限られるものではなく、映像開始からの時間などの形式で表示してもよい。

図１１は、シークバーの表示例を示す図である。図１１は、再生制御部１０３により表示される映像の表示画面１１０１と、表示制御部１１３により表示されるシークバー１１０２と、を含む例である。なお図１１では、スライスのハッチングを異ならせて表示する例を示している。カーソル１１１１は、スライスと区別しやすい表示態様（例えば黄色）の縦線により表示されている。

再生制御部１０３は、映像の再生に従い再生位置を更新すると、現在の再生位置を示す情報を表示制御部１１３に送る。表示制御部１１３は、送られた情報を参照し、シークバー１１０２にカーソル１１１１を表示する。カーソル１１１１は、例えば映像の再生とともにシークバーの左から右に移動する。

シークバー１１０２は、図１１に示すように横方向に長い形状に限られず、どのような形状であってもよい。例えば、シークバーを縦方向に長い形状とし、映像の再生が上から下方向（下から上方向でもよい）に進むように構成してもよい。シークバーを曲線状、円形状、および、ドーナツ形状などにしてもよい。

なお、上記各部（取得部１０１、抽出部１０２、再生制御部１０３、探索部１０４、ズーム制御部１０５、割当部１１１、算出部１１２、および、表示制御部１１３）は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

次に、このように構成された本実施形態にかかる表示制御装置１００による表示制御処理について図１２を用いて説明する。図１２は、本実施形態における表示制御処理の一例を示すフローチャートである。表示制御処理は、例えば、映像全体の再生が開始される前、再生が開始されたとき、および、ズーム処理が行われ表示を更新するとき、などに実行される。

まず、割当部１１１は、各スライスに対して映像区間を割り当てる（ステップＳ１０１）。ズーム操作が行われていない場合は、割当部１１１は、例えば上記（３）式または（４）式を用いて、スライスに割り当てる映像区間を決定する。ズーム操作が行われた場合は、割当部１１１は、例えば上記（５）式または（６）式を用いて、スライスに割り当てる映像区間を決定する。

次に、算出部１１２は、各スライスに割り当てられた映像区間の情報（割当情報）、および、注目区間情報を用いて、各スライスの密度を算出する（ステップＳ１０２）。例えば算出部１１２は、上記の疑似プログラムで表された密度算出処理に従い、各スライスの密度（density［x］）を算出する。密度算出処理の詳細は後述する。

次に、表示制御部１１３は、算出された密度を参照し、スライスの表示態様を異ならせるように、シークバーを表示する（ステップＳ１０３）。シークバーの表示処理の詳細は後述する。

次に、ステップＳ１０２の密度算出処理の詳細について説明する。図１３は、密度算出処理の流れの一例を示すフローチャートである。以下では、x番目のスライスを現スライスと呼ぶ場合がある。

算出部１１２は、カウント変数を初期値（例えば０）に初期化する（ステップＳ２０１）。算出部１１２は、注目区間情報から、注目区間を順に１つ取り出す（ステップＳ２０２）。算出部１１２は、取り出された注目空間に含まれる単位映像集合と、現スライスに含まれる単位映像集合の積集合を算出する（ステップＳ２０３）。算出部１１２は、得られた積集合のサイズをカウント変数に加算する（ステップＳ２０４）。算出部１１２は、注目区間をすべて取り出したか否かを判断する（ステップＳ２０５）。すべて取り出していない場合（ステップＳ２０５：Ｎｏ）、算出部１１２は、ステップＳ２０２に戻り処理を繰り返す。すべて取り出した場合（ステップＳ２０５：Ｙｅｓ）、算出部１１２は、カウント変数の値を現スライスの単位映像集合のサイズで割った値を、密度として算出する（ステップＳ２０６）。

次に、ステップＳ１０３のシークバーの表示処理の詳細について説明する。図１４は、シークバーの表示処理の流れの一例を示すフローチャートである。

表示制御部１１３は、シークバーを構成するスライスを順に取り出す（ステップＳ３０１）。表示制御部１１３は、取り出したスライスの密度を取得する（ステップＳ３０２）。表示制御部１１３は、配色テーブルの密度条件列の中から、取得した密度と適合する行を検索する（ステップＳ３０３）。表示制御部１１３は、検索した行に書かれた色を用いて、当該スライスを着色する（ステップＳ３０４）。表示制御部１１３は、すべてのスライスを取り出したか否かを判断する（ステップＳ３０５）。取り出していない場合（ステップＳ３０５：Ｎｏ）、表示制御部１１３は、ステップＳ３０１に戻り処理を繰り返す。取り出した場合（ステップＳ３０５：Ｙｅｓ）、表示制御部１１３は、シークバーの表示処理を終了する。

次に、配色テーブルの設計方法の具体例について説明する。図２〜図４で説明したように、配色テーブルは、密度条件と色とを対応づけて記憶している。密度条件は、各行に書かれた密度条件のＯＲ（オア）を取った時、０〜１の間のすべての密度がカバーされるように設計される。図２〜図４は、この条件を満たしつつ、それぞれ２色、３色および６色に塗り分ける例となっている。

図２は、注目区間か否かの二値を区別できるように着色する例である。図２では、非注目区間（ｄ＝０）の色を黒とし、注目区間（０＜ｄ≦１）の色を赤とする例が示されている。この例では、各スライスに対応付けられている１つ以上の単位映像群のうち、いずれかの単位映像が注目区間に該当すれば赤が塗られる。従ってユーザは、各スライスの位置における注目区間の存在の有無を確認できる。

赤に着色された区間に注目区間でない区間（非注目区間）が含まれていたとする。赤に着色された区間でズームアップ操作を適切な回数行うと、非注目区間は黒として表示される。これにより、ユーザは、注目区間の欠損を確認できる。ただし図２の例では、赤の区間のうちいずれの部分をズームアップすれば、欠損を見つけられるかについての情報はユーザに与えられない。

図３は、各スライスについて、注目区間で１００％充当されているか（赤）、注目区間が一切含まれていないか（黒）、および、それ以外（注目区間と非注目区間の混在）か（中間的な色）、の３種類が区別できるように着色する例である。ユーザが注目区間を探している場合、ズーム操作をしなくても、黒で描画されている区間は「非該当」、赤で描画されている区間は「該当」と即断できる。

中間的な色で描画される区間は、注目区間と非注目区間が混在していることを示している。従って、ユーザは、その区間での注目区間を明確化したい場合にのみズーム操作をすればよい。このように３色で塗り分ける方式では、ユーザのズーム操作負担を軽減可能となる。

図１５は、３色で塗り分ける方式の場合のズーム操作の例を示す図である。シークバー１５０１は、ズーム操作前のシークバーの例である。シークバー１５０１では、区間１５０２および区間１５０５は非注目区間であり、区間１５０３は注目区間であり、区間１５０４はいずれか不明であるものとする。ユーザがこの区間１５０４上にマウスカーソル（矢印）を合わせてズームアップ操作を行うと、マウスカーソル位置を中心とする一定範囲の区間が新たな表示映像として拡大表示される。

シークバー１５１１は、このようなズームアップ操作後のシークバーの例を示す。実線および点線は、ズームアップ前後の区間の対応を示す。ズームアップ操作により、マウスカーソルを含む区間１５１３は注目区間と非注目区間が混在し、隣接する区間１５１２および区間１５１４は、注目区間で充当される区間であることが判明する。ユーザが区間１５１３上でさらにズームアップ操作を行うと、マウスカーソル位置を中心とする一定範囲の区間が新たな表示映像として拡大表示される。

シークバー１５２１は、このズームアップ操作後のシークバーの例を示す。シークバー１５２１は、ズームアップ操作により、すべての区間が注目区間のみ、または、非注目区間のみとなった例を示す。このように、マウスカーソルの位置を固定してズーム操作を繰り返せば、この位置が注目区間であるか、非注目区間であるかを判別することが可能となる。

配色テーブルの設計方法の具体例についてさらに説明する。図４は、各スライスについて、注目区間で１００％充当されているか（赤）、注目区間が一切含まれていないか（黒）の塗り分けに加えて、それ以外（注目区間と非注目区間の混在）については、密度の大きさに応じた多段階の塗り分けを行う例である。この場合は、図３と同様にズームアップ操作の要否を即断可能となるとともに、中間的な色の度合いに応じて、注目区間が得られることがどの程度期待できるかが予測可能となる。これにより、図３の設計と比べ、さらにユーザのズーム操作負担を軽減可能となる。

なお図４での着色設計の工夫として、密度０と密度１については中間的な色との色差を大きくしている。既に述べたように密度０（非注目区間）と密度１（注目区間）はズーム操作の要否を判断手がかりとしての特別な意味を持つ。このため、それらが目立つ画面表現にすることで、ユーザの利便性を向上させることが可能となる。

以上の例では、色成分Ｒのみを用いたが、ＲＧＢすべての色成分を用いた色の割り当てを行ってもよい。ＲＧＢ色空間の代わりにＨＳＶなどの別の色空間を用いてもよい。また密度と正の相関を持つようにＲの値を与えたが、このようにＲの値を割り当てることは必須ではない。

上記のようなズームアップ操作を可能とすると、ズームアップされた状態での映像を再生、早送り、および、巻き戻しなどに応じて、映像の再生位置を示すカーソルが表示範囲から逸脱する可能性が生じる。カーソルが表示範囲から逸脱することを回避するために、表示映像やカーソルを動的にスクロールさせる機能（自動スクロール）を備えてもよい。

例えば表示制御部１１３は、映像の再生などに応じてカーソルが再描画され、シークバーの右端付近または左端付近にカーソルが配置された場合に、表示映像の区間を変更して再描画してカーソル位置を中央近くに戻す。

図１６は、自動スクロールの具体例を説明するための図である。表示領域の内部に、コア表示範囲が割り当てられる。コア表示範囲は、カーソルの表示が許される表示範囲（許容領域）を意味する。再生制御部１０３による再生等により再生位置が変更され、カーソルの画面上の表示位置がコア表示範囲を逸脱した場合、表示制御部１１３は、カーソルをコア表示範囲内に移動させる。それに合わせて表示映像全体も左に移動される。

例えば、割当部１１１は、カーソルがコア表示範囲内に含まれるようにデータを再度割り当てる。表示制御部１１３は、再度割り当てられた後のデータの再生位置を示すカーソルをシークバーに表示する。図１６の例では、コア表示範囲を逸脱したカーソル１６０１が矢印１６１１方向に移動され、カーソル１６０２が表示される。表示映像の範囲は、２０％〜５０％から、２５％〜５５％に変更される。

図１７は、自動スクロール処理の一例を示すフローチャートである。

表示制御部１１３は、カーソルの表示位置が、コア表示範囲を右に逸脱したか否かを判断する（ステップＳ４０１）。逸脱した場合（ステップＳ４０１：Ｙｅｓ）、表示制御部１１３は、カーソルの表示位置とコア表示範囲の右端との間のオフセットを算出する（ステップＳ４０２）。表示制御部１１３は、カーソルをコア表示範囲の右端に設定する（ステップＳ４０３）。

割当部１１１は、表示映像の区間がステップＳ４０２で算出されたオフセットの分だけ左へ移動するように、各スライスに対して割り当てる映像区間を移動させる。表示制御部１１３は、移動後のスライスを再表示する（ステップＳ４０４）。表示制御部１１３は、シークバーの左端下および右端下に表示されている表示範囲の数字を更新する（ステップＳ４０５）。

ステップＳ４０１で逸脱していないと判断された場合（ステップＳ４０１：Ｎｏ）、表示制御部１１３は、さらに、カーソルの画面表示位置が、コア表示範囲を左に逸脱したか否かを判断する（ステップＳ４０６）。逸脱した場合（ステップＳ４０６：Ｙｅｓ）、表示制御部１１３は、カーソルの表示位置とコア表示範囲の左端との間のオフセットを算出する（ステップＳ４０７）。表示制御部１１３は、カーソルをコア表示範囲の左端に設定する（ステップＳ４０８）。

割当部１１１は、表示映像の区間がステップＳ４０８で算出されたオフセットの分だけ右へ移動するように、各スライスに対して割り当てる映像区間を移動させる。表示制御部１１３は、移動後のスライスを再表示する（ステップＳ４０９）。表示制御部１１３は、シークバーの左端下および右端下に表示されている表示範囲の数字を更新する（ステップＳ４１０）。

ステップＳ４１０の後、または、ステップＳ４０６で逸脱していないと判断された場合（ステップＳ４０６：Ｎｏ）、自動スクロール処理を終了する。

自動スクロールとともに、または、自動スクロールの代わりに、ユーザの操作に応じて、表示映像やカーソルをスクロールさせる機能（手動スクロール）を備えてもよい。手動スクロール機能は、ズームアップされた状態のシークバーに対して、ユーザが手動で表示映像の区間のスクロールを指示した場合に、指示に応じて区間をスクロールさせる機能である。

ユーザがスクロールを指示する操作（スクロール操作）は任意であるが、例えば、ドラッグ＆ドロップ操作などをスクロール操作とすることができる。図１８は、手動スクロール機能を説明するための図である。

ユーザは、シークバーの任意の位置でドラッグ操作（ドラッグ開始操作）を行うことができる。マウスカーソル１８０１の位置でドラッグ操作が開始されたとする。ユーザは、さらに所望の移動量でマウスカーソルを移動させて、ドロップ操作（ドラッグ終了操作）を行うことができる。マウスカーソル１８０２の位置でドロップ操作が行われたとする。

割当部１１１は、データの移動の指示が受け付けられた場合に、指示に応じて移動させたデータを再度割り当てる。例えば割当部１１１は、ドラッグ＆ドロップ操作の移動量に合わせて、各スライスに対して割り当てる映像区間を移動させる。表示制御部１１３は、再割当後の映像を再表示するとともに、移動量に合わせて再生位置を示すカーソルをスクロールさせる。また、表示制御部１１３は、シークバーの左端下および右端下に表示されている表示範囲の数字を更新する。

現在のカーソル位置からかなり離れた区間での注目区間の分布を確認したい場合、手動スクロール機能がないと、一旦ズームダウン操作を行った上で、確認したい区間付近でズームアップ操作するという非常に煩雑な操作が必要となる。手動スクロール機能により、ズーム尺度は維持したまま、ドラッグ＆ドロップ操作だけで任意の区間を閲覧できるようになる。

（変形例１）
次に、多値区間表示付シークバーへ適用する例について説明する。多値区間表示付シークバーは、複数の種類の注目区間を、種類ごとに区別して可視化する機能を備えている。多値区間表示付シークバーの場合は、以下のようにしてスライスを区別して表示することができる。
（１）残りの色空間で種別を示す方法
上記実施形態ではＲＧＢのうちＲを用いて密度に応じて異なる表示態様でスライスを可視化した。本変形例では、ＲＧＢ色空間の残りのパラメタＧおよびＢの組み合わせにより、注目区間の種類に応じて異なる色を割り当てる。例えば、Ｔ１、Ｔ２およびＴ３の３種類の注目区間があるとする。この場合、Ｔ１の密度について図２のような配色テーブルを適用し、Ｔ２の密度について図２のＲの代わりにＧの値を変更した配色テーブルを適用し、Ｔ３の密度について図２のＲの代わりにＢの値を変更した配色テーブルを適用してもよい。これらの配色テーブルを１つに統合した配色テーブルを用いてもよい。
（２）テキストラベルなどの補助情報を用いて種別を示す方法
各スライスの近辺などに、注目区間の種類を示すテキストラベルやアイコンなどを表示させる。

（変形例２）
検索キーワードなどに基づき映像を検索し、検索結果をスコアなどに基づき並べ替えて表示する検索システムに対して上記実施形態を適用することができる。図１９は、このような検索システムに適用した場合の例を説明する図である。

例えば検索キーワードを入力して検索を実行することにより、検索キーワードに関連する上位２件の映像が図１９に示すように表示される。再生制御部１０３は、２件の検索結果に対応する映像１９０１、１９０２を表示する。表示制御部１１３は、映像１９０１、１９０２に対応するシークバー１９１１、１９１２をそれぞれ表示する。

表示制御部１１３に対しては、検索キーワードと関連する区間が注目区間として与えられる。例えば、検索キーワードが人名であれば、顔認識の結果得られる人物が、人名が示す人物と一致する区間が注目区間として与えられる。このように、注目区間のデータ（特定種類のデータ）は、例えば映像のうちキーワードに関連する画像を含む画像である。抽出部１０２がこのように注目区間を抽出してもよいし、事前に抽出された注目区間が入力されてもよい。

割当部１１１、算出部１１２、および、表示制御部１１３は、検索結果の映像、および、注目区間の情報を基に、図１２などと同様の処理を行い、映像のうち注目区間を含む区間とその他の区間を区別できるように、シークバー（シークバー１９１１、１９１２）を表示する。この後のズーム操作は上記実施形態と同様に実現できる。

これによりユーザは、検索結果画面の閲覧およびズーム操作だけで以下のように情報を容易に把握でき、検索作業の負荷を大きく低減可能となる。
・各検索結果アイテムが、自分が興味のある区間をどの程度含んでいるかが分かる。これにより、例えばその映像は開く価値があるかないか等を、映像を開かなくてもある程度判断できる。
・各検索結果アイテムが、自分が興味のある区間をどのような分布で含んでいるかが分かる。これにより例えば映像前半だけに登場しているか等の映像構成を、映像を開かなくても確認できる。

以上説明したとおり、本実施形態によれば、表示の解像度を超えた粒度を持つ情報であっても、情報の各区間の分布を容易に把握可能となる。また情報の表示尺度を調整可能とすることで、各区間をさらに簡便に確認可能となる。

次に、上記実施形態にかかる表示制御装置のハードウェア構成について図２０を用いて説明する。図２０は、実施形態にかかる表示制御装置のハードウェア構成例を示す説明図である。

実施形態にかかる表示制御装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

実施形態にかかる表示制御装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

実施形態にかかる表示制御装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、実施形態にかかる表示制御装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態にかかる表示制御装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

実施形態にかかる表示制御装置で実行されるプログラムは、コンピュータを上述した表示制御装置の各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 表示制御装置
１０１ 取得部
１０２ 抽出部
１０３ 再生制御部
１０４ 探索部
１０５ ズーム制御部
１１１ 割当部
１１２ 算出部
１１３ 表示制御部
１２１ 記憶部

Claims (13)

1. Ｌ画素分（Ｌは１以上の整数）の幅の表示単位を幅方向に配置する表示領域に含まれるＳ個（Ｓは２以上の整数）の前記表示単位に対して、Ｍ個（ＭはＳより大きい整数）のデータを分割して割り当てる割当部と、
   前記表示単位を、割り当てられたデータに含まれる特定種類のデータの個数に応じて異なる表示態様で表示する表示制御部と、を備え、
   前記割当部は、表示の拡大の指示が受け付けられた場合に、Ｓ個の前記表示単位に対して、Ｍ’個（Ｍ’はＭより小さい整数）のデータを分割して再度割り当て、
   前記表示制御部は、前記表示単位を、再度割り当てられたデータに含まれる前記特定種類のデータの個数に応じて異なる表示態様で表示する、
   表示制御装置。
2. 前記表示制御部は、前記表示領域に割り当てられた前記データの範囲を示す情報をさらに表示する、
   請求項１に記載の表示制御装置。
3. 前記表示制御部は、割り当てられたデータがすべて特定種類のデータである第１表示単位と、割り当てられたデータがすべて特定種類のデータでない第２表示単位と、前記第１表示単位および前記第２表示単位のいずれでもない第３表示単位と、を相互に異なる表示態様で表示する、
   請求項１に記載の表示制御装置。
4. 前記表示単位に割り当てられたデータのうち前記特定種類のデータの割合を算出する算出部をさらに備え、
   前記表示制御部は、前記第３表示単位を、算出された前記割合に応じて異なる表示態様で表示する、
   請求項３に記載の表示制御装置。
5. 前記表示制御部は、割り当てられたデータがすべて特定種類のデータでない第１表示単位と、前記第１表示単位以外の第２表示単位と、を相互に異なる表示態様で表示する、
   請求項１に記載の表示制御装置。
6. 前記表示制御部は、前記表示単位を、割り当てられたデータに含まれる特定種類のデータの個数に応じて異なる色で表示する、
   請求項１に記載の表示制御装置。
7. データを再生する機能を少なくとも有する再生制御部をさらに備え、
   前記表示制御部は、再生位置を示す位置情報を前記表示領域内にさらに表示する、
   請求項１に記載の表示制御装置。
8. 前記割当部は、前記位置情報が、前記表示領域に含まれる許容領域外となった場合に、前記位置情報が前記許容領域内に含まれるようにデータを再度割り当て、
   前記表示制御部は、再度割り当てた後のデータの再生位置を示す位置情報を前記表示領域内にさらに表示する、
   請求項７に記載の表示制御装置。
9. 前記割当部は、割り当てるデータの移動の指示が受け付けられた場合に、指示に応じて移動させたデータを再度割り当て、
   前記表示制御部は、再度データを割り当てた後の前記表示単位を、割り当てられたデータに含まれる特定種類のデータの個数に応じて異なる表示態様で表示する、
   請求項１に記載の表示制御装置。
10. Ｍ個のデータは、Ｍ個の画像を含む映像または連続画像列である、
    請求項１に記載の表示制御装置。
11. 前記特定種類のデータは、前記Ｍ個の画像のうち、キーワードに関連する画像を含む画像である、
    請求項１０に記載の表示制御装置。
12. Ｌ画素分（Ｌは１以上の整数）の幅の表示単位を幅方向に配置する表示領域に含まれるＳ個（Ｓは２以上の整数）の前記表示単位に対して、Ｍ個（ＭはＳより大きい整数）のデータを分割して割り当てる割当ステップと、
    前記表示単位を、割り当てられたデータに含まれる特定種類のデータの個数に応じて異なる表示態様で表示する表示制御ステップと、を含み、
    前記割当ステップは、表示の拡大の指示が受け付けられた場合に、Ｓ個の前記表示単位に対して、Ｍ’個（Ｍ’はＭより小さい整数）のデータを分割して再度割り当て、
    前記表示制御ステップは、前記表示単位を、再度割り当てられたデータに含まれる前記特定種類のデータの個数に応じて異なる表示態様で表示する、
    表示制御方法。
13. コンピュータを、
    Ｌ画素分（Ｌは１以上の整数）の幅の表示単位を幅方向に配置する表示領域に含まれるＳ個（Ｓは２以上の整数）の前記表示単位に対して、Ｍ個（ＭはＳより大きい整数）のデータを分割して割り当てる割当部と、
    前記表示単位を、割り当てられたデータに含まれる特定種類のデータの個数に応じて異なる表示態様で表示する表示制御部、として機能させ、
    前記割当部は、表示の拡大の指示が受け付けられた場合に、Ｓ個の前記表示単位に対して、Ｍ’個（Ｍ’はＭより小さい整数）のデータを分割して再度割り当て、
    前記表示制御部は、前記表示単位を、再度割り当てられたデータに含まれる前記特定種類のデータの個数に応じて異なる表示態様で表示する、
    プログラム。
    

Images