JP3325859B2 - データ入力方法、データ入力装置、およびデータ入力プログラムを格納する記録媒体、ならびに映像データ操作方法、映像データ操作装置、および映像データ操作プログラムを格納する記録媒体 - Google Patents

データ入力方法、データ入力装置、およびデータ入力プログラムを格納する記録媒体、ならびに映像データ操作方法、映像データ操作装置、および映像データ操作プログラムを格納する記録媒体

Info

Publication number
JP3325859B2
JP3325859B2 JP19341599A JP19341599A JP3325859B2 JP 3325859 B2 JP3325859 B2 JP 3325859B2 JP 19341599 A JP19341599 A JP 19341599A JP 19341599 A JP19341599 A JP 19341599A JP 3325859 B2 JP3325859 B2 JP 3325859B2
Authority
JP
Japan
Prior art keywords
line
polygonal
line segment
input coordinates
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP19341599A
Other languages
English (en)
Other versions
JP2000231431A (ja
Inventor
隆 佐藤
治彦 児島
佳伸 外村
明人 阿久津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP19341599A priority Critical patent/JP3325859B2/ja
Publication of JP2000231431A publication Critical patent/JP2000231431A/ja
Application granted granted Critical
Publication of JP3325859B2 publication Critical patent/JP3325859B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、折れ線型スライダ
を用いるデータ入力方法、装置、およびデータ入力プロ
グラムを格納するコンピュータ読み取り可能な記録媒
体、ならびに映像データ操作方法、装置、および映像デ
ータ操作プログラムを格納するコンピュータ読み取り可
能な記録媒体に関する。特に、映像データや動画データ
などの時空間メディアデータを対話的に操作、再生する
際に、ユーザーの入力に追従して、時間的に連続した、
かつ直観的な映像データの操作、再生を実現するインタ
ーフェースである折れ線型スライダを用いるGUI(Graphi
cal User Interface)技術に関する。
【0002】
【従来の技術】従来、データの対話的操作のインターフ
ェースとして、スライダと呼ばれる入力手段がある。図
55は、従来のスライダを示す。このスライダは、始点
91と終点93を持つ1つの線分と、この線分上を移動
するツマミ92から構成されている。ユーザーは、マウ
スやタッチパネルなどのポインティングデバイスを用い
てツマミ92を操作する。このツマミ92が移動するこ
とにより、始点91と終点93の間の値が設定される。
このツマミ92の位置に対応する値がPCに入力され
る。図55の例では、0〜100の間でツマミ92は移
動でき、45という値が設定されている。
【0003】このスライダは、通常モニター画面の下に
表示され、時間軸に対応するカーソル(アンカー)とし
て機能する。このスライダは、再生中の画像フレームの
相対的な位置を表示するとともに、例えばランダム再
生、早送りおよび巻き戻しなどの映像の可変速再生のイ
ンターフェースとして用いることができる。M.Mills et
al,"A Magnifier Tool for Video Data", CHI'92,pp.93
-98,1992.にこのスライダを用いたデータの対話的操作
手法が開示されている。
【0004】
【発明が解決しようとする課題】しかしながら、これら
の従来技術には、以下の問題点があった。
【0005】すなわち、この従来のスライダは、ツマミ
の移動量に応じてフレームを送るので連続的な時間操作
ができるが、被写体の動きなどの映像内容とは無関係
に、映像の時間軸がスライダ上に線形に射影されてい
る。このため、スライダ操作と再生される映像内容とが
直観的に一致しない場合がある。例えばスライダを右に
動かしているのに映像中の被写体が左に動くという現象
が生ずる。特に、動く被写体、波形および地図上の道順
など、複雑な軌跡の映像データに対して連続的な値を入
力する場合、従来のスライダではこの映像データへの空
間的な対応付けができないためデータ操作が困難である
という問題点がある。
【0006】また、映像データを対話的に操作する際
に、上記の複雑な軌跡を持つ映像データを操作すること
ができないという問題点がある。
【0007】以上説明したように、本発明の目的は、映
像データや動画データなどの時空間メディアデータを対
話的に操作、再生するGUI(Graphical User Interface)
において、時間的連続性を損なうことなく、かつ直観的
な映像データの操作、再生を実現する折れ線型スライダ
を用いたデータ入力方法、データ入力装置、およびデー
タ入力プログラムを格納する記録媒体、ならびに映像デ
ータ操作方法、映像データ操作装置、および映像データ
操作プログラムを格納する記録媒体を提供することにあ
る。
【0008】また、本発明の他の目的は、スライダを折
れ線型にしたことに伴う操作の困難性を解消し、ユーザ
ーが折れ線型スライダの折れ線やツマミを完全にトレー
スしない場合にも、入力座標をツマミの位置に適切に対
応させることによって、折れ線型スライダの操作性を向
上させる点にある。
【0009】
【課題を解決するための手段】本発明のある特徴は、指
示された座標に対応するデータを入力する方法であっ
て、(a)1又は複数の線分からなる折れ線と、該折れ線
上を移動する座標指示手段からなる折れ線型スライダを
定義する頂点の座標を記憶するステップと、(b)入力さ
れた座標を記憶するステップと、(c)前記入力された座
標を前記折れ線上の点に写像して、該点の位置を前記折
れ線上を移動する座標指示手段の位置とするステップと
を含むことを特徴とするデータ入力方法を提供する点に
ある。
【0010】また、本発明の他の特徴は、前記ステップ
(c)は、前記入力された座標を前記折れ線上に射影する
ことにより、前記点を得る点にある。
【0011】また、本発明の他の特徴は、前記ステップ
(c) は、前記入力された座標から前記折れ線を構成する
各線分への垂線と、前記各線分との接点のうち、前記入
力座標に最も近い前記接点の位置を前記座標指示手段の
位置とする点にある。
【0012】また、本発明の他の特徴は、前記ステップ
(c) は、(c1)前記入力された座標から前記折れ線を構成
する各線分への垂線を求めるステップと、(c2)前記求め
られた垂線と前記各線分との接点により、各線分の全体
に対する部分線分の比をそれぞれ求めるステップと、(c
3) 前記各接点と前記入力座標との距離を求めるステッ
プと、(c4) 前記求められた比が0から1の範囲である
線分上の接点のうち、前記距離が最も小さい接点を選択
して前記座標指示手段の位置とするステップとを含む点
にある。
【0013】また、本発明の他の特徴は、前記ステップ
(c)は、前記折れ線を構成する各線分のうち、該線分の
両端の頂点を通り、かつ頂角の二等分線または折れ線の
両端の頂点を通過する垂線である直線を生成し、前記入
力された座標を挟み込む2つの前記直線を持ち、かつ前
記入力された座標に最も近い線分を選択し、前記選択さ
れた線分の前記2つの直線と前記入力された座標との距
離の比を求め、求められた距離の比によって前記選択さ
れた線分を内分する点の位置を前記座標指示手段の位置
とする点にある。
【0014】また、本発明の他の特徴は、前記ステップ
(c) は、(c11)前記折れ線を構成する各線分の両端の頂
点P1,P2について、頂点を通過する垂線または前記
折れ線の頂角の二等分線である直線L1,L2を求める
ステップと、(c12)前記頂点P1、P2のそれぞれと、
前記入力された座標とが、線分上で対峙する前記直線L
1、L2のいずれか一方に対して同じ側にあるか否かを
判別するステップと、(c13)前記線分のそれぞれと前記
入力された座標との距離を求めるステップと、(c14)前
記ステップ(c12)によりその両端の頂点P1,P2が対
峙する前記直線L2,L1のいずれか一方に対して前記
入力された座標と同じ側にあると判定された線分のう
ち、前記距離が最も小さい線分L3を選択するステップ
と、(c15)前記ステップ(c14)により選択された前記線分
L3の両端の頂点P1、P2を通過する前記直線L1,
L2のそれぞれと前記入力された座標との距離D1,D
2を求めるステップと、(c16)前記ステップ(c15)により
求められた距離の比D1:D2によって前記選択された
線分L3を内分する点の位置を前記座標指示手段の位置
とするステップとを含む点にある。
【0015】また、本発明の他の特徴は、前記ステップ
(c)は、前記折れ線を構成する各線分のうち、該線分の
両端の頂点を通り、かつ頂角の二等分線または折れ線の
両端の頂点を通過する垂線である2つの直線を生成し、
前記入力された座標を挟み込む2つの前記直線を持ち、
かつ前記入力された座標に最も近い線分を選択し、前記
選択された線分に平行な線分と、前記2つの直線との2
つの交点を求め、この2つの交点と前記入力された座標
との距離の比を求め、求められた距離の比によって前記
選択された線分を内分する点の位置を前記座標指示手段
の位置とする点にある。
【0016】また、本発明の他の特徴は、前記ステップ
(c)は、(c21)前記折れ線を構成する各線分の両端の頂点
P1,P2について、頂点を通過する垂線または前記折
れ線の頂角の二等分線である直線L1,L2を求めるス
テップと、(c22)前記頂点P1、P2のそれぞれと、前
記入力された座標とが、線分上で対峙する前記直線L
1、L2のいずれか一方に対して同じ側にあるか否かを
判別するステップと、(c23)前記線分のそれぞれと前記
入力された座標との距離を求めるステップと、(c24)前
記ステップ(c22)によりその両端の頂点P1,P2が対
峙する前記直線L2,L1のいずれか一方に対して前記
入力された座標と同じ側にあると判定された線分のう
ち、前記距離が最も小さい線分を選択するステップと、
(c25) 前記ステップ(c24)により選択された線分L3と
平行であって前記入力された座標を通過する線分L4を
求めるステップと、(c26) 前記平行線L4と、前記線
分L3の両端の頂点を通過する前記直線L1,L2との
交点Q1、Q2をそれぞれ求めるステップと、(c27)前
記ステップ(c26)により求められた交点Q1、Q2のそ
れぞれと前記入力された座標との距離D1,D2をそれ
ぞれ求めるステップと、(c28)前記ステップ(c27)により
求められた距離の比D1:D2によって前記選択された
線分L3を内分する点の位置を前記座標指示手段の位置
とするステップとを含む点にある。
【0017】また、本発明の他の特徴は、前記ステップ
(c)は、前記座標指示手段の位置が求められない場合
に、前記入力された座標に最も近い前記折れ線の頂点の
位置を前記座標指示手段の位置とする点にある。
【0018】また、本発明の他の特徴は、前記ステップ
(c)は、前記入力された座標と折れ線との距離が所定の
閾値内にある場合に、前記座標指示手段の位置を設定す
る点にある。
【0019】また、本発明の他の特徴は、上記データ入
力方法は、さらに、(d)前記座標指示手段が指示する位
置に対応するデータを出力するステップを含む点にあ
る。
【0020】また、本発明の他の特徴は、前記ステップ
(d)は、前記折れ線を前記座標指示手段の位置で内分し
た内分値を出力する点にある。
【0021】また、本発明の他の特徴は、前記ステップ
(d)は、さらに、(d1)折れ線の頂点に対応するデータを
記憶するステップと、(d2)前記ステップ(d1)により、前
記座標指示手段が位置する線分の両端の頂点に対応する
データV1、V2を取得するとともに、前記座標指示手
段が前記線分を内分する比を求めるステップと、(d3)前
記V1、V2に基づいて、前記ステップ(d2)により得ら
れた比に対応する内分値を出力するステップとを含む点
にある。
【0022】また、本発明の他の特徴は、上記データ入
力方法は、さらに、(e)複数の折れ線のうち、いずれか
1つの折れ線を選択するステップを含む点にある。
【0023】また、本発明の他の特徴は、前記ステップ
(e)は、前記複数の折れ線のうち、前記入力された座標
に最も近い線分を含む折れ線を選択する点にある。
【0024】また、本本発明の他の特徴は、前記ステッ
プ(e)は、前記複数の折れ線のうち、前記入力された座
標に最も近い前記座標指示手段が存在する折れ線を選択
する点にある。
【0025】また、本発明の他の特徴は、上記データ入
力方法は、さらに、(f) 前記折れ線を構成する線分に対
応し、該線分の選択の可否を示すフラグを記憶するステ
ップを含み、前記ステップ(e)は、前記座標指示手段が
存在する線分に対応するフラグに基づいて、他の折れ線
の選択の可否を判定する点にある。
【0026】また、本発明の他の特徴は、上記データ入
力方法は、さらに、(g)頂点を共有する複数の折れ線
を、1つの折れ線にマージするステップを含む点にあ
る。
【0027】また、本発明の他の特徴は、上記データ入
力方法は、さらに、(h) 前記折れ線と前記座標指示手段
とを表示するステップを含む点にある。
【0028】また、本発明の他の特徴は、上記データ入
力方法は、さらに、(i) 前記ステップ(b)で入力される
入力座標に基づいて折れ線を編集するステップを含む点
にある。
【0029】また、本発明の他の特徴は、上記データ入
力方法は、さらに、(j)折れ線の形状をスムーズに修正
するステップを含む点にある。
【0030】また、本発明の他の特徴は、前記ステップ
(j)は、(j1)折れ線の頂点のうち、所定の角度α以下で
ある頂角を有する頂点を抽出するステップと、(j2)前記
抽出された頂点を、前記所定の角度α以上の頂角を持つ
2つ以上の頂点に分割するステップとを含む点にある。
【0031】また、本発明の他の特徴は、前記ステップ
(j)は、(i11)折れ線の頂点のうち、互いに隣り合い、そ
の間の距離が所定の距離dより近い2つの頂点を抽出す
るステップと、(i12)前記抽出された頂点を、1つの頂
点に併合するステップとを含む点にある。
【0032】また、本発明の他の特徴は、上記データ入
力方法は、さらに、(k)映像データの中の対象物または
画面の移動の軌跡に近似する形状の折れ線を生成するス
テップを含む点にある。
【0033】また、本発明の他の特徴は、映像データを
対話的に操作する方法であって、(l)入力された座標に
基づいて、1または複数の線分からなる折れ線および座
標指示手段を有する折れ線型スライダを用いて、前記折
れ線上を移動する前記座標指示手段の位置をスライドす
るステップと、(m)前記スライドされた座標指示手段の
位置に対応する画像フレームの映像データを提示するス
テップとを含むことを特徴とする映像データ操作方法を
提供する点にある。
【0034】また、本発明の他の特徴は、上記映像デー
タ操作方法は、さらに、(n)複数の線分からなる折れ線
を映像データ上に提示するステップを含む点にある。
【0035】また、本発明の他の特徴は、上記映像デー
タ操作方法は、さらに、(o)映像データの中の対象物ま
たは画面の移動の軌跡に近似する形状の折れ線を生成す
るステップを含む点にある。
【0036】また、本発明の他の特徴は、指示された座
標に対応するデータを入力するデータ入力装置であっ
て、(a)1又は複数の線分からなる折れ線と、該折れ線
上を移動する座標指示手段からなる折れ線型スライダを
定義する頂点の座標を記憶する座標記憶部と、(b)入力
された座標を記憶する座標入力部と、(c)前記入力され
た座標を前記折れ線上の点に写像して、該点の位置を前
記折れ線上を移動する座標指示手段の位置とする写像部
とを具備することを特徴とするデータ入力装置を提供す
る点にある。
【0037】また、本発明の他の特徴は、前記写像部
(c)は、前記折れ線を構成する各線分のうち、該線分の
両端の頂点を通り、頂角の二等分線または折れ線の両端
の頂点を通過する垂線である直線を生成し、前記入力さ
れた座標を挟み込む2つの前記直線を持ち、かつ前記入
力された座標に最も近い線分を選択し、前記選択された
線分に平行な線分と、前記2つの直線との2つの交点を
求め、この2つの交点と前記入力された座標との距離の
比を求め、求められた距離の比によって前記選択された
線分を内分する点の位置を前記座標指示手段の位置とす
る点にある。
【0038】また、本発明の他の特徴は、前記写像部
(c) は、(c21)前記折れ線を構成する各線分の両端の頂
点P1,P2を通過する垂線または前記折れ線の頂角の
二等分線である直線L1,L2を求める二等分線作成部
と、(c22)前記頂点P1、P2のそれぞれと、前記入力
された座標とが、線分上で対峙する前記直線L1、L2
のいずれか一方に対して同じ側にあるか否かを判別する
判別部と、(c23)前記線分のそれぞれと前記入力された
座標との距離を求める第1の距離計算部と、(c24)前記
判別部(c22)によりその両端の頂点P1,P2が対峙す
る前記直線L2,L1のいずれか一方に対して前記入力
された座標と同じ側にあると判定された線分のうち、前
記距離が最も小さい線分を選択する選択部と、(c25)
前記選択部(c24)により選択された線分L3と平行であ
って前記入力された座標を通過する線分L4を求める第
2の平行線作成部と、(c26) 前記平行線L4と、前記
線分L3の両端の頂点を通過する前記直線L1,L2と
の交点Q1、Q2をそれぞれ求める交点作成部と、(c2
7)前記交点作成部(c26)により求められた交点Q1、Q
2のそれぞれと前記入力された座標との距離D1,D2
をそれぞれ求める第2の距離計算部と、(c28)前記第2
の距離計算部(c27)により求められた距離の比D1:D
2によって前記選択された線分L3を内分する点の位置
を前記座標指示手段の位置とする内分部とを具備する点
にある。
【0039】また、本発明の他の特徴は、上記データ入
力装置は、さらに、(k)映像データの中の対象物または
画面の移動の軌跡に近似する形状の折れ線を生成するス
ライダ生成部を具備する点にある。
【0040】また、本発明の他の特徴は、映像データを
対話的に操作する装置であって、(l)座標を入力する入
力部と、(m)入力された座標に基づいて、折れ線上を移
動する座標指示手段の位置をスライドするスライド部
と、(n)前記スライドされた座標指示手段の位置に対応
する画像フレームの映像データを提示する映像提示部と
を具備することを特徴とする映像データ操作装置を提供
する点にある。
【0041】また、本発明の他の特徴は、上記映像デー
タ操作装置は、さらに、(o)映像データの中の対象物ま
たは画面の移動の軌跡に近似する形状の折れ線を生成す
るスライダ生成部を具備する点にある。
【0042】また、本発明の他の特徴は、指示された座
標に対応するデータを入力する処理をコンピュータに実
行させるプログラムを記録するコンピュータ読み取り可
能な記録媒体であって、(a)1又は複数の線分からなる
折れ線と、該折れ線上を移動する座標指示手段からなる
折れ線型スライダを定義する頂点の座標を記憶する処理
と、(b)入力された座標を記憶する処理と、(c)前記入力
された座標を前記折れ線上の点に写像して、該点の位置
を前記折れ線上を移動する座標指示手段の位置とする処
理とを含むことを特徴とするコンピュータ読み取り可能
な記録媒体を提供する点にある。
【0043】また、本発明の他の特徴は、前記処理(c)
は、前記折れ線を構成する各線分のうち、該線分の両端
の頂点を通り、頂角の二等分線または折れ線の両端の頂
点を通過する垂線である直線を生成し、前記入力された
座標を挟み込む2つの前記直線を持ち、かつ、前記入力
された座標に最も近い線分を選択し、前記選択された線
分に平行な線分と、前記2つの直線との2つの交点を求
め、この2つの交点と前記入力された座標との距離の比
を求め、求められた距離の比によって前記選択された線
分を内分する点の位置を前記座標指示手段の位置とする
点にある。
【0044】また、本発明の他の特徴は、前記処理(c)
は、(c21)前記折れ線を構成する各線分の両端の頂点P
1,P2を通過する垂線または前記折れ線の頂角の二等
分線である直線L1,L2を求める処理と、(c22)前記
頂点P1、P2のそれぞれと、前記入力された座標と
が、線分上で対峙する前記直線L1、L2のいずれか一
方に対して同じ側にあるか否かを判別する処理と、(c2
3)前記線分のそれぞれと前記入力された座標との距離を
求める処理と、(c24)前記処理(c22)によりその両端の頂
点P1,P2が対峙する前記直線L2,L1のいずれか
一方に対して前記入力された座標と同じ側にあると判定
された線分のうち、前記距離が最も小さい線分を選択す
る処理と、(c25) 前記ステップ(c24)により選択された
線分L3と平行であって前記入力された座標を通過する
線分L4を求める処理と、(c26) 前記平行線L4と、
前記線分L3の両端の頂点を通過する前記直線L1,L
2との交点Q1、Q2をそれぞれ求める処理と、(c27)
前記処理(c26)により求められた交点Q1、Q2のそれ
ぞれと前記入力された座標との距離D1,D2をそれぞ
れ求める処理と、(c28)前記処理(c27)により求められた
距離の比D1:D2によって前記選択された線分L3を
内分する点の位置を前記座標指示手段の位置とする処理
とを含む点にある。
【0045】また、本発明の他の特徴は、上記コンピュ
ータ読み取り可能な記録媒体は、さらに、(k)映像デー
タの中の対象物または画面の移動の軌跡に近似する形状
の折れ線を生成する処理を含む点にある。
【0046】また、本発明の他の特徴は、映像データを
対話的に操作する処理をコンピュータに実行させるプロ
グラムを記録するコンピュータ読み取り可能な記録媒体
であって、(l)入力された座標に基づいて、1または複
数の線分からなる折れ線および座標指示手段を有する折
れ線型スライダを用いて、前記折れ線上を移動する前記
座標指示手段の位置をスライドする処理と、(m)前記ス
ライドされた座標指示手段の位置に対応する画像フレー
ムの映像データを提示する処理とを含むことを特徴とす
るコンピュータ読み取り可能な記録媒体を提供する点に
ある。
【0047】また、本発明の他の特徴は、上記コンピュ
ータ読み取り可能な記録媒体は、さらに、(o)映像デー
タの中の対象物または画面の移動の軌跡に近似する形状
の折れ線を生成する処理を含む点にある。
【0048】
【発明の実施の形態】以下において、図面を用いて本発
明に係る折れ線型スライダを用いるGUI(Graphical
User Interface)であるデータ入力方法、データ入力装
置、およびデータ入力プログラムを格納する記録媒体、
ならびに映像データ操作方法、映像データ操作装置、お
よび映像データ操作プログラムを格納する記録媒体の実
施形態を詳細に説明する。
【0049】まず、本発明に係る折れ線型スライダの概
要を説明する。
【0050】図1は、本発明に係る折れ線型スライダの
外観の一例を示す。本発明に係る折れ線型スライダは、
頂点P1、P2、P3およびP4によって指定される折
れ線83と、この折れ線83上を移動するツマミ81か
ら構成される。この折れ線は、1つ以上の線分から構成
される。カーソル82は、座標入力手段から入力された
入力座標を表す。ユーザは、カーソル82を折れ線83
やツマミ81の上で移動することによって、ツマミ81
を移動することができる。尚、ツマミ81は、請求項に
おける座標指示手段に対応する。
【0051】この折れ線83は、映像データの時間的変
化や、カメラ移動あるいは映像中の動的オブジェクトの
軌跡などを近似して生成することができる。スライダは
折れ線で構成されるため、映像データ中のオブジェクト
の複雑な軌跡にも対応することができる。この折れ線型
スライダは、モニター画面などの画面上の映像データ上
に配置すれば、映像データなどの時空間メディアデータ
を操作するためのアンカーとして機能する。例えば、映
像データ中のボールの軌跡を近似した折れ線を映像デー
タ上に配置し、折れ線スライダの出力値を再生フレーム
番号(時間軸)に対応付ける。ユーザは、マウスなどの
ポインティングデバイスを用いてツマミをスライドする
ことにより設定されたツマミの座標に対応する任意のフ
レーム番号の画像を得ることができる。この折れ線型ス
ライダによる操作では時間と空間との対応がとれている
ので、ユーザは、あたかもボールをつかんで動かしてい
るかのように、映像を直観的かつ連続的に操作、再生す
ることができる。
【0052】また、この折れ線型スライダを操作する際
に、ユーザが折れ線83上の点を正確にトレースするの
は困難である。このため、本発明に係る折れ線型スライ
ダは、ある程度の許容範囲内の座標入力に対してツマミ
を追従させる。即ち、カーソル82が折れ線83やツマ
ミ81の直上からはずれた場合にも、ツマミ81の位置
が適切に決定されるように、ユーザの操作する入力座標
とツマミの位置の移動とを滑らかに対応させる。この入
力座標は、種々の手法で折れ線上に射影されることなど
により、折れ線上の点に写像される。
【0053】第1の実施形態 図1から図9を参照して、本発明に係る折れ線型スライ
ダを用いるGUIであるデータ入力方法、データ入力装
置、およびデータ入力プログラムを格納する記録媒体、
ならびに映像データ操作方法、映像データ操作装置、お
よび映像データ操作プログラムを格納する記録媒体の第
1の実施形態を説明する。第1の実施形態は、時間と空
間との両方を2次元の画面上に柔軟に対応付ける上記の
折れ線型スライダを用いて映像データなどの時空間メデ
ィアデータを対話的に操作、再生するものである。
【0054】図2は、第1の実施形態に係る折れ線型ス
ライダ装置の基本構成を示す。第1の実施形態は、座標
入力部1と、写像部2と、スライダ表示部3と、頂点座
標記憶部4とにより構成される。
【0055】座標入力部1は、マウスやタッチパネルな
どのポインティングデバイスに実装され、写像部2に対
して座標を入力するとともに、入力された座標を記憶す
る。写像部2は、座標入力部1からの入力座標を、図1
の折れ線スライダのツマミ81の位置に対応付ける。ス
ライダ表示部3は、ツマミ81と折れ線83から構成さ
れるスライダの形状をブラウン管や液晶パネルなどの表
示手段(図54A,Bに示す)に表示するとともに、写
像部2で対応付けされたツマミ81を折れ線83上に逐
次移動して表示する。なお、スライダの表示が不要の場
合には、スライダ表示部3を省略してもよい。頂点座標
記憶部4は、例えば半導体メモリや磁気ディスクなどの
記憶手段に、折れ線の各頂点のX、Y座標を順番に蓄積
している。この頂点の座標によりスライダの折れ線83
の形状が特定される。図3は、頂点座標記憶部4に格納
される頂点座標データの一例を示す。尚、ツマミ81の
現在の座標は、この頂点座標データとともに、あるいは
別に頂点座標記憶部4に記憶されてもよい。
【0056】図4は、第1の実施形態に係る折れ線スラ
イダ装置の概略の処理手順を示す。まず、頂点座標記憶
部4は、折れ線の頂点座標を蓄積する(S10)。座標
入力部1はユーザからの座標入力を受け付ける(S2
0)。写像部4は、入力された座標を折れ線上のツマミ
の位置に対応付ける(S30)。スライダ表示部3は、
折れ線83とツマミ81とを表示手段上に表示する(S
40)。S20からS40までの処理は、映像操作など
の一連の処理の終了まで繰り返し行われる(S70)。
【0057】次に、第1の実施形態に係る写像部2にお
ける処理詳細を説明する。図5は、第1の実施形態に係
る写像部2の詳細構成を示す。図6は、図5の写像部2
が行う処理の手順を示す。第1の実施形態に係る写像部
2は、垂線作成部21と、内分比測定部22と、距離測
定部23と、ツマミ位置選択部24とから構成され、座
標入力部1から入力された入力座標と、頂点座標蓄積部
4から取り出された頂点座標を用いてツマミ位置を設定
する。
【0058】図6に示すように、垂線作成部21は、入
力座標を通過し、かつ折れ線を構成する各線分に垂直に
交わる垂線を求める(S301)。すなわち、図7に示
すように、折れ線ABCDがあり、点Iが入力されたと
すると、線分AB,BC,CDまたはそれらの延長線に
対し、それぞれ、点Iから垂線を下ろして交点E,F,
Gを得る。以下、この垂線と折れ線を構成する線分のな
すこれらの交点を「垂線の足」と称する。尚、この垂線
の足は、請求項における接点に対応する。
【0059】内分比測定部22は、垂線の足E,F,G
による線分の内分比を求める(S302)。図7の折れ
線型スライダでは、それぞれ、AE:EB,BF:F
C,CG:GDの比を求め、内分比AE/(AE−E
B),BF/(BF+FC),CG/(CG+GD)を
計算する。これらで得られる内分比が、0以上1以下で
あれば、垂線の足は各線分上に存在している。図7で
は、垂線の足Eは線分AB上に存在しないことがわか
る。
【0060】距離測定部23は、垂線の足と入力座標の
間の距離を求める(S303)。図7の折れ線型スライ
ダでは、それぞれ、線分IE,IF,IGの長さを求め
る。
【0061】ツマミ位置選択部24は、各線分上に存在
する垂線の足のうち、入力座標に最も近い点を選択し
て、ツマミの位置として出力する(S304)。図7の
折れ線スライダでは、線分上に存在しない点Eを除い
て、点Iから点F,Gまでの距離をそれぞれ比較し、最
も距離の小さい点Gがツマミの位置として選択される。
【0062】図8は、上記の垂線の足の座標、内分比、
距離の計算方法を説明する。
【0063】3点A(x1,y1),B(x2,y
2),I(x3,y3)があり、点Iから線分ABに垂
線IQを下ろす。点Q(x4,y4)は垂線IQの足で
ある。ここで、点Qが線分ABをt:1−tに内分する
ものとすると、tは以下の式(1)で表される。
【0064】
【数1】 t=((x1−x2)(x1−x3)+(y1−y2)(y1−y3))/((x1− x22+(y1−y22) …(1) 尚、図8に示すように、ここにおけるtを、内分比とい
う。
【0065】ここで、0≦t≦1ならば、垂線の足は線
分AB上にあると判定される。
【0066】また、点Q(x4,y4)の座標は、この
内分比tを用いて、以下の式(2)で表される。
【0067】
【数2】 また、点Iと線分ABとの距離lは、
【数3】 l=|(y2−y1)(x1−x3)+(x1−x2)(y1−y3)|/√((x1 −x22+(y1−y22) …(3) 上記のように、写像部2は、入力座標が折れ線上にない
場合でも、折れ線スライダ上の入力座標に最も近い位置
にツマミを移動することができる。第1の実施形態は、
比較的簡易な構成で、入力座標とツマミの位置を対応づ
けることができる。
【0068】尚、上記の処理において垂線の足が得られ
ない場合には、入力座標に最も近い頂点をツマミの位置
に設定してもよい。図9は、折れ線ABCとこれに対す
る入力座標の一例を示す。入力座標が、図9の斜線部の
領域(a),(b),(c)に存在する場合、入力座標
点から線分AB,BCのどちらにも垂線を下ろすことが
できないためツマミの位置を決めることができない。こ
こで、例えば、入力座標が(b)の領域に存在する場合
には、頂点Bをツマミの位置にする。
【0069】第1の実施形態によれば、折れ線型スライ
ダを用いてパラメータ入力を行うので、映像データ中の
オブジェクトの複雑な軌跡に適合するスライダにより、
オブジェクトを時間的連続性を損なわずに直観的に操
作、再生することができる。また、写像部2が入力座標
をツマミの位置に適切に対応付けるので、入力座標が折
れ線上にない場合でも、入力座標に近い位置にツマミを
移動することができる。
【0070】第2の実施形態 図10から図17を参照して、本発明に係る折れ線型ス
ライダを用いるGUIであるデータ入力方法、データ入
力装置、およびデータ入力プログラムを格納する記録媒
体、ならびに映像データ操作方法、映像データ操作装
置、および映像データ操作プログラムを格納する記録媒
体の第2の実施形態を説明する。第2の実施形態は、折
れ線の頂点近傍での入力座標の移動とツマミの位置の移
動との対応の連続性を向上させたものである。第2の実
施形態は、折れ線型スライダ中の図5に示す写像部2
を、図11の写像部2で置き換えた点において第1の実
施形態の修正である。
【0071】第1の実施形態では、頂点付近で、入力座
標の移動に対応するツマミの移動が不連続になる。図9
に示すように、折れ線ABCに対して、入力座標が点E
から点Fへ連続的に移動したとする。このとき、ツマミ
の位置は点Gから点Hへ移動するが、入力座標が斜線領
域(b)の内部にある間、ツマミは頂点Bの位置に停滞
する。従って、入力座標の点Eから点Fへの連続的な移
動に対して、ツマミは区間GBで連続的に移動し、頂点
Bでしばらく停滞し、区間BHで連続的に移動する、と
いう不連続な移動をする。
【0072】一方、図10に示すように、入力座標が点
Eから点Fへ連続的に移動したとすると、ツマミの位置
は、点Gから点Hへ移動する。しかし、入力座標が、頂
角ABCの二等分線m上の点Mを通過するとき、ツマミ
の位置は、点Lから点Nへジャンプする。したがって、
入力座標の点Eから点Fへの連続的な移動に対して、ツ
マミは、区間GLで連続的に移動し、点Lから点Nの区
間はジャンプして、区間NHで連続的に移動する、とい
う不連続な移動をする。
【0073】第2の実施形態は、図11の写像部2によ
り、この写像の不連続性を解決する。
【0074】次に、第2の実施形態に係る写像部2の処
理詳細を説明する。図11は、第1の実施形態に係る写
像部2の詳細構成を示す。図12は、図11の写像部2
が行う処理の手順を示す。第2の実施形態に係る写像部
2は、二等分線作成部201と、判別部202と、第1
の距離測定部203と、選択部204と、第2の距離測
定部205と、内分部206とから構成され、座標入力
部1から入力された入力座標と、頂点座標蓄積部4から
取り出された頂点座標を用いてツマミ位置を設定する。
【0075】二等分線作成部201は、折れ線の各頂点
について、頂角の二等分線を求める。但し、折れ線全体
の両端の頂点(以下、端点と称する)については、線分
に対する垂線を求める(図12のS3001)。図13
に示すように、折れ線ABCDに関して、端点A,Dに
対して、垂線k,nを求め、その他の頂点B,Cに対し
て、頂角の二等分線l,mを求める。
【0076】判別部202は、折れ線を構成する各線分
に関して、両端の頂点と入力座標とが、この頂点と対峙
する垂線または二等分線に対して同じ側にあるかどうか
を判別する。図13に示すように、線分CDに関して、
頂点Cは垂線nと対峙する。頂点Cと入力座標Iは、垂
線nに対して同じ側にある。同様に、頂点Dと入力座標
Iは、頂点Dと対峙する二等分線mに対して同じ側にあ
る。従って、入力座標Iは、直線m,nによって挟み込
まれることがわかる。一方、線分BCについては、頂点
Cと入力座標Iは、対峙する二等分線lに対して同じ側
にあるが、頂点Bは、対峙する二等分線mに対して、入
力座標Iの反対側にある。したがって、入力座標Iは、
直線l,mによって挟み込まれない。
【0077】上記のように、線分の両端の頂点が、それ
ぞれ対峙する直線に対して入力座標と 同じ側にあるか
どうかを判別することにより、入力座標がその両端の直
線によって挟み込まれるかどうかがわかる(S300
2)。
【0078】第1の距離測定部203は、折れ線を構成
する各線分について、第1の実施形態の距離測定部23
と同様の処理により入力座標との距離を求める(S30
03)。 選択部204は、判別部202と第1の距離
測定部203での結果を用いて、両端の二等分線または
垂線によって入力座標が挟み込まれている線分のうち、
最も入力座標に近い線分を選択する(S3004)。図
13の例では、入力座標Iを挟み込んでいるのは、線分
CDの両端の直線mとnとの一通りであり、最小距離の
ものを選ぶまでもないが、一般には、複数の線分の両端
の直線が入力座標を挟み込むことがありうる。
【0079】第2の距離測定部205は、選択部204
で選択された線分について、その線分の両端の頂点にお
ける前記垂線または二等分線と、入力座標との距離を求
める(S3005)。図13では、入力座標Iと直線m
との距離IEと、入力座標Iと直線nとの距離IFとを
求める。
【0080】内分部206は、第2の距離測定部205
で求められた距離の比を用いて、選択部204により選
択された線分を内分する点を求めてツマミの位置とする
(S3006)。図13では、線分CDをv:wに内分
する点Qをツマミの位置とする。
【0081】図14、図15は、ある直線に対して2点
が同じ側にあるか否かの判別方法を説明する。垂線や二
等分線など、ある直線に対して2点が同じ側にあるかど
うかの判別は、以下のように計算する。
【0082】図14において、点P(x1,y1),Q
(x2,y2),R(x3,y3)がある場合、点Pを
通り、線分PQに垂直な垂線lは、以下の式(4)で表
される:
【数4】 一方、角Qの二等分線mは、以下の式(5)で表され
る:
【数5】 ここで、θは、
【数6】 θ=(π−(r1−r2))/2+r1 …(6) r1=atan2(y2−y1,x2−x1) r2=atan2(y3−y2,x3−x2) 但し、関数atan2(y,x)は、以下の式(7)で得ら
れる:
【数7】 次に、図15に示すように、点P(x1,y2),Q
(x2,y2)を通る直線PQがあるとき、点I(x
3,y3)と、点J(x4,y4)が同じ側にあるかど
うかは、次のように判別する。ここで、判別関数d
(x,y)を、以下の式(8)のように定義する:
【数8】 d(x,y)=(y2−y1)(x1−x)+(x1−x2)(y1−y) …(8) そして、D=d(x3,y3)d(x4,y4)>0なら
ば、点I,Jは直線PQに対して同じ側にあり、D=0
ならば、点I,Jの少なくとも一方が直線PQ上にあ
り、D<0ならば、点I,Jは直線PQに対して反対側
にあると判別される。
【0083】第2の実施形態の写像部2は、入力座標が
折れ線上にない場合でも、入力座標に近い位置(但し最
近点とは限らない位置)にツマミを移動する。また、頂
点近傍において、入力座標の移動に対応するツマミの移
動を連続的にする。
【0084】図16A、図16Bは、第1の実施形態に
おける図9と図10と同じ状況を、第2の実施形態に係
る写像部2が処理した場合の動作を示す。
【0085】図16Aにおいて、折れ線ABCに対し、
入力座標が点Eから点Fへ連続的に移動したとする。こ
のとき、ツマミは、点Gから点Hへ連続的に移動する。
ここで、点Eと直線l,mとの距離の比をv:wとする
と、点Gは線分ABをv,wに内分する位置となる。同
様に、点Hは、線分BCをs、tに内分する位置とな
る。このように、第1の実施形態におけるような停滞は
生じない。
【0086】図16Bにおいても、入力座標が点Eから
点Fへ連続的に移動すると、ツマミは、点Gから点H
へ、ジャンプすることなく連続的に移動することがわか
る。
【0087】尚、第2の実施形態でも、ツマミの位置を
決められない場合がある。例えば、図16A、図16B
で、直線lよりも左の領域や直線nよりも右の領域に入
力座標Iがある場合には、入力座標Iを挟み込む線分が
存在しないため、ツマミの位置を決められない。
【0088】この場合には、第1の実施形態と同様、入
力座標に最も近い頂点をツマミの位置にしてもよい。例
えば、直線nよりも右の領域に入力座標Iが存在する場
合、頂点Cをツマミの位置にする。
【0089】一方、入力座標と折れ線との間の距離が非
常に離れている際には、ツマミを操作しないようにする
ことが望ましい場合がある。例えば、図17Aのような
折れ線から距離d以内の領域に、入力座標が存在しない
場合には、処理を行わない。このためには、第1の実施
形態のツマミ位置選択部24または第2の実施形態の選
択部204が、最小距離が所定の大きさdを上回る場合
に処理を中止するように構成されればよい。
【0090】あるいは、図17Bのように、折れ線の外
接長方形R1を距離dだけ上下左右に拡大した長方形領
域R2を設け、このR2の範囲内では入力に反応してツ
マミの移動を行うと定めてもよい。このためには、あら
かじめ頂点のx,y座標の最大値最小値を求めておき、
入力座標とこれらの値を比較すればよい。
【0091】第2の実施形態によれば、写像部2が入力
座標をツマミの位置に連続的に対応付けるので、入力座
標が折れ線スライダの頂点近傍にある場合でも、連続的
にツマミを移動して自然で滑らかな再生結果を得ること
ができる。
【0092】第3の実施形態 図18から図22を参照して、本発明に係る折れ線型ス
ライダを用いるGUIであるデータ入力方法、データ入
力装置、およびデータ入力プログラムを格納する記録媒
体、ならびに映像データ操作方法、映像データ操作装
置、および映像データ操作プログラムを格納する記録媒
体の第3の実施形態を説明する。第3の実施形態は、第
2の実施形態に加え、入力座標が折れ線に近い場合の、
入力座標の移動とツマミの位置の移動との対応を向上さ
せたものである。第3の実施形態は、折れ線型スライダ
中の図11に示す写像部2を、図18の写像部2で置き
換えた点において第2の実施形態の修正である。
【0093】第2の実施形態では、入力座標が折れ線に
近い場合に、入力座標の移動に対応するツマミの移動が
不自然になる。図22に示すように、折れ線ABCに対
して、入力座標Iが線分BC上にあるとする。また、直
線lは頂角Bの二等分線であり、直線mは頂点Cにおけ
る線分BCの垂線である。このとき、第2の実施形態に
係る写像部2において、入力座標Iと直線lとの距離は
IP、入力座標と直線mとの距離はICになる。距離I
PはIBよりも小さいので、ツマミの位置は入力座標I
よりも頂点Bに近い点Q2になって、入力座標とツマミ
との対応がよくない。
【0094】第3の実施形態は、図18の写像部2によ
り、この写像の不自然さを解決する。
【0095】次に、第3の実施形態に係る写像部2の処
理詳細を説明する。図18は、第3の実施形態に係る写
像部2の詳細構成を示す。図19は、図18の写像部2
が行う処理の手順を示す。第3の実施形態に係る写像部
2は、図11の第2の実施形態に係る写像部2の構成に
加え、さらに、平行線作成部207と、交点作成部20
8と、第2の距離測定部209と、内分部210とから
構成される。ここで、図18の二等分線作成部201、
判別部202、第1の距離測定部203(図11では距
離測定部)、選択部204での処理は、図12に示す第
2の実施形態の写像部2での処理と同様である。
【0096】平行線作成部207は、選択部204で選
択された線分に平行で、かつ入力座標を通る平行線を求
める(図19のS3007)。図20では、入力座標I
を通り、かつ線分CDに平行な直線pが求められる。
【0097】交点作成部208は、平行線作成部207
で求められた線分と、選択部204で選択された線分の
両端の頂点における垂線または二等分線との交点を求め
る(S3008)。図20では、頂点Cの二等分線mと
平行線pとの交点Eと、垂線nと平行線pとの交点Fと
が求められる。
【0098】第2の距離測定部209は、交点作成部2
08で求められた交点と、入力座標との距離を求める
(S3009)。図21では、入力座標Iと交点Eとの
距離IEと、入力座標Iと交点Fとの距離IFとが求め
られる。
【0099】内分部210は、第2の距離測定部209
で求められた距離の比を用いて、選択部204で選択さ
れた線分を内分する点を求めてツマミの位置とする(S
3010)。図21では、線分CDをv:wに内分する
点Qがツマミの位置とされる。
【0100】次に、平行線の求め方、2本の直線の交点
の求め方、2点間の距離の求め方を、図21A、図21
Bを用いて説明する。
【0101】図21Aに示すように、P(x1,y
1)、Q(x2,y2)があるとき、点I(x3,y
3)を通り、線分PQに平行な直線lは以下の式(9)
で表される:
【数9】 次に、図21Bに示すように、直線l,mがあるとき、
交点P(x1,y1)は、次の式(10)で計算され
る:
【数10】 但し、直線l:
【数11】 直線m:
【数12】 最後に、2点P(x1,y1)、Q(x2,y2)の間の距
離dは、以下の式(13)で得られる: d=√((x1−x22+(y1−y22) …(13) 第3の実施形態の図18の写像部2は、第2の実施形態
と同様に、入力座標が折れ線上にない場合でも、適切に
ツマミを移動することができるとともに、頂点付近で入
力座標の移動に対応するツマミの移動が連続的となる。
また、第2の実施形態に加えて、入力座標が折れ線に近
いときに、入力座標とツマミの対応がよい。例えば、図
22において、上記のように折れ線ABCに対し、入力
座標Iが線分BC上にあるとする。第3の実施形態の写
像部2において、入力座標Iを通り線分BCに平行な平
行線は、線分BCに重なるので、平行線と直線l,mと
の交点はそれぞれ、点B,Cになる。したがって、ツマ
ミの位置Q1は、入力座標Iと同じになる。
【0102】第4の実施形態 図23から図25を参照して、本発明に係る折れ線型ス
ライダを用いるGUIであるデータ入力方法、データ入
力装置、およびデータ入力プログラムを格納する記録媒
体、ならびに映像データ操作方法、映像データ操作装
置、および映像データ操作プログラムを格納する記録媒
体の第4の実施形態を説明する。第4の実施形態は、設
定されたツマミの位置に対応するデータを出力するもの
である。
【0103】図23は、第4の実施形態の概略構成を示
す。第4の実施形態は、図2の構成に、さらに図23の
出力部5を具備する点において第1の実施形態の修正で
ある。尚、図23の座標入力部1、写像部2、スライダ
表示部3、頂点座標記憶部4は、図2の第1の実施形態
の各部と同様である。第4の実施形態に係る出力部5
は、ツマミの位置に基づく折れ線の内分比を、ツマミに
対応する値として出力する。
【0104】次に、第4の実施形態に係る出力部5の処
理詳細を説明する。図24は、第4の実施形態に係る折
れ線型スライダの処理の手順を示し、図4の第1の実施
形態の手順と比較して、出力部5が行うステップS5
0、S60が追加されている。ステップS10からS4
0までの処理は第1の実施形態の処理と同様である。
【0105】折れ線とツマミが表示されると(S4
0)、出力部5は、ツマミの位置による折れ線の内分比
を計算し(S50)、計算された内分比を出力する(S
60)。例えば、図25に示すように折れ線ABCDが
あり、線分AB,BCの長さは、それぞれ、l1,l2
であるとする。また、ツマミは点Gに位置し、CG,G
Dの長さは、それぞれ、l3,l4であるとする。この
とき、折れ線ABCDの全長は(l1+l2+l3+l
4)であり、点Aからツマミまでの長さは(l1+l2
+l3)であるので、内分比は、以下の式(14)によ
り得られる: r=(l1+l2+l3)/(l1+l2+l3+l4) …(14) 第4の実施 形態によれば、出力部5が、ツマミの位置に応じて、折
れ線全体で均一な間隔で値を出力する。この出力部5
は、内分比を出力してもよく、計算された内分比に基づ
いて、さらに、例えばツマミの位置に対応するフレーム
番号の映像データを出力してもよい。尚、この内分比
は、適当な値をかけて用いられてもよい。たとえば、1
00をかけて、パーセントとともに表すようにしてもよ
い。
【0106】第5の実施形態 図26から図29を参照して、本発明に係る折れ線型ス
ライダを用いるGUIであるデータ入力方法、データ入
力装置、およびデータ入力プログラムを格納する記録媒
体、ならびに映像データ操作方法、映像データ操作装
置、および映像データ操作プログラムを格納する記録媒
体の第5の実施形態を説明する。第5の実施形態は、折
れ線を構成する線分ごとに異なるスケールで出力値を設
定するものである。第5の実施形態は、図23の出力部
5を、図26の内分値出力部51および頂点値記憶部5
2からなる出力部5により構成した点において第4の実
施形態の修正である。尚、座標入力部1、写像部2、ス
ライダ表示部3、頂点座標記憶部4は、図2の第1の実
施形態の各部と同様である。
【0107】次に、第5の実施形態に係る出力部5の処
理詳細を説明する。図26は、第5の実施形態に係る装
置の概略構成を示す。図28は、図26の出力部5が行
う処理の手順を示す。
【0108】頂点値記憶部52は、半導体メモリや、磁
気ディスクなどの記憶手段に、各頂点に対応する頂点値
を蓄積する(図28のS11)。尚、これらの頂点値
は、図28に示すように、図3の第1の実施形態の頂点
座標記憶部4中の頂点座標データに付加されてもよい。
ステップS20およびステップS30は、上記の実施形
態と同様である。
【0109】折れ線とツマミが表示されると(S4
0)、内分値出力部51は、折れ線を構成する線分の両
端に対応する頂点値を、ツマミの位置で内分した値を出
力する。例えば、図29に示すように、線分AB上にツ
マミTが存在していて、Tが線分ABをAT:TB=
s:tの比で内分するとする。また、頂点A,Bには、
それぞれ、頂点値a,bが対応するとする。このとき、
内分値出力部51の出力Oは、以下の式(15)で得ら
れる: O=(ta+sb)/(t+s) …(15) 第5の実施形態によれば、出力部5は、折れ線を構成す
る線分ごとに、異なるスケールで出力値を設定すること
ができる。また、折れ線の頂点付近においても連続的に
値を出力することができる。
【0110】第6の実施形態 図30から図33を参照して、本発明に係る折れ線型ス
ライダを用いるGUIであるデータ入力方法、データ入
力装置、およびデータ入力プログラムを格納する記録媒
体、ならびに映像データ操作方法、映像データ操作装
置、および映像データ操作プログラムを格納する記録媒
体の第6の実施形態を説明する。第6の実施形態は、複
数の折れ線スライダが存在する場合に、ある折れ線スラ
イダのみを入力対象インターフェースとして有効にする
ものである。第6の実施形態は、図3の第1の実施形態
の構成に、さらに図30の折れ線選択部6を具備する点
において第1の実施形態の修正である。
【0111】2つ以上の折れ線が存在する場合について
考える。図32A、図32Bに示すように、2つの折れ
線ABCと、DEFが存在するとき、入力座標Iに対し
て、それぞれ個別にツマミを移動する場合と、どれか一
つの折れ線のみを有効にしてツマミを移動する場合とが
ある。前者の個別にツマミを移動する場合は、単に上記
の実施形態を複数用いればよいので、問題はない。一方
後者の一つの折れ線のみを有効にする場合には、折れ線
を選択する必要がある。第6の実施形態は、この折れ線
を選択する機能を提供する。
【0112】次に、第6の実施形態に係る折れ線型スラ
イダ装置の処理手順を説明する。図30は、第6の実施
形態に係る装置の概略構成を示す。図31は、図30の
装置が行う処理の手順を示す。尚、座標入力部1、写像
部2、スライダ表示部3、頂点座標蓄積部4は、図2の
第1の実施形態と同様である。また、第6の実施形態に
係る折れ線選択部6は、上記の各実施形態と適宜組み合
わせて構成されてもよい。
【0113】頂点座標記憶部4から得られる頂点座標デ
ータには、図3に示すように折れ線番号の情報があるた
め(S12)、複数の折れ線を識別することができる。
ある折れ線番号の頂点座標データのみを選択して写像部
2に渡せば、入力座標に対応する折れ線を限定すること
ができる。
【0114】座標入力部1から座標が入力されると(S
20)、折れ線選択部6は、この入力座標に基づいて複
数の折れ線のうち1つの折れ線を選択する(S24)。
ステップS30以降の処理は上記の実施形態と同様であ
る。この選択の手法として、第1に、入力座標Iに最も
近い線分を持つ折れ線を選択することができる。図32
Aでは、線分EFより線分BCの方が入力座標Iに近い
ので、折れ線ABCが選択される。尚、点と線分の距離
は、上記の距離測定部23,第1の距離測定部203を
用いて計測できる。
【0115】第2に、現在のツマミの位置が入力座標に
最も近いツマミを有する折れ線を選択することができ
る。図32Bでは、ツマミPよりツマミQの方が入力座
標Iに近いので、折れ線DEFが選択される。
【0116】次に、複数の折れ線が近接していたり、交
差している場合には、選択中の折れ線が途中で切り替わ
る可能性がある。図33に示すように、折れ線ABCD
EとEFGHが点Oで交差しているとする。ここでは、
簡単のために、一例として、第1の実施形態の写像部4
が、入力座標に最も近い点を用いてツマミの位置を決定
し、第4の実施形態の折れ線選択部6が、最も近いツマ
ミを持つ折れ線を選択する場合で考えるが、上記の他の
実施形態の組み合わせにも第6の実施形態を適用するこ
とができる。
【0117】今、入力座標が点Sから点Tへ移動したと
する。折れ線EFGHだけが選択されていれば、ツマミ
は、点Pから点Qへ連続して移動する。一方、途中の交
点Oで、折れ線ABCDに選択を切り替えた場合には、
ツマミは、P→O→Rの軌跡で移動する。
【0118】第6の実施形態によれば、折れ線選択部6
が、複数の折れ線型スライダが存在する場合に、1つの
折れ線型スライダのみを有効にすることができる。この
ため、映像データなどの中から所望するオブジェクトの
みを操作対象に選択することができる。
【0119】第7の実施形態 図34から図36を参照して、本発明に係る折れ線型ス
ライダを用いるGUIであるデータ入力方法、データ入
力装置、およびデータ入力プログラムを格納する記録媒
体、ならびに映像データ操作方法、映像データ操作装
置、および映像データ操作プログラムを格納する記録媒
体の第7の実施形態を説明する。第7の実施形態は、複
数の折れ線スライダが存在する場合の上記の折れ線の選
択の可否を制御するものである。第7の実施形態は、図
30の第6の実施形態の構成に、さらに図34のフラグ
記憶部7を具備する点において第6の実施形態の修正で
ある。
【0120】ツマミの移動中に折れ線の選択を切り替え
可能にすべきかどうかは、用途に応じて決まるので、柔
軟に切り替えを制御できることが望ましい。第7の実施
形態に係る折れ線選択部6は、折れ線を構成する線分ご
とにフラグ記憶部7に格納されるフラグを用いて切り替
え可能かどうかを制御する。
【0121】次に、第7の実施形態に係る折れ線型スラ
イダを用いた折れ線スライダの切り替え制御の処理手順
を説明する。図34は、第7の実施形態に係る装置の概
略構成を示す。図35は、図34の装置が行う処理の手
順を示す。尚、座標入力部1、写像部2、スライダ表示
部3、頂点座標記憶部4は、図2の第1の実施形態と同
様であり、折れ線選択部6は、図30の第6の実施形態
と同様である。
【0122】フラグ記憶部7は、半導体メモリや、磁気
ディスクなどの記憶手段に、各線分に対応する切り替え
フラグを蓄積する(図35のS13)。尚、この切り替
えフラグは、図36に示すように、図3の頂点座標記憶
部4中の頂点座標データに付加されてもよい。図36で
は、頂点番号Nの行に、頂点(N−1)とNを両端とす
る線分の切り替えフラグを蓄積している。また、折れ線
の選択切り替え可能な場合は「可」、禁止の場合は
「否」というフラグの値を蓄積しているが、0,1など
の数字を用いて切り替え可否を示してもよい。
【0123】折れ線選択部6は、現在選択中の折れ線が
ある場合(S21Y)、現在ツマミが存在する線分のフ
ラグをフラグ記憶部7を検索して判定し(S22)、フ
ラグ切り替え可の値の場合には(S22Y)、上記の第
6の実施形態のS24での処理により、他の折れ線を選
択することができる(S24)。一方、線分のフラグが
切り替え禁止の値の場合には(S22N)、他の折れ線
を選択せずにステップS30に進む。他方、現在選択中
の折れ線がない場合には(S21N)、ステップS24
に進む。ステップS30以降の処理は第6の実施形態と
同様である。
【0124】第7の実施形態によれば、折れ線選択部6
が、フラグ記憶部7に格納された切り替えフラグを参照
して、折れ線の切り替えを制御する。このため、用途に
応じてツマミの移動中に他の折れ線へ切り替えることが
できるか否かを、折れ線スライダを構成する線分ごとに
柔軟に制御することができる。
【0125】第8の実施形態 図37、図38を参照して、本発明に係る折れ線型スラ
イダを用いるGUIであるデータ入力方法、データ入力
装置、およびデータ入力プログラムを格納する記録媒
体、ならびに映像データ操作方法、映像データ操作装
置、および映像データ操作プログラムを格納する記録媒
体の第8の実施形態を説明する。第8の実施形態は、複
数の折れ線スライダが存在する場合に複数の折れ線を1
つの折れ線に併合するものである。第8の実施形態の構
成は、図30の第6の実施形態の構成と同様である。
【0126】次に、第8の実施形態に係る折れ線型スラ
イダを用いた折れ線スライダの併合の処理手順を説明す
る。図38は、第8の実施形態に係る図30の装置が行
う処理の手順を示す。尚、座標入力部1、写像部2、ス
ライダ表示部3、頂点座標記憶部4は、図2の第1の実
施形態と同様である。
【0127】図37に示すように、折れ線ABCDと折
れ線EFBがあり、これらが頂点Bを共有している場合
を考える。ここで、第8の実施形態に係る折れ線選択部
6は、入力座標Pに対して、頂点Bを含む線分FBまた
は線分BC上にツマミを位置づける場合、まず、折れ線
ABCDと折れ線EFBの2つの折れ線を選択する(図
38のS25)。この選択された2つの折れ線を1つの
折れ線EBCDとみなして併合する(S26)。ステ
ップS13〜S22までの処理およびステップS30以
降の処理は第6、第7の実施形態と同様である。
【0128】第8の実施形態によれば、1つの折れ線を
選択する上記の第6、第7の実施形態と比較して、線分
FBと線分BCとの間において、入力座標とツマミの位
置の対応付けが、より滑らかになる。即ち、複数の折れ
線が存在し、かつこれら複数の折れ線が頂点を共有する
場合に、これら複数の折れ線を1つの折れ線とみなすの
で、共有頂点を含む線分上でのツマミの移動がより滑ら
かになる。
【0129】第9の実施形態 図39から図41を参照して、本発明に係る折れ線型ス
ライダを用いるGUIであるデータ入力方法、データ入
力装置、およびデータ入力プログラムを格納する記録媒
体、ならびに映像データ操作方法、映像データ操作装
置、および映像データ操作プログラムを格納する記録媒
体の第9の実施形態を説明する。第9の実施形態は、折
れ線スライダを編集するものである。第9の実施形態
は、図2の第1の実施形態の構成に加え、さらに図39
の編集部8を具備する。
【0130】次に、第9の実施形態に係る折れ線型スラ
イダを用いた折れ線スライダの編集の処理手順を説明す
る。図39は、第9の実施形態に係る折れ線型スライダ
装置の概略構成を示す。図40は、図39の装置が行う
処理の手順を示す。尚、座標入力部1、写像部2、スラ
イダ表示部3、頂点座標記憶部4は、図2の第1の実施
形態と同様である。尚、スライダ表示部3は第9の実施
形態では必須の構成要素となる。また、第9の実施形態
は、上記の各実施形態と適宜組み合わせて実施すること
ができる。ステップS10の処理は上記の実施形態と同
様である。
【0131】編集部8は、編集の指示がユーザから入力
された場合(S15Y)、座標入力部1からの入力を用
いて、頂点座標を移動したり、頂点値を変更したり、頂
点を追加/削除したりすることで、頂点座標記憶部4の
内容を変更する(S16)。この編集部8が行う編集に
は、CADやドロウツールなどの公知技術を用いること
ができる。ステップS30以降の処理は上記の実施形態
と同様である。
【0132】図41は、第9の実施形態による編集の表
示例を示す。頂点に対応して、ハンドル461と、頂点
値462が表示されている。このハンドル461をカー
ソル463によって移動することにより、頂点座標を任
意に決めることができる。また、頂点間を結ぶ線分は、
1本線と2重線によって、選択切り替えのフラグの値を
示す。ユーザはボタン群464によって、スライダを試
験動作したり、頂点を追加/削除したり、頂点値やフラ
グを変更したりするなどの編集をすることができる。両
端の頂点が頂点値をもつ線分の途中に新しい頂点を追加
する場合には、その新しい頂点の値の初期値として、そ
の両端の頂点値の中間の値を自動的に付与するのが好適
である。
【0133】第9の実施形態によれば、編集部8が、座
標入力部1からの入力を用いて頂点座標や頂点値などを
任意に編集することができる。このため、所望するオブ
ジェクトの操作に応じて適切な折れ線スライダを作成、
修正することができる。
【0134】第10の実施形態 図42から図48を参照して、本発明に係る折れ線型ス
ライダを用いるGUIであるデータ入力方法、データ入
力装置、およびデータ入力プログラムを格納する記録媒
体、ならびに映像データ操作方法、映像データ操作装
置、および映像データ操作プログラムを格納する記録媒
体の第10の実施形態を説明する。第10の実施形態
は、折れ線型スライダを自動生成および自動修正するも
のである。第9の実施形態は、図39の第9の実施形態
の編集部8を、図43の折れ線生成部801および折れ
線修正部802を含む編集部8に置き換えた点において
第9の実施形態の修正である。尚、この折れ線生成部8
01および折れ線修正部802は、それぞれ編集部8の
外部に独立して構成されてもよい。その際には、第10
の実施形態は編集部8を含まず構成することができる。
【0135】例えば、映像中の被写体の移動軌跡や、カ
メラ操作による画面の移動軌跡を近似した折れ線型スラ
イダを生成し、この折れ線型スライダを操作すれば、被
写体や画面の移動に対応した映像再生を制御することが
できる。第10の実施形態は、被写体などの軌跡を折れ
線へ射影することで、折れ線を自動的に生成する。
【0136】次に、第10の実施形態に係る折れ線型ス
ライダを用いた折れ線スライダの生成の処理手順を説明
する。図43は、第10の実施形態に係る装置の概略構
成を示す。
【0137】折れ線生成部801は、被写体や画面の移
動を解析して、自動的に折れ線を生成する。例えば、図
42に示すように、坂道をボールが1〜7へ転がる映像
があるとする。このとき、ボールの動きを調べて、折れ
線1〜7を生成すればよい。被写体の動き抽出には、ブ
ロックマッチング法や、オプティカルフロー法などの公
知技術を用いることができる。折れ線生成部801は、
被写体やカメラの動きに対応した折れ線を自動的に作り
出すので、折れ線作成の手間を軽減することができる。
【0138】尚、折れ線生成部801によって自動生成
された折れ線は、ジグザグになるなど複雑な形状になる
場合がある。折れ線修正部802は、これら自動的にあ
るいは人手で生成された折れ線の形状を滑らかにする。
図44Aは、頂角Cが鋭角である折れ線ABCDを示
す。上記の実施形態では、折れ線に鋭角な頂点が存在す
ると、入力座標とツマミの対応付けが滑らかにならない
場合がある。第10の実施形態に係る折れ線修正部80
2は、図44Bに示すようにこの鋭角な頂点Cを頂点C
1,C2に分割する。このとき、頂角C1,C2は鋭角
とならないように設定される。
【0139】図45は、折れ線修正部802の頂角分割
による折れ線形状スムージング処理の手順を示す。図4
6Aにおいて、角度αより小さい角度を鋭角とする。折
れ線修正部802は、折れ線の各頂点を調べて、頂角が
αより小さい頂点aを抽出する(図45のS821)。
図46Aでは、頂点Cが見つかったとする。頂点Cを通
り頂角Cの2等分線mに垂直である直線lを考える。頂
点Cから一定距離d離れた直線l上の2点C1,C2を
求める。頂点Cを、頂点C1,C2に分割する(S82
2)。距離dが小さければ、頂角C1,C2は鋭角でな
くなる。以上の分割処理を、鋭角の頂点がなくなるまで
繰り返す。上記のスムージング処理によれば、鋭角な頂
点がなくなるので入力座標とツマミの移動の対応が連続
的になり、操作性が向上する。
【0140】図47は、折れ線修正部802の距離の近
い隣り合う頂点を1つにまとめることによる他の折れ線
形状スムージング処理の手順を示す。例えば、図48A
の線分ABCDEFのように、頂点D,Eが接近してい
るとき、折れ線修正部802はこれら2頂点をまとめて
頂点C’とする。
【0141】折れ線修正部802は、各折れ線に対しあ
る距離dより小さい隣り合う頂点a,bを探す(図47
のS824)。aまたはbが折れ線の端点の場合(S8
25Y、S827Y)、端点でない方の頂点を削除する
(S826、S828)。a,bいずれも端点でない場
合は(S827N)、aの位置をa,bの中点に移動し
てaの値をa,bの値の平均にし、bを削除する(S8
29)。以上の処理を、ある距離dより小さい隣合う頂
点が見つからなくなるまで繰り返す(S824N)。
尚、上記の処理では、折れ線の端点を移動せずに端点の
位置と値を保持するようにしているが、端点にも他の頂
点と同じ処理をしてもよい。また、まとめた頂点の位置
と値とを、aまたはbの位置と値はそのままにして、単
にもう一方の頂点を削除するようにしてもよい。上記の
スムージング処理によれば、折れ線が滑らかになって操
作性が向上するとともに、頂点数が削減されるのでデー
タ量および計算量が低減し、より高速なスライド処理が
可能となる。第10の実施形態のその他の処理は上記の
実施形態と同様である。
【0142】第10の実施形態によれば、折れ線生成部
801が、映像中の被写体や画像全体の移動の軌跡を近
似した形状の折れ線スライダを生成する。このため、被
写体やカメラの動きに対応した折れ線スライダを自動的
に設定することで折れ線編集の手間を軽減することがで
きる。また、折れ線修正部802が、折れ線スライダの
形状を滑らかにするので、ツマミの移動が滑らかになっ
て操作性が向上する。特に、自動的に折れ線スライダを
生成することで折れ線がジグザグの複雑な形状となった
ときに操作性向上の効果が得られる。
【0143】次に、図49から図53を参照して、本発
明に係る折れ線型スライダを用いるGUIであるデータ
入力方法、データ入力装置、およびデータ入力プログラ
ムを格納する記録媒体、ならびに映像データ操作方法、
映像データ操作装置、および映像データ操作プログラム
を格納する記録媒体による具体的な対話的映像データ操
作のインターフェースの適用例を説明する。ここで、折
れ線型スライダは、インタラクティブに映像再生を制御
する。
【0144】図49A,Bは、上記の実施形態が、映像
再生を制御する一例であり、ゴルフのスイングを撮影し
た映像を示す。図49Aでは、映像中の各フレーム画像
には、番号0〜90が付けられている。上記の実施形態
は、図49Bのように、例えばゴルフクラブの移動軌跡
を近似した折れ線型スライダを設定する。折れ線の各頂
点の値は、時間上の位置に対応し、例えば再生画像フレ
ーム番号やタイムコードを表す。ユーザは、この折れ線
型スライダのツマミを移動することにより、スライダの
出力する値に該当する任意のフレーム画像を出力部5を
介して表示させることができる。従って、あたかもゴル
フクラブをつかんで動かしているかのように、直観的に
映像を操作し、可変速かつランダムに映像を再生するこ
とができる。このとき、オブジェクトの移動方向とスラ
イダの移動方向が一致しているので、直接操作により連
続的な映像再生ができる。
【0145】図50A,Bは、上記実施形態が映像再生
を制御する他の例であり、カメラ移動によって画面が移
動する映像を示す。図50Aは、陸上選手がトラックを
走っている様子を撮影した映像であり、番号0〜50の
フレーム画像があって、走者の移動に合わせて、カメラ
が左に移動したとする。これらのフレーム画像を用い
て、図50Bのようなパノラマ画像の背景が合成され
る。上記の実施形態は、フレーム画像の中心の点もしく
は、走者の位置の軌跡を近似した折れ線型スライダを設
定する。ユーザは、この折れ線型スライダのツマミを移
動することにより、スライダの出力する値に該当する任
意のフレーム画像をパノラマ画像の背景上に表示させる
ことができる。従って、あたかも走者をつかんで動かし
ているかのように、直感的に映像を操作、再生すること
ができる。
【0146】図51は、上記の実施形態が映像再生を制
御する他の例であり、複数の移動する被写体のある映
像、具体的にはサッカーで2人の選手A,Bが走ってい
る様子を撮影した映像である。上記の実施形態は、選手
A,Bそれぞれについて、移動の軌跡を近似した折れ線
型スライダを設定する。折れ線の頂点の値は、再生フレ
ーム番号を表す。ユーザは、この折れ線型スライダのツ
マミを移動することにより、スライダの出力する値に該
当する任意のフレーム画像を表示させることができる。
従って、あたかも選手をつかんで動かしているかのよう
に、直感的に映像を再生することができる。また、複数
の折れ線型スライダを複数のオブジェクトにそれぞれ割
り当てているので、1つの映像を複数の時間軸で制御で
きる。例えば、注目する選手やボールなどに操作対象を
切替えて映像を再生することができる。
【0147】図52は、上記の実施形態が地図上の経路
案内を表示する一例である。上記の実施形態は、A地点
からC地点までの経路を近似した折れ線型スライダを設
定する。折れ線の頂点の値は、経路上の経過時間や情報
を表す。図52では、B地点での経過時間「3分」と、
その周辺の情報「本屋あり」とがふきだしの中に表示さ
れている。ユーザは、この折れ線型スライダのツマミを
移動することにより、経路上の各地点の経過時間や情報
を連続的に見ることができる。
【0148】図53A,Bは、上記の実施形態がアニメ
ーションの制御をする一例であり、カエルの成長の様子
を表すアニメーションを示す。図53Aに示すように、
0〜1300までの段階に応じたカエルの画像が用意さ
れている。上記の実施形態は、図53Bの背景上に、折
れ線型スライダを配置し、頂点の値を図53Aの画像の
番号に対応づける。ユーザが、この折れ線型スライダの
ツマミを移動するのに対応して、スライダの出力する値
に該当する画像がツマミの位置に表示される。従って、
あたかもカエルをつかんで動かしているかのように、直
観的にアニメーションを再生することができる。尚、上
記の折れ線型スライダの適用例は、上記の各実施形態に
係る折れ線型スライダによっても実施できる。
【0149】尚、上記の各処理は、図54A,Bに示す
ようなブラウン管や液晶などのディスプレイ(表示手
段)592と、マウス593やタッチパネル595など
の入力手段と、記憶手段とを備えたコンピュータ591
に実装されて、このコンピュータに各処理を実行させる
ことができる。また、これらの処理を実行させるための
プログラムを、磁気ディスク、光ディスク、CD−RO
M等の、コンピュータ読み取り可能な各種の記録媒体5
94に記録して配布し、これら記録媒体をコンピュータ
に読み込ませることにより各処理を実行することができ
る。
【0150】尚、上記の折れ線型スライダは、例えば、
折れ線の始点と終点を同じにして、環状のスライダとし
て実施されてもよい。さらに、折れ線型スライダを3次
元に拡張して、各線分に替えて垂直な面や二等分面など
を用いて、3次元の入力座標に対し、3次元の折れ線上
のツマミを対応させるようにしてもよい。
【0151】また、入力座標とツマミとの滑らかな対応
付けを実現するため、写像部2が、電気力線や磁力線な
どのポテンシャルを用いてもよい。
【0152】尚、上記の実施形態は、本発明の要旨の範
囲内において、種々の変形、変更が可能であり、これら
の変形、変更もまた本発明の範囲内である。
【0153】
【発明の効果】以上説明したように、本発明によれば、
映像データや動画データなどの時空間メディアデータ
を、時間的連続性を損なうことなく、直観的に操作する
ためのGUIが実現される。
【図面の簡単な説明】
【図1】本発明に係る折れ線型スライダの外観を示す図
である。
【図2】本発明の第1の実施形態に係る装置の構成を示
すブロック図である。
【図3】第1の実施形態に係る頂点座標記憶部に記憶さ
れる折れ線の頂点座標データの一例を説明する図であ
る。
【図4】第1の実施形態に係る装置の処理手順を示すフ
ローチャートである。
【図5】第1の実施形態に係る写像部の詳細構成を示す
ブロック図である。
【図6】第1の実施形態における図4のステップS30
の詳細処理手順を示すフローチャートである。
【図7】第1の実施形態での折れ線の線分の内分比の求
め方を説明する図である。
【図8】第1の実施形態での垂線の足の座標、内分比、
距離の算出方法を説明する図である。
【図9】第1の実施形態における入力座標とツマミとの
対応を説明する図である。
【図10】第1の実施形態における入力座標とツマミと
の対応を説明する図である。
【図11】第2の実施形態に係る写像部の詳細構成を示
すブロック図である。
【図12】第2の実施形態における図4のステップS3
0の詳細処理手順を示すフローチャートである。
【図13】第2の実施形態での折れ線の線分の内分比の
求め方を説明する図である。
【図14】第2の実施形態の垂線、二等分線の算出方法
を説明する図である。
【図15】ある直線に対して2点が同じ側にあるか否か
の判別方法を説明する図である。
【図16】第2の実施形態における入力座標とツマミと
の対応を説明する図である。
【図17】入力に反応してツマミを移動させる範囲の一
例を説明する図である。
【図18】第3の実施形態に係る写像部の詳細構成を示
すブロック図である。
【図19】第3の実施形態における図4のステップS3
0の詳細処理手順を示すフローチャートである。
【図20】第3の実施形態における折れ線の線分の内分
比の求め方を説明する図である。
【図21】平行線、2直線の交点の算出方法を説明する
図である。
【図22】第3の実施形態における入力座標とツマミと
の対応を説明する図である。
【図23】第4の実施形態に係る装置の構成を示すブロ
ック図である。
【図24】第4の実施形態に係る装置の処理手順を示す
フローチャートである。
【図25】第4の実施形態に係る出力部が出力する折れ
線型スライダの一例を示す図である。
【図26】第5の実施形態に係る装置の構成を示すブロ
ック図である。
【図27】第5の実施形態に係る頂点座標記憶部に記憶
される折れ線の頂点座標データの一例を説明する図であ
る。
【図28】第5の実施形態に係る装置の処理手順を示す
フローチャートである。
【図29】第5の実施形態に係る内分比出力部の出力の
一例を示す図である。
【図30】第6の実施形態に係る装置の構成を示すブロ
ック図である。
【図31】第6の実施形態に係る装置の処理手順を示す
フローチャートである。
【図32】第6の実施形態に係る折れ線選択部の折れ線
選択の一例を示す図である。
【図33】第6の実施形態におけるツマミの移動を説明
する図である。
【図34】第7の実施形態に係る装置の構成を示すブロ
ック図である。
【図35】第7の実施形態に係る装置の処理手順を示す
フローチャートである。
【図36】第7の実施形態に係る頂点座標記憶部に記憶
される折れ線の頂点座標データの一例を示す図である。
【図37】第8の実施形態における2つの折れ線型スラ
イダの併合の一例を示す図である。
【図38】第8の実施形態に係る装置の処理手順を示す
フローチャートである。
【図39】第9の実施形態に係る装置の構成を示すブロ
ック図である。
【図40】第9の実施形態に係る装置の処理手順を示す
フローチャートである。
【図41】第9の実施形態の編集部が出力する折れ線型
スライダ編集画面の一例を示す図である。
【図42】第10の実施形態に係る折れ線生成部におけ
る折れ線生成の一例を示す図である。
【図43】第10の実施形態に係る装置の構成を示すブ
ロック図である。
【図44】第10の実施形態に係る折れ線修正部が行う
頂点の分割の一例を説明する図である。
【図45】第10の実施形態に係る折れ線修正部の頂点
分割の処理手順を示すフローチャートである。
【図46】図10の実施形態に係る折れ線修正部が行う
頂点の分割手法を説明する図である。
【図47】第10の実施形態に係る折れ線修正部の変形
例の頂点併合の処理手順を示すフローチャートである。
【図48】第10の実施形態に係る折れ線修正部が行う
頂点の併合の一例を説明する図である。
【図49】折れ線型スライダを用いる映像再生の制御の
一例を説明する図である。
【図50】折れ線型スライダを用いる映像再生の制御の
一例を説明する図である。
【図51】折れ線型スライダを用いる映像再生の制御の
一例を説明する図である。
【図52】折れ線型スライダを用いる地図情報の提示の
一例を説明する図である。
【図53】折れ線型スライダを用いるアニメーションの
再生の一例を説明する図である。
【図54】本発明に係る折れ線型スライダを実装するハ
ードウエア構成を説明する図である。
【図55】従来のスライダの外観を説明する図である。
【符号の説明】
1 座標入力部 2 写像部 3 スライダ表示部 4 頂点座標記憶部 5 出力部 6 折れ線選択部 7 フラグ記憶部 8 編集部 21 垂線作成部 22 内分比測定部 23 距離測定部 24 ツマミ位置選択部 51 内分値出力部 52 頂点値記憶部 801 折れ線生成部 802 折れ線修正部 201 二等分線作成部 202 判別部 203 第1の距離測定部 204 選択部 205 第2の距離測定部 206、210 内分部 207 平行線作成部 208 交点作成部 209 第2の距離測定部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 阿久津 明人 東京都新宿区西新宿三丁目19番2号 日 本電信電話株式会社内 (56)参考文献 特開 平1−184685(JP,A) 特開 平6−67631(JP,A) 佐藤 隆,阿久津明人,南 憲一,外 村佳伸,Coaster:映像の時空間 直感的操作による可変速再生方法とその 応用,情報処理学会論文誌,日本,社団 法人情報処理学会,1999年 2月15日, 40[2],第529〜536ページ (58)調査した分野(Int.Cl.7,DB名) G06F 3/00 601 - 658 G06F 3/14 - 3/153 G06F 3/03 - 3/037 G09G 5/00 - 5/42 (54)【発明の名称】 データ入力方法、データ入力装置、およびデータ入力プログラムを格納する記録媒体、ならびに 映像データ操作方法、映像データ操作装置、および映像データ操作プログラムを格納する記録媒 体

Claims (27)

    (57)【特許請求の範囲】
  1. 【請求項1】 指示された座標に対応するデータを入力
    する方法であって、 (a)1又は複数の線分からなる折れ線と、該折れ線上を
    移動する座標指示手段からなる折れ線型スライダを定義
    する頂点の座標を記憶するステップと、 (b)入力された座標を記憶するステップと、 (c)前記入力された座標を前記折れ線上の点に写像し
    て、該点の位置を前記折れ線上を移動する座標指示手段
    の位置とするステップとを含むことを特徴とするデータ
    入力方法。
  2. 【請求項2】 前記ステップ(c)は、前記入力された座
    標を前記折れ線上に射影することにより、前記点を得る
    ことを特徴とする請求項1に記載のデータ入力方法。
  3. 【請求項3】 前記ステップ(c) は、 前記入力された座標から前記折れ線を構成する各線分へ
    の垂線と、前記各線分との接点のうち、前記入力座標に
    最も近い前記接点の位置を前記座標指示手段の位置とす
    ることを特徴とする請求項1に記載のデータ入力方法。
  4. 【請求項4】 前記ステップ(c) は、 (c1)前記入力された座標から前記折れ線を構成する各線
    分への垂線を求めるステップと、 (c2)前記求められた垂線と前記各線分との接点により、
    各線分の全体に対する部分線分の比をそれぞれ求めるス
    テップと、 (c3) 前記各接点と前記入力座標との距離を求めるステ
    ップと、 (c4) 前記求められた比が0から1の範囲である線分上
    の接点のうち、前記距離が最も小さい接点を選択して前
    記座標指示手段の位置とするステップとを含むことを特
    徴とする請求項1に記載のデータ入力方法。
  5. 【請求項5】 前記ステップ(c)は、 前記折れ線を構成する各線分のうち、該線分の両端の頂
    点を通り、かつ頂角の二等分線または折れ線の両端の頂
    点を通過する垂線である直線を生成し、前記入力された
    座標を挟み込む2つの前記直線を持ち、かつ前記入力さ
    れた座標に最も近い線分を選択し、前記選択された線分
    の前記2つの直線と前記入力された座標との距離の比を
    求め、求められた距離の比によって前記選択された線分
    を内分する点の位置を前記座標指示手段の位置とするこ
    とを特徴とする請求項1に記載のデータ入力方法。
  6. 【請求項6】 前記ステップ(c) は、さらに、 (c11)前記折れ線を構成する各線分の両端の頂点P1,
    P2について、頂点を通過する垂線または前記折れ線の
    頂角の二等分線である直線L1,L2を求めるステップ
    と、 (c12)前記頂点P1、P2のそれぞれと、前記入力され
    た座標とが、線分上で対峙する前記直線L1、L2のい
    ずれか一方に対して同じ側にあるか否かを判別するステ
    ップと、 (c13)前記線分のそれぞれと前記入力された座標との距
    離を求めるステップと、 (c14)前記ステップ(c12)によ
    りその両端の頂点P1,P2が対峙する前記直線L2,
    L1のいずれか一方に対して前記入力された座標と同じ
    側にあると判定された線分のうち、前記距離が最も小さ
    い線分L3を選択するステップと、 (c15)前記ステップ(c14)により選択された前記線分L3
    の両端の頂点P1、P2を通過する前記直線L1,L2
    のそれぞれと前記入力された座標との距離D1,D2を
    求めるステップと、 (c16)前記ステップ(c15)により求められた距離の比D
    1:D2によって前記選択された線分L3を内分する点
    の位置を前記座標指示手段の位置とするステップとを含
    むことを特徴とする請求項1に記載のデータ入力方法。
  7. 【請求項7】 前記ステップ(c)は、 前記折れ線を構成する各線分のうち、該線分の両端の頂
    点を通り、かつ頂角の二等分線または折れ線の両端の頂
    点を通過する垂線である2つの直線を生成し、前記入力
    された座標を挟み込む2つの前記直線を持ち、かつ前記
    入力された座標に最も近い線分を選択し、前記選択され
    た線分に平行な線分と、前記2つの直線との2つの交点
    を求め、この2つの交点と前記入力された座標との距離
    の比を求め、求められた距離の比によって前記選択され
    た線分を内分する点の位置を前記座標指示手段の位置と
    することを特徴とする請求項1に記載のデータ入力方
    法。
  8. 【請求項8】 前記ステップ(c)は、 (c21)前記折れ線を構成する各線分の両端の頂点P1,
    P2について、頂点を通過する垂線または前記折れ線の
    頂角の二等分線である直線L1,L2を求めるステップ
    と、 (c22)前記頂点P1、P2のそれぞれと、前記入力され
    た座標とが、線分上で対峙する前記直線L1、L2のい
    ずれか一方に対して同じ側にあるか否かを判別するステ
    ップと、 (c23)前記線分のそれぞれと前記入力された座標との距
    離を求めるステップと、 (c24)前記ステップ(c22)によ
    りその両端の頂点P1,P2が対峙する前記直線L2,
    L1のいずれか一方に対して前記入力された座標と同じ
    側にあると判定された線分のうち、前記距離が最も小さ
    い線分を選択するステップと、 (c25) 前記ステップ(c24)により選択された線分L3と
    平行であって前記入力された座標を通過する線分L4を
    求めるステップと、 (c26) 前記平行線L4と、前記線分L3の両端の頂点
    を通過する前記直線L1,L2との交点Q1、Q2をそ
    れぞれ求めるステップと、 (c27)前記ステップ(c26)により求められた交点Q1、Q
    2のそれぞれと前記入力された座標との距離D1,D2
    をそれぞれ求めるステップと、 (c28)前記ステップ(c27)により求められた距離の比D
    1:D2によって前記選択された線分L3を内分する点
    の位置を前記座標指示手段の位置とするステップとを含
    むことを特徴とする請求項1に記載のデータ入力方法。
  9. 【請求項9】 前記ステップ(c)は、 前記座標指示手段の位置が求められない場合に、前記入
    力された座標に最も近い前記折れ線の頂点の位置を前記
    座標指示手段の位置とすることを特徴とする請求項3に
    記載のデータ入力方法。
  10. 【請求項10】 前記ステップ(c)は、 前記座標指示手段の位置が求められない場合に、前記入
    力された座標に最も近い前記折れ線の頂点の位置を前記
    座標指示手段の位置とすることを特徴とする請求項5に
    記載のデータ入力方法。
  11. 【請求項11】 前記ステップ(c)は、 前記座標指示手段の位置が求められない場合に、前記入
    力された座標に最も近い前記折れ線の頂点の位置を前記
    座標指示手段の位置とすることを特徴とする請求項7に
    記載のデータ入力方法。
  12. 【請求項12】 前記ステップ(c)は、 前記入力された座標と折れ線との距離がある大きさより
    も大きい場合には、処理を中止することを特徴とする請
    求項1に記載のデータ入力方法。
  13. 【請求項13】 上記データ入力方法は、さらに、 (d)前記座標指示手段が指示する位置に対応するデータ
    を出力するステップを含むことを特徴とする請求項1に
    記載のデータ入力方法。
  14. 【請求項14】 前記ステップ(d)は、 前記折れ線を前記座標指示手段の位置で内分した内分値
    を出力することを特徴とする請求項13に記載のデータ
    入力方法。
  15. 【請求項15】 前記ステップ(d)は、 (d1)折れ線の頂点に対応するデータを記憶するステップ
    と、 (d2)前記ステップ(d1)により、前記座標指示手段が位置
    する線分の両端の頂点に対応するデータV1、V2を取
    得するとともに、前記座標指示手段が前記線分を内分す
    る比を求めるステップと、 (d3)前記V1、V2に基づいて、前記ステップ(d2)によ
    り求められた比に対応する内分値を出力するステップと
    を含むことを特徴とする請求項13に記載のデータ入力
    方法。
  16. 【請求項16】 上記データ入力方法は、さらに、 (e)複数の折れ線のうち、いずれか1つの折れ線を選択
    するステップを含むことを特徴とする請求項1に記載の
    データ入力方法。
  17. 【請求項17】 前記ステップ(e)は、 前記複数の折れ線のうち、前記入力された座標に最も近
    い線分を含む折れ線を選択することを特徴とする請求項
    16に記載のデータ入力方法。
  18. 【請求項18】 前記ステップ(e)は、 前記複数の折れ線のうち、前記入力された座標に最も近
    い前記座標指示手段が存在する折れ線を選択することを
    特徴とする請求項16に記載のデータ入力方法。
  19. 【請求項19】 上記データ入力方法は、さらに、 (f) 前記折れ線を構成する線分に対応し、各折れ線の選
    択の可否を示すフラグを記憶するステップを含み、 前記ステップ(e)は、前記座標指示手段が存在する線分
    に対応するフラグに基づいて、他の折れ線の選択の可否
    を判定することを特徴とする請求項16に記載のデータ
    入力方法。
  20. 【請求項20】 上記データ入力方法は、さらに、 (h) 前記折れ線と前記座標指示手段とを表示するステッ
    プを含むことを特徴とする請求項1に記載のデータ入力
    方法。
  21. 【請求項21】 上記データ入力方法は、さらに、 (i) 前記ステップ(b)で入力される入力座標に基づいて
    折れ線を編集するステップを含むことを特徴とする請求
    項1に記載のデータ入力方法。
  22. 【請求項22】 指示された座標に対応するデータを入
    力するデータ入力装置であって、 (a)1又は複数の線分からなる折れ線と、該折れ線上を
    移動する座標指示手段からなる折れ線型スライダを定義
    する頂点の座標を記憶する座標記憶部と、 (b)入力された座標を記憶する座標入力部と、 (c)前記入力された座標を前記折れ線上の点に写像し
    て、該点の位置を前記折れ線上を移動する座標指示手段
    の位置とする写像部とを具備することを特徴とするデー
    タ入力装置。
  23. 【請求項23】 前記写像部(c)は、 前記折れ線を構成する各線分のうち、該線分の両端の頂
    点を通り、頂角の二等分線または折れ線の両端の頂点を
    通過する垂線である直線を生成し、前記入力された座標
    を挟み込む2つの前記直線を持ち、かつ前記入力された
    座標に最も近い線分を選択し、前記選択された線分に平
    行な線分と、前記2つの直線との2つの交点を求め、こ
    の2つの交点と前記入力された座標との距離の比を求
    め、求められた距離の比によって前記選択された線分を
    内分する点の位置を前記座標指示手段の位置とすること
    を特徴とする請求項22に記載のデータ入力装置。
  24. 【請求項24】 前記写像部(c) は、 (c21)前記折れ線を構成する各線分の両端の頂点P1,
    P2を通過する垂線または前記折れ線の頂角の二等分線
    である直線L1,L2を求める二等分線作成部と、 (c22)前記頂点P1、P2のそれぞれと、前記入力され
    た座標とが、線分上で対峙する前記直線L1、L2のい
    ずれか一方に対して同じ側にあるか否かを判別する判別
    部と、 (c23)前記線分のそれぞれと前記入力された座標との距
    離を求める第1の距離計算部と、 (c24)前記判別部(c22)によりその両端の頂点P1,P2
    が対峙する前記直線L2,L1のいずれか一方に対して
    前記入力された座標と同じ側にあると判定された線分の
    うち、前記距離が最も小さい線分を選択する選択部と、 (c25) 前記選択部(c24)により選択された線分L3と平
    行であって前記入力された座標を通過する線分L4を求
    める第2の平行線作成部と、 (c26) 前記平行線L4と、前記線分L3の両端の頂点
    を通過する前記直線L1,L2との交点Q1、Q2をそ
    れぞれ求める交点作成部と、 (c27)前記交点作成部(c26)により求められた交点Q1、
    Q2のそれぞれと前記入力された座標との距離D1,D
    2をそれぞれ求める第2の距離計算部と、 (c28)前記第2の距離計算部(c27)により求められた距離
    の比D1:D2によって前記選択された線分L3を内分
    する点の位置を前記座標指示手段の位置とする内分部と
    を具備することを特徴とする請求項22に記載のデータ
    入力装置。
  25. 【請求項25】 指示された座標に対応するデータを入
    力する処理をコンピュータに実行させるプログラムを記
    録するコンピュータ読み取り可能な記録媒体であって、 (a)1又は複数の線分からなる折れ線と、該折れ線上を
    移動する座標指示手段からなる折れ線型スライダを定義
    する頂点の座標を記憶する処理と、 (b)入力された座標を記憶する処理と、 (c)前記入力された座標を前記折れ線上の点に写像し
    て、該点の位置を前記折れ線上を移動する座標指示手段
    の位置とする処理とを含むことを特徴とするコンピュー
    タ読み取り可能な記録媒体。
  26. 【請求項26】 前記処理(c)は、 前記折れ線を構成する各線分のうち、該線分の両端の頂
    点を通り、頂角の二等分線または折れ線の両端の頂点を
    通過する垂線である直線を生成し、前記入力された座標
    を挟み込む2つの前記直線を持ち、かつ、前記入力され
    た座標に最も近い線分を選択し、前記選択された線分に
    平行な線分と、前記2つの直線との2つの交点を求め、
    この2つの交点と前記入力された座標との距離の比を求
    め、求められた距離の比によって前記選択された線分を
    内分する点の位置を前記座標指示手段の位置とすること
    を特徴とする請求項25に記載のコンピュータ読み取り
    可能な記録媒体。
  27. 【請求項27】 前記処理(c)は、 (c21)前記折れ線を構成する各線分の両端の頂点P1,
    P2を通過する垂線または前記折れ線の頂角の二等分線
    である直線L1,L2を求める処理と、 (c22)前記頂点P1、P2のそれぞれと、前記入力され
    た座標とが、線分上で対峙する前記直線L1、L2のい
    ずれか一方に対して同じ側にあるか否かを判別する処理
    と、 (c23)前記線分のそれぞれと前記入力された座標との距
    離を求める処理と、 (c24)前記処理(c22)によりその両端の頂点P1,P2が
    対峙する前記直線L2,L1のいずれか一方に対して前
    記入力された座標と同じ側にあると判定された線分のう
    ち、前記距離が最も小さい線分を選択する処理と、 (c25) 前記処理(c24)により選択された線分L3と平行
    であって前記入力された座標を通過する線分L4を求め
    る処理と、 (c26) 前記平行線L4と、前記線分L3の両端の頂点
    を通過する前記直線L1,L2との交点Q1、Q2をそ
    れぞれ求める処理と、 (c27)前記処理(c26)により求められた交点Q1、Q2の
    それぞれと前記入力された座標との距離D1,D2をそ
    れぞれ求める処理と、 (c28)前記処理(c27)により求められた距離の比D1:D
    2によって前記選択された線分L3を内分する点の位置
    を前記座標指示手段の位置とする処理とを含むことを特
    徴とする請求項25に記載のコンピュータ読み取り可能
    な記録媒体。
JP19341599A 1998-07-08 1999-07-07 データ入力方法、データ入力装置、およびデータ入力プログラムを格納する記録媒体、ならびに映像データ操作方法、映像データ操作装置、および映像データ操作プログラムを格納する記録媒体 Expired - Lifetime JP3325859B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19341599A JP3325859B2 (ja) 1998-07-08 1999-07-07 データ入力方法、データ入力装置、およびデータ入力プログラムを格納する記録媒体、ならびに映像データ操作方法、映像データ操作装置、および映像データ操作プログラムを格納する記録媒体

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP10-192594 1998-07-08
JP19259498 1998-07-08
JP34638098 1998-12-07
JP10-346380 1998-12-07
JP19341599A JP3325859B2 (ja) 1998-07-08 1999-07-07 データ入力方法、データ入力装置、およびデータ入力プログラムを格納する記録媒体、ならびに映像データ操作方法、映像データ操作装置、および映像データ操作プログラムを格納する記録媒体

Publications (2)

Publication Number Publication Date
JP2000231431A JP2000231431A (ja) 2000-08-22
JP3325859B2 true JP3325859B2 (ja) 2002-09-17

Family

ID=27326641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19341599A Expired - Lifetime JP3325859B2 (ja) 1998-07-08 1999-07-07 データ入力方法、データ入力装置、およびデータ入力プログラムを格納する記録媒体、ならびに映像データ操作方法、映像データ操作装置、および映像データ操作プログラムを格納する記録媒体

Country Status (1)

Country Link
JP (1) JP3325859B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3760088B2 (ja) * 2000-07-24 2006-03-29 日本電信電話株式会社 動きパターン画像登録装置,表示装置,登録方法,表示方法およびそれらのプログラム記録媒体
JP2004104594A (ja) * 2002-09-11 2004-04-02 Toshiba Corp デジタルスチルカメラ及びユーザ指示入力方法
KR20140021896A (ko) * 2012-08-13 2014-02-21 삼성전자주식회사 멀티미디어 애플리케이션의 재생 위치를 탐색하기 위한 방법 및 그 전자 장치
JP5876409B2 (ja) * 2012-12-20 2016-03-02 日本電信電話株式会社 映像再生装置及び映像再生プログラム
JP6189622B2 (ja) * 2013-04-22 2017-08-30 シャープ株式会社 入力装置、および、画像表示装置
KR101750060B1 (ko) 2015-08-13 2017-06-22 이철우 반응형 영상 생성방법 및 생성프로그램
JP6584978B2 (ja) * 2016-02-24 2019-10-02 京セラ株式会社 電子機器、制御装置、制御プログラム及び表示方法
JP6897215B2 (ja) * 2017-03-24 2021-06-30 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6452770B2 (ja) * 2017-08-03 2019-01-16 シャープ株式会社 画像表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
佐藤 隆,阿久津明人,南 憲一,外村佳伸,Coaster:映像の時空間直感的操作による可変速再生方法とその応用,情報処理学会論文誌,日本,社団法人情報処理学会,1999年 2月15日,40[2],第529〜536ページ

Also Published As

Publication number Publication date
JP2000231431A (ja) 2000-08-22

Similar Documents

Publication Publication Date Title
US6542171B1 (en) Scheme for graphical user interface using polygonal-shaped slider
US5729673A (en) Direct manipulation of two-dimensional moving picture streams in three-dimensional space
US7589732B2 (en) System and method of integrated spatial and temporal navigation
US7725828B1 (en) Application of speed effects to a video presentation
US8515205B2 (en) Processing of images to represent a transition in viewpoint
US6018337A (en) Media composer including pointer-based display of sequentially stored samples
US6850249B1 (en) Automatic region of interest tracking for a color correction system
US6097853A (en) User definable windows for selecting image processing regions
US9070402B2 (en) 3D model presentation system with motion and transitions at each camera view point of interest (POI) with imageless jumps to each POI
US7338373B2 (en) Method and apparatus for generating sounds in a video game
US20060012596A1 (en) Data editing program, data editing method, data editing apparatus and storage medium
US8656306B2 (en) Apparatus and method for displaying image
WO2000033310A1 (en) Multimedia editing and composition system having temporal display
US6535232B1 (en) Device for controlling quality of reproduction of motion picture and method for controlling the same
KR20110052706A (ko) 지리 정보 시스템에서의 순행
Burtnyk et al. Showmotion: camera motion based 3d design review
JP3325859B2 (ja) データ入力方法、データ入力装置、およびデータ入力プログラムを格納する記録媒体、ならびに映像データ操作方法、映像データ操作装置、および映像データ操作プログラムを格納する記録媒体
US20210349620A1 (en) Image display apparatus, control method and non-transitory computer-readable storage medium
JP4644157B2 (ja) 付加画像生成装置および付加画像合成装置
US6337916B1 (en) Modifying image data
US20040141001A1 (en) Data processing apparatus
JPH04127279A (ja) 物体の運動経路生成装置および方法
JPH1173518A (ja) 対話型画像操作表示装置および方法並びにプログラム格納媒体
JPH1049706A (ja) 情報編集装置、情報再生装置、及び情報編集再生装置
EP0947957A2 (en) Automatic region of interest tracking for a color correction system

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
R150 Certificate of patent or registration of utility model

Ref document number: 3325859

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090705

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090705

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100705

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110705

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120705

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130705

Year of fee payment: 11

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term