JP5127981B2

JP5127981B2 - オブジェクト選択装置、オブジェクト選択プログラム、オブジェクト選択装置に用いられる集積回路、及びオブジェクト選択方法

Info

Publication number: JP5127981B2
Application number: JP2011500370A
Authority: JP
Inventors: 聡稲見; 崇川島
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2009-02-17
Filing date: 2009-11-13
Publication date: 2013-01-23
Anticipated expiration: 2029-11-13
Also published as: JPWO2010095195A1; US20110296307A1; US8429531B2; WO2010095195A1; CN102057350A

Description

【技術分野】
【０００１】
本発明は、ポインティングデバイス等を用いて、ユーザに映像中のオブジェクトを選択させる機能を備えるオブジェクト選択装置に関し、より特定的には、移動するオブジェクトの選択を容易にするための技術に関する。
【背景技術】
【０００２】
近年、デジタルテレビなどの放送された映像を表示する機器において、画面上に表示された映像中のオブジェクトを、タッチパネルやマウスなどのポインティングデバイスを用いてユーザに選択させ、選択されたオブジェクトに関連する情報をデータベースから検索し、検索された情報を表示する等の利便性の高い機能が注目されている。
【０００３】
このような機能を備える従来の装置が、特許文献１に開示されている。特許文献１においては、情報閲覧装置１０３は、ＴＶ放送の映像を表示し、ユーザがマウス等により映像上の所望の位置や範囲を指定すると、指定された位置と範囲から、画面位置、及び画面範囲の情報を得、またＴＶチューナからチャンネル番号、及び放送時刻等の情報を得、これらの情報を情報検索装置１０９へ送信する。一方情報検索装置１０９は、情報閲覧装置１０３から受け取ったこれらの情報に基づき、データベース１１１から関連情報を検索して、情報閲覧装置１０３に送信する。情報閲覧装置１０３は、受け取った関連情報を表示する。
【０００４】
ここで、選択対象のオブジェクトがすばやく移動するような場合には、ユーザがそのオブジェクトの動きに追随できず、所望するオブジェクトを選択することが難しくなるという問題がある。
【０００５】
このような問題に対処する従来の装置が、特許文献２に開示されている。特許文献２においては、ユーザがオブジェクトを選択しようとタッチパネルを操作した時刻よりも、少し過去の範囲も検索対象にするので、ユーザがオブジェクトの動きに対して遅れて操作しても、ユーザはオブジェクトを選択することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】
特開２００２−３３４０９２号公報
【特許文献２】
特開２００５−９４７８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記特許文献２の選択方法では、ユーザが、オブジェクトの動きにわざと追随せずに、オブジェクトが移動した後の何もない位置を意図的に選択しなければオブジェクトを選択することができないため、このような特殊な選択方法を憶えなければ使えないという制約がある。また、この選択方法には時間的なズレがあるため、ユーザに違和感を与えてしまうので、違和感無く感覚的に使うことができないという問題がある。
【０００８】
それ故に、本発明の目的は、画面に表示された映像中のオブジェクトをユーザに選択させるオブジェクト選択装置において、選択対象のオブジェクトが移動する場合に、ユーザが違和感無く感覚的に、所望するオブジェクトを選択することができるオブジェクト選択装置、オブジェクト選択プログラム、オブジェクト選択装置に用いられる集積回路、及びオブジェクト選択方法を提供することである。
【課題を解決するための手段】
【０００９】
本発明は、オブジェクト選択装置に向けられている。そして上記課題を解決するために、本発明のオブジェクト選択装置は、動画中のオブジェクトをユーザに選択させるオブジェクト選択装置であって、外部の表示装置に動画を表示させる映像処理部と、映像処理部によって表示させた動画のデータを記憶する記憶部と、前記表示装置に表示されている動画内の、任意の１つのオブジェクトの表示位置を、ユーザが指示しようと試みる入力操作を受け付ける入力部と、入力部によって入力操作を受け付けたときの受付時刻を示す時刻情報と、当該操作された動画内の操作位置を示す位置情報とを、生成する入力解析部と、記憶部によって記憶された動画のデータに基づいて、当該動画内の１つ又は複数のオブジェクトを抽出し、それぞれのオブジェクトの軌跡を解析して、オブジェクト別に、個々のオブジェクトの軌道履歴を示す軌道情報を生成する映像解析部と、オブジェクト別に、入力解析部によって出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった一定期間における軌道情報に基づいて、当該所定時間以後にユーザが予測するであろう各オブジェクトの予測軌道を推定し、当該予測軌道上の前記受付時刻に対応する予測位置と、入力解析部によって生成された位置情報により示される操作位置とが近接する場合に、当該オブジェクトを、ユーザにより選択されたものと判定する判定部とを備える。
【００１０】
好ましくは、前記判定部は、オブジェクト別に、前記一定期間における軌道情報に基づく各オブジェクトの軌道を直線近似して近似直線を生成し、当該近似直線を当該オブジェクトの移動方向に伸延し、伸延した部分を前記予測軌道とする。
【００１１】
好ましくは、前記判定部は、オブジェクト別に、前記近似直線と、当該軌道履歴における個々の位置との距離が所定の限度値を越えるか否かを判定し、当該限度値を越えない場合に限り、当該近似直線に基づいて前記予測軌道を推定する。
【００１２】
好ましくは、前記判定部は、オブジェクト別に、前記限度値を越える場合には、前記一定期間における軌道情報に基づいて、当該オブジェクトの近似曲線を算出し、当該近似曲線を当該オブジェクトの移動方向に伸延し、伸延した部分を前記予測軌道とする。
【００１３】
好ましくは、前記判定部は、オブジェクト別に、前記限度値を越える場合には、前記一定期間における軌道情報に基づいて、当該オブジェクトの近似曲線を算出し、当該近似曲線を当該オブジェクトの移動方向に、当該近似曲線と同等の曲がり具合で伸延し、伸延した部分を前記予測軌道とする。
【００１４】
好ましくは、前記判定部は、オブジェクト別に、前記限度値を越える場合には、前記一定期間における軌道情報に基づいて、当該オブジェクトの移動パターンを検出し、当該移動パターンに基づいて、前記所定時間以後の当該オブジェクトの軌道を予想し、予測した軌道を前記予測軌道とする。
【００１５】
好ましくは、前記判定部は、オブジェクト別に、前記一定期間における軌道情報に基づいて、当該オブジェクトの移動速度を算出し、当該オブジェクトを前記所定時間前の時点の位置から、当該移動速度に基づいて速度を一定に保ちながら、当該所定時間分だけ移動させた位置を、前記予測位置とする。
【００１６】
好ましくは、前記判定部は、オブジェクト別に、前記一定期間における軌道情報に基づいて、当該オブジェクトの速度の変化率を算出し、当該オブジェクトを前記所定時間前の時点の位置から、当該速度の変化率に基づいて速度を変化させながら、当該所定時間分だけ移動させた位置を、前記予測位置とする。
【００１７】
好ましくは、当該オブジェクト選択装置は、さらに、前記判定部により、１つ、又は複数のオブジェクトが、ユーザにより指示されたものと判定された場合に、選択候補のオブジェクトを提示して、当該ユーザに、当該１つ、又は複数のオブジェクトの選択を即す提示部と、提示部によって提示された１つ、又は複数のオブジェクトの中から、ユーザによるオブジェクトの選択を受け付ける選択受付部と、選択受付部によって選択が受け付けられたオブジェクトに関する所定の処理を実行し、当該処理の結果を、前記外部の表示装置に表示させる実行部とを供える。
【００１８】
本発明は、オブジェクト選択装置におけるプログラムに向けられている。そして上記課題を解決するために、本発明のオブジェクト選択装置におけるプログラムは、動画中のオブジェクトをユーザに選択させるオブジェクト選択装置により実行されるプログラムであって、前記オブジェクト選択装置に、外部の表示装置に動画を表示させる映像処理ステップと、映像処理ステップにより表示させた動画のデータを記憶する記憶ステップと、前記表示装置に表示されている動画内の、任意の１つのオブジェクトの表示位置を、ユーザが指示しようと試みる入力操作を受け付ける入力ステップと、入力ステップにより入力操作を受け付けたときの受付時刻を示す時刻情報と、当該操作された動画内の操作位置を示す位置情報とを、生成する入力解析ステップと、記憶ステップにより記憶された動画のデータに基づいて、当該動画内の１つ又は複数のオブジェクトを抽出し、それぞれのオブジェクトの軌跡を解析して、オブジェクト別に、個々のオブジェクトの軌道履歴を示す軌道情報を生成する映像解析ステップと、オブジェクト別に、入力解析ステップにより出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった一定期間における軌道情報に基づいて、当該所定時間以後にユーザが予測するであろう各オブジェクトの予測軌道を推定し、当該予測軌道上の前記受付時刻に対応する予測位置と、入力解析ステップにより生成された位置情報により示される操作位置とが近接する場合に、当該オブジェクトを、ユーザにより選択されたものと判定する判定ステップとを実行させる。
【００１９】
本発明は、オブジェクト選択装置に用いられる集積回路に向けられている。そして上記課題を解決するために、本発明のオブジェクト選択装置に用いられる集積回路は、動画中のオブジェクトをユーザに選択させるオブジェクト選択装置に用いられる集積回路であって、外部の表示装置に動画を表示させる映像処理部と、映像処理部によって表示させた動画のデータを記憶する記憶部、前記表示装置に表示されている動画内の、任意の１つのオブジェクトの表示位置を、ユーザが指示しようと試みる入力操作を受け付ける入力部、入力部によって入力操作を受け付けたときの受付時刻を示す時刻情報と、当該操作された動画内の操作位置を示す位置情報とを、生成する入力解析部、記憶部によって記憶された動画のデータに基づいて、当該動画内の１つ又は複数のオブジェクトを抽出し、それぞれのオブジェクトの軌跡を解析して、オブジェクト別に、個々のオブジェクトの軌道履歴を示す軌道情報を生成する映像解析部、及び、オブジェクト別に、入力解析部によって出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった一定期間における軌道情報に基づいて、当該所定時間以後にユーザが予測するであろう各オブジェクトの予測軌道を推定し、当該予測軌道上の前記受付時刻に対応する予測位置と、入力解析部によって生成された位置情報により示される操作位置とが近接する場合に、当該オブジェクトを、ユーザにより選択されたものと判定する判定部として機能する回路を集積する。
【００２０】
本発明は、オブジェクト選択方法に向けられている。そして上記課題を解決するために、本発明のオブジェクト選択方法は、動画中のオブジェクトをユーザに選択させるオブジェクト選択装置におけるオブジェクト選択方法であって、前記オブジェクト選択装置に、外部の表示装置に動画を表示させる映像処理ステップと、映像処理ステップにより表示させた動画のデータを記憶する記憶ステップと、前記表示装置に表示されている動画内の、任意の１つのオブジェクトの表示位置を、ユーザが指示しようと試みる入力操作を受け付ける入力ステップと、入力ステップにより入力操作を受け付けたときの受付時刻を示す時刻情報と、当該操作された動画内の操作位置を示す位置情報とを、生成する入力解析ステップと、記憶ステップにより記憶された動画のデータに基づいて、当該動画内の１つ又は複数のオブジェクトを抽出し、それぞれのオブジェクトの軌跡を解析して、オブジェクト別に、個々のオブジェクトの軌道履歴を示す軌道情報を生成する映像解析ステップと、オブジェクト別に、入力解析ステップにより出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった一定期間における軌道情報に基づいて、当該所定時間以後にユーザが予測するであろう各オブジェクトの予測軌道を推定し、当該予測軌道上の前記受付時刻に対応する予測位置と、入力解析ステップにより生成された位置情報により示される操作位置とが近接する場合に、当該オブジェクトを、ユーザにより選択されたものと判定する判定ステップとを含む。
【発明の効果】
【００２１】
以上のように、本発明においては、画面に表示された映像中のオブジェクトをユーザに選択させるオブジェクト選択装置において、選択対象のオブジェクトが画面内を移動する場合に、ユーザの入力操作を受け付け、受付時刻の所定時間前の時点からさらに過去にさかのぼった一定期間における軌道情報に基づいて各オブジェクトの予測軌道を推定し、予測軌道上の受付時刻に対応する予測位置と操作位置とが近接する場合に、該当するオブジェクトを、ユーザにより指示されたものと判定することができる。よって、オブジェクトの過去の軌跡を見たユーザが予測するであろうオブジェクトの位置を推測して、ユーザによる入力操作時の実際のオブジェクトの位置に関係なく、ユーザが選択したかったオブジェクトを正しく選択することが可能となる。
【図面の簡単な説明】
【００２２】
【図１】第１の実施形態に係るオブジェクト選択実行システム１の概略を示す図
【図２】入力解析部１５により生成され管理される入力位置情報と入力時刻情報との組の例を示す図
【図３】映像解析部１６により生成されるオブジェクト軌跡情報の一例を示す図
【図４】（ａ）は図３に一例として示した「車Ａ」のオブジェクトの軌跡の概略を示す図であり、（ｂ）は図３に一例として示した「車Ｂ」のオブジェクトの軌跡の概略を示す図
【図５】本実施形態のオブジェクト選択実行システム１におけるオブジェクト選択処理の動作手順を示す図
【図６】判定部１７における予測軌道の推定を含む判定アルゴリズムの手順を示す図
【図７】オブジェクトの軌跡を直線近似する際の概略を説明するための図
【図８】オブジェクトの軌跡を直線近似する際の概略を説明するための図
【図９】オブジェクトの軌跡を直線近似する際の概略を説明するための図
【図１０】オブジェクトの軌跡を直線近似する際の概略を説明するための図
【図１１】判定部１７における予測軌道の推定を含む判定アルゴリズムの手順を示す図の前半
【図１２】判定部１７における予測軌道の推定を含む判定アルゴリズムの手順を示す図の後半
【図１３】オブジェクトの軌跡を曲線近似する際の概略を説明するための図
【図１４】オブジェクトの軌跡を曲線近似する際の概略を説明するための図
【図１５】オブジェクトの軌跡を曲線近似する際の概略を説明するための図
【図１６】オブジェクトの軌跡を曲線近似する際の概略を説明するための図
【図１７】判定部１７における予測軌道の推定を含む判定アルゴリズムの手順を示す図の前半
【図１８】判定部１７における予測軌道の推定を含む判定アルゴリズムの手順を示す図の後半
【図１９】オブジェクト軌跡から移動パターンを検出する際の概略を説明するための図
【図２０】第２の実施形態に係るオブジェクト選択実行システム２の概略を示す図
【図２１】本実施形態のオブジェクト選択実行システム２におけるオブジェクト選択処理の動作手順を示す図
【図２２】ユーザが車Ａの動作を予測してタッチパネルを触ったときの様子を示す図
【発明を実施するための形態】
【００２３】
［第１の実施形態］
＜概要＞
本実施形態は、画面に表示された映像中のオブジェクトをユーザに選択させ、選択されたオブジェクトに関する情報を検索して表示する等の所定の処理を実行するシステムにおいて、選択対象のオブジェクトが画面内を移動する場合に、ユーザが画面内の任意の位置を、マウスでクリックする等して指示すると、入力以前の所定期間のオブジェクトの軌道に基づいて、入力時にユーザが過去の軌跡から予測するであろうオブジェクトの存在位置を推定し、ユーザが指示した位置と推定した存在位置とが一致するオブジェクトを選択する。これにより、ユーザは、違和感無く感覚的に、所望するオブジェクトを選択することができる。
【００２４】
＜構成＞
図１は、第１の実施形態に係るオブジェクト選択実行システム１の概略を示す図である。
図１に示すオブジェクト選択実行システム１は、オブジェクト選択装置１０、及び表示装置１９から構成される。
図１に示すように、オブジェクト選択装置１０は、表示装置１９の画面上に表示された映像中のオブジェクトをユーザに選択させ、選択されたオブジェクトに関する所定の処理を実行する装置であり、映像入手部１１、映像処理部１２、映像記憶部１３、操作入力部１４、入力解析部１５、映像解析部１６、判定部１７、実行部１８、及び表示装置１９と接続するためのインタフェース（不図示）を備えている。
【００２５】
ここで、オブジェクト選択装置１０は、本実施形態の機能のみを備える専用機器であってもよいし、例えば、携帯電話や携帯情報端末等の通信機能を備えるモバイル機器、デジタルカメラやビデオカメラなどの撮影機器、放送波を受像して再生表示するテレビ受像機、及びパーソナルコンピュータ等の情報機器等の他の機器が備える機能を合わせ持つ複合機器であってもよい。
表示装置１９は、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ等の表示デバイスであり、インタフェースによりオブジェクト選択装置１０と接続されて、動画を表示したり、ポインティングデバイスのポインタ等を表示する。
【００２６】
映像入手部１１は、放送波によって受信したり、ＤＶＤなどのパッケージメディアから読み出された映像コンテンツを入手する。
映像処理部１２は、映像入手部１１によって入手された映像コンテンツを必要に応じてデコードし、表示装置１９が表示できるフォーマットである映像データに変換し、これを表示装置１９へ出力して、表示装置１９に動画を表示させる。また、映像処理部１２は、表示装置１９へ出力した映像データを、映像記憶部１３へ出力して記憶させる。
表示装置１９に表示される動画は、テレビなどの放送される番組の画像、ビデオやＤＶＤなどのパッケージメディアの再生画像、ネットワークを通じでダウンロードされるデータの再生画像、あるいはプログラムで制御される画像などであり、オブジェクトが画面上を移動するような画像であれば何であってもよい。なお、表示装置１９に表示される動画はビデオカメラ等からのリアルタイム入力に基づく生映像であってもよい。
【００２７】
ここで映像入手部１１により入手される映像コンテンツには、当該映像コンテンツにより得られる画像中のオブジェクトの位置情報と、画像の再生時の時刻とが対応付けられているメタ情報が付加されている。なお、メタ情報は、必ずしも映像コンテンツに直接付加しなくてもよいので、例えば映像コンテンツのパッケージに映像コンテンツとは別に組み込むこともできるし、別途ネットワークからダウンロードすることもできる。
映像記憶部１３は、映像処理部１２から出力された映像データを一時的に記憶し、映像処理部１２が表示装置１９に映像データを映像として表示した後も、少なくとも映像解析部１６により使用される可能性がある所定時間分の映像データを保持する。
【００２８】
操作入力部１４は、タッチパネルやマウスなどのポインティングデバイスを接続する接続インタフェースを備え、接続されたポインティングデバイスを用いて、表示装置１９に表示されている動画内の任意の１つのオブジェクトの表示位置をユーザが指示しようと試みる入力操作を受け付けて、当該入力操作に係る操作情報と座標を示す入力位置情報とを入力解析部１５に通知する。具体的には、例えば、ユーザがタッチパネルに触れた時、あるいはマウスのボタンを押した時に、入力開始を示す操作情報「プッシュ（Ｐｕｓｈ）」とその操作時刻を通知し、ユーザがタッチパネルから指を離した時、あるいはマウスのボタンを離した時に、入力終了を示す操作情報「リリース（Ｒｅｌｅａｓｅ）」を通知し、また少なくともユーザがタッチパネルに触れている間、あるいはマウスのボタンを押している間に、ユーザが触れている座標を示す入力位置情報、あるいはポインタが表示されている座標を示す入力位置情報を逐次通知する。
【００２９】
入力解析部１５は、操作入力部１４から操作情報と入力位置情報とを受け取り、操作情報「プッシュ」を受け取ってから、操作情報「リリース」を受け取るまでの間に、所定のサンプリング間隔で、受け取った入力位置情報と受け取った時の時刻を示す入力時刻情報との組を生成し、管理する。本実施形態ではサンプリング間隔を０．１秒とする。また、入力解析部１５は、生成した組が複数ある場合に、各々の入力位置情報が所定の比較的狭い範囲以内であるか否かを判定し、当該範囲以内である場合に略同一位置がユーザに指示されたものと判断して、代表的な１つの組（例えば入力時刻情報が最も早い時刻を示す組）を選択する、あるいは複数の組の入力位置情報と入力時刻情報とを平均する等の方法により１つの組に統合する。また、生成した組が複数あり、かつ当該範囲以内でない場合には、略同一位置ではないと判断して１つの組には統合しない。
【００３０】
図２（ａ）〜（ｃ）は、入力解析部１５により生成され管理される入力位置情報と入力時刻情報との組の例を示す図である。ここで、「時刻」の欄の記載は、左から各２個の数字がそれぞれ、時、分、秒、１／１００秒に対応し、表示中の映像の再生開始時刻を基準とする相対的な時刻を示す。例えば「００：０１：０６：１０」は０時１分６秒１０に対応する。なお「時刻」の欄に記載した入力時刻情報には、システムで一意の時刻を用いてもよい。
また「ｘ」の欄の記載は画像の左端をゼロとし、右端を１２８０としたときの左右方向の座標値を示し、「ｙ」の欄の記載は画像の下端をゼロとし上端を９６０としたときの上下方向の座標値を示す。
【００３１】
図２（ａ）に示すように、例えば、ユーザがマウスで素早く１回クリックしたり、タッチパネルでタップしたことにより、組が１つだけ生成された場合には、この組がそのまま利用される。図２（ｂ）は、例えば、ユーザがマウスでゆっくり１回クリックしたり、タッチパネルで一箇所に触れ一定時間後に手を離したことにより、組が複数生成され、かつ各々の入力位置情報が所定の比較的狭い範囲以内の場合であり、ここでは、「ｘ」及び「ｙ」の座標値のばらつきが、両方とも所定の比較的狭い範囲である「５０」以内に入っているので略同一位置であると判断されて、図２（ａ）に示すような１つの組に統合される。図２（ｃ）は、例えば、ユーザがマウスでドラッグしたり、タッチパネルでスライド操作を行い一定時間後に手を離したことにより、組が複数生成され、かつ各々の入力位置情報が所定の比較的狭い範囲以内でない場合であり、ここでは、「ｘ」及び「ｙ」の座標値のばらつきが、所定の比較的狭い範囲である「５０」以内に入っていないので、略同一位置でないと判断されて１つの組には統合されないで、これら組がそのまま利用される。
【００３２】
入力解析部１５によって生成された１つ、又は複数の入力位置情報と入力時刻情報との組は、判定部１７へと渡される。また、入力解析部１５は、有効な入力が得られた後に、映像解析部１６へ処理開始を指示する。なお、この指示を行う際に、映像解析部１６における処理を必要とする時間的な範囲を正確に特定にするために、ここで生成した入力時刻情報を添付してもよい。また、映像解析部１６への処理開始の指示は、入力解析部１５ではなく、操作入力部１４や判定部１７等の他の構成要素が与えることとしてもよい。
【００３３】
映像解析部１６は、処理開始の指示を契機として、既に表示された過去の所定時間分の映像データを映像記憶部１３から読み出し、この映像データからユーザが選択可能なオブジェクトを１つ又は複数個抽出し、抽出した各オブジェクトの軌跡を示すオブジェクト軌跡情報を生成する。ここで、オブジェクト軌跡情報とは、時系列に各オブジェクトの位置を示す時系列データであり、具体的には、オブジェクト毎の、所定のサンプリング間隔毎の時刻情報であるオブジェクト時刻情報と、各々の時刻にオブジェクトが表示されている位置を示すオブジェクト位置情報との組の集まりである。
【００３４】
より詳細には、映像解析部１６は、まず映像データの解析を行い、映像コンテンツに付加されているメタ情報から、映像データ中の各オブジェクトを抽出し、抽出したオブジェクト毎のオブジェクト位置情報とオブジェクト時間情報とを取得する。また、映像解析部１６は、例えば、認識対象となるオブジェクトの情報を予め保持しておき、画像認識処理により画像からパターンマッチングするなどして、画像中のオブジェクトを抽出することもできる。
【００３５】
図３（ａ）〜（ｃ）は、映像解析部１６により生成されるオブジェクト軌跡情報の一例を示す図である。
図３（ａ）において、オブジェクトが「車Ａ」と「車Ｂ」の二つあり、各オブジェクトに対応してそれぞれ図３（ｂ）及び図３（ｃ）のテーブルアドレスが保持され、当該各テーブルアドレスにより示される記憶領域にオブジェクト軌跡情報が保持されている。またここで、「時刻」の欄、「ｘ」の欄、及び「ｙ」の欄の記載の意味は、図２と同様である。
図４（ａ）は図３に一例として示した「車Ａ」のオブジェクトの軌跡の概略を示す図であり、図４（ｂ）は図３に一例として示した「車Ｂ」のオブジェクトの軌跡の概略を示す図である。
映像解析部１６により生成されたオブジェクト軌跡情報は、判定部１７に渡される。またオブジェクト軌跡情報が生成できない等により存在しない場合には、判定部１７にその旨が通知される。
【００３６】
判定部１７は、入力解析部１５から渡された１つ、又は複数の入力位置情報と入力時刻情報との組と、映像解析部１６から渡されたオブジェクト軌跡情報とに基づいて、いくつかの判定アルゴリズムを単独、あるいは組合せで用いて、予測軌跡判定を行い、ユーザが選択しようとしたオブジェクトを特定し、判定結果を実行部１８に渡す。
例えば一つの判定アルゴリズムは、オブジェクト別に、映像解析部１６から渡されたオブジェクト軌跡情報に基づいて、オブジェクトが実際に動いた過去の軌跡と、入力解析部１５から渡された入力位置情報とを比較し、それらの距離が所定以内である近接するオブジェクトを、ユーザにより指示されたものであると特定する。
【００３７】
例えば別の一つの判定アルゴリズムは、オブジェクト別に、映像解析部１６から渡されたオブジェクト軌跡情報中の、入力解析部１５から渡された入力時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった一定期間におけるオブジェクト軌跡情報に基づいて、ユーザが当該受付時刻近辺において表示されていると予測するであろう各オブジェクトの予測軌道を推定する。そして、この予測軌道と、入力解析部１５から渡された入力位置情報とを比較し、それらの距離が所定以内である近接するオブジェクトを、ユーザにより指示されたものであると特定する。
予測軌道を推定する方法については別途以下に詳細に記載する。
【００３８】
ここで複数のオブジェクトが選択対象の条件を満たすと判定された場合には、予め各オブジェクトに優先度を付けておき、優先度が一番高いオブジェクトを１つ選択してもよいし、優先度が高い順に３つなど、複数選択してもよい。また、選択対象の条件を満たすオブジェクトの全てを実行部１８に渡してもよい。また、ここで、優先度ではなく、選択対象の条件に基づいて一致度を計算し、より一致度が高いオブジェクトを１つないし複数選択してもよい。
【００３９】
実行部１８は、判定結果を受け取ると、判定部１７によってユーザが選択しようとしたと判定されたオブジェクトに関する処理を実行する。例えば実行部１８は、当該オブジェクトの色を変更する、当該オブジェクトを点滅させる、当該オブジェクトのサイズを変更するなど、オブジェクトに視覚的な変更を行うことを映像処理部１２に指示する。また、例えば実行部１８は、当該オブジェクトに予め関連付けられたアドレス情報を用いて、ネットワークにアクセスして、外部から当該オブジェクトに関連する関連情報の取得を行い、さらに当該関連情報を表示装置１９に表示させることを外部の機器や映像処理部１２に指示する。また、例えば実行部１８は、選択されたオブジェクトに関連付けられたプログラムを実行する。また、表示装置１９に表示させる情報は、オブジェクトの情報を文字データで直接記載した物でもよいし、オブジェクトの詳細情報が得られるＵＲＬであってもよい。ユーザは、表示装置１９に表示されたＵＲＬが示す情報にアクセスすることで、オブジェクトに関するより詳細な情報を得ることができる。なお、実行部１８は外部の別の装置であってもよい。
【００４０】
＜動作＞
図５は、本実施形態のオブジェクト選択実行システム１におけるオブジェクト選択処理の動作手順を示す図である。
（１）ユーザからの視聴指示の操作等の、動画の表示を指示するイベントが発生するまで待つ（ステップＳ１）。
（２）動画の表示を指示するイベントが発生すると（ステップＳ１：Ｙｅｓ）、映像処理部１２が、生成した映像データを表示装置１９に出力して、表示装置１９に動画を表示させる（ステップＳ２）。
（３）表示装置１９による動画の表示が終了したか否かを判断する（ステップＳ３）。表示装置１９による動画の表示が終了している場合には、動画の表示を指示するイベントの発生待ち（ステップＳ１）に戻る。
【００４１】
（４）表示装置１９による動画の表示が終了していない場合には（ステップＳ３：Ｎｏ）、入力解析部１５が、操作入力部１４から入力操作情報「プッシュ（Ｐｕｓｈ）」を受け取るまで待つ（ステップＳ４）。
（５）入力解析部１５が、操作入力部１４から操作情報「プッシュ（Ｐｕｓｈ）」を受け取ると（ステップＳ４：Ｙｅｓ）、続いて操作入力部１４から入力位置情報を受け取り、入力時刻情報を付加して記憶する（ステップＳ５）。
（６）入力解析部１５が、操作入力部１４から操作情報「リリース（Ｒｅｌｅａｓｅ）」を受け取るまで待つ（ステップＳ６）。
【００４２】
（７）操作情報「リリース（Ｒｅｌｅａｓｅ）」を受け取っていない場合は（ステップＳ６：Ｎｏ）、サンプリング間隔が経過したか否かを判断する（ステップＳ７）。
（８）操作情報「リリース（Ｒｅｌｅａｓｅ）」を受け取らないまま、サンプリング間隔が経過すると（ステップＳ７：Ｙｅｓ）、入力解析部１５が、操作入力部１４から入力位置情報を受け取り、入力時刻情報を付加して記憶する（ステップＳ８）。
（９）タイムアウトしたか否かを判定する（ステップＳ９）。本実施形態ではタイムアウトの時間を２秒とする。なお、ここでタイムアウトを判定せずに、生成した組の個数をカウントして、所定の個数が得られたか否かを判定してもよい。ここでは所定の個数を２０個とする。またタイムアウトの判定も個数の判定も設けない構成であってもよい。
【００４３】
（１０）操作情報「リリース（Ｒｅｌｅａｓｅ）」を受け取るか（ステップＳ６：Ｙｅｓ）、タイムアウトした場合に（ステップＳ９：Ｙｅｓ）、入力解析部１５が、生成した組が複数あるか否かを判断する（ステップＳ１０）。
（１１）生成した組が複数ある場合には（ステップＳ１０：Ｙｅｓ）、入力解析部１５が、各々の入力位置情報が所定の比較的狭い範囲以内であるか否かを判定する（ステップＳ１１）。本実施形態では座標値がｘｙ方向とも「５０」以内に入っているか否かを判定する。
（１２）各々の入力位置情報が所定の比較的狭い範囲以内である場合には（ステップＳ１１：Ｙｅｓ）、入力解析部１５が、１つの組に統合する（ステップＳ１２）。本実施形態で時間的に最も早い組のみを残し、他の組を削除する。
【００４４】
（１３）入力解析部１５が、生成した１つ、又は複数の入力位置情報と入力時刻情報との組を判定部１７へと渡し、映像解析部１６へ処理開始を指示する（ステップＳ１３）。なお、映像解析部１６への処理開始の指示には、ここで生成した入力時刻情報が添付されているものとする。
（１４）映像解析部１６が処理開始の指示を受けると、表示済の動画に対応する映像データを映像記憶部１３から取得して解析を開始する。より詳細には、映像解析部１６が、指示に添付された入力時刻情報が示す時刻の所定時間前の時点から、さらに過去へさかのぼった一定期間における各オブジェクトの軌道を示すオブジェクト軌跡情報を、映像入手部１１により入手された映像コンテンツに付加されているメタ情報から取得して判定部１７に渡す。またオブジェクト軌跡情報が存在しない場合には、判定部１７にその旨を通知する（ステップＳ１４）。本実施形態では、入力時刻情報が示す時刻の０．５秒前の時点から、さらに過去へ１秒さかのぼった１秒間における各オブジェクト毎のオブジェクト軌跡情報を取得して判定部１７に渡す。
【００４５】
（１５）判定部１７が、入力解析部１５から渡された１つ、又は複数の入力位置情報と入力時刻情報との組と、映像解析部１６から渡されたオブジェクト軌跡情報とに基づいて、いくつかの判定アルゴリズムを単独、あるいは組合せて用いて、予測軌跡判定を行い、ユーザが選択しようとしたオブジェクトを特定し、判定結果を実行部１８に渡す（ステップＳ１５）。ここで、映像解析部１６からオブジェクト軌跡情報が存在しない旨の通知を受けた場合には、ここでは何もしない。
（１６）ユーザが選択しようとしたオブジェクトが１つでも決定されているか否かを判断する（ステップＳ１６）。
（１７）オブジェクトが１つでも特定されている場合（ステップＳ１６：Ｙｅｓ）には、実行部１８が、判定部１７によって決定されたオブジェクトに関する処理を実行する（ステップＳ１７）。
（１８）オブジェクトが１つも特定されていない場合には（ステップＳ１６：Ｎｏ）、エラーメッセージ等を表示して、オブジェクトの特定に失敗した旨の表示を行う（ステップＳ１８）。
【００４６】
＜予測軌道を推定する方法１の詳細な説明＞
以下に、判定部１７における予測軌道を推定する方法１について説明する。
予測軌道を推定する方法１では、過去のオブジェクト軌跡情報から近似直線を算出し、この近似直線をオブジェクトの移動方向に伸張し、伸張した部分を予測軌道とする。
図６は、判定部１７における予測軌道の推定を含む判定アルゴリズムの手順を示す図であり、図５に示したオブジェクト選択処理の動作手順におけるステップＳ１５のサブルーチンに相当する。
【００４７】
（１）未処理のオブジェクトがあるか否かを判定する（ステップＳ２１）。
（２）未処理のオブジェクトがある場合には、判定部１７が、未処理のオブジェクトのうちの１つを処理対象とする（ステップＳ２２）。
（３）過去のオブジェクト軌跡情報から近似直線を算出する（ステップＳ２３）。
ここでは、入力時刻情報により示される受付時刻よりも少し前の時点からさらに過去にさかのぼった一定期間を対象に、近似直線を算出する。本実施形態では、受付時刻よりも０．５秒前の時点からさらに１秒さかのぼった、１．５秒前から０．５秒前までの１秒間を対象に近似直線を算出する。なお、この１秒間におけるオブジェクトの動きが大きすぎるときにはうまく直線近似ができない可能性が高いので、Ｘ方向、およびＹ方向のいずれか一方の移動量が例えば座標値「５００」を越える場合には、この座標値「５００」の範囲内を対象に、近似直線を算出してもよい。
【００４８】
図７〜１０は、オブジェクトの軌跡を直線近似する際の概略を説明するための図である。
図７に示すように、算出対象の期間におけるオブジェクト軌跡情報が、点「Ｐ０，Ｐ１，．．．，Ｐｎ」により構成されているものとする。そこで、これらの座標値「（ｘ０，ｙ０），（ｘ１，ｙ１），．．．，（ｘｎ，ｙｎ）」から最小２乗法を用いて近似直線「ｙ＝ａｘ＋ｂ」を求める。ここでａ，ｂは定数である。
ここで最小２乗法とは、個々の近似値と測定値との誤差の２乗の総和が最小になるような近似直線を求めるものである。
従って、近似直線を「ｙ＝ａｘ＋ｂ」とすると、近似直線「ｙ＝ａｘ＋ｂ」は、
【００４９】
【数１】

【００５０】
が最小となるときのａ、ｂの値を求めることにより算出される。
ここで（式１）はａ，ｂを変数とする多変数関数である。
多変数関数には、その全ての偏微分係数が同時に０になる時に最小値をとるという性質があり、この性質を利用してこれを解くことができる。まず、ａ、ｂによる偏微分を行い、これらに測定値を代入することにより、近似直線の係数を求める連立方程式を作成する。そして、この連立方程式を行列計算などを用いて解けば、ａ、ｂを求めることができ、図８に示すような近似直線「ｙ＝ａｘ＋ｂ」が得られる。
（４）図９に示すように、各構成の点から、近似直線「ｙ＝ａｘ＋ｂ」上に垂線を下ろし、各構成の点を近似直線上の点「Ｐ’０（ｘ’０，ｙ’０），Ｐ’１（ｘ’１，ｙ’１），．．．，Ｐ’ｎ（ｘ’ｎ，ｙ’ｎ）」に置き換え、近似直線の有効範囲（Ｐ’０〜Ｐ’ｎ）を特定し、近似直線上のオブジェクトの速度を算出する（ステップＳ２４）。例えば、平均速度を算出するのであれば、受付時刻よりも０．５秒前の点に相当する座標値（ｘ’１０、ｙ’１０）と、受付時刻よりも１．５秒前の点に相当する座標値（ｘ’０、ｙ’０）との差分をとり（ｘ’１０−ｘ’０、ｙ’１０−ｙ’０）、これをｘ、ｙ成分について二乗平均して経過時間（ここでは１，５秒−０．５秒＝１秒）で割ると秒速が得られる（以下の式２）。
√｛（ｘ’１０−ｘ’０）²＋（ｙ’１０−ｙ’０）²｝／１［ドット／秒（ｄｏｔ/ｓ）］
・・・（式２）
【００５１】
（５）図１０に示すように、上で求めた近似直線の有効範囲（Ｐ’０〜Ｐ’ｎ）から、オブジェクトの移動方向にまっすぐ伸張した部分を予測軌道（図中太線）とし、上で求めた速度を用いて、受付時刻に対応する予測軌道上の座標値（Ｘ、Ｙ）を算出する（ステップＳ２５）。例えば、受付時刻よりも０．５秒前の点に相当する予測軌道上の点と受付時刻の点に相当する予測軌道上の点との距離は、上記差分（ｘ’１０−ｘ’０、ｙ’１０−ｙ’０）の丁度半分に相当するので、受付時刻に対応する予測軌道上の座標値は以下の（式３）により算出される。
（ｘ’１０＋（ｘ’１０−ｘ’０）／２、ｙ’１０＋（ｙ’１０−ｙ’０）／２）
・・・（式３）
なお、ステップＳ２４においてオブジェクトの速度を算出する際に、近似直線の有効範囲を複数の区間に分割して、それぞれの区間について速度を計算し、計算したそれぞれの速度から速度の変化率を算出し、ステップＳ２５において受付時刻に対応する座標値を算出する際に、ステップＳ２４において算出した速度の変化率を用いて、速度を変化させながら所定時間分だけ移動させた位置を予測位置としてもよい。
【００５２】
（６）算出した受付時刻の点に相当する予測軌道上の座標値と、入力解析部１５から渡された入力位置情報とを比較し、これらの距離が所定以内であるか否かを判定して、これらが近接するか否かを判断する（ステップＳ２６）。例えば、これらの直線距離が１つでも座標値で５０以内であれば所定以内であると判断する。
（７）所定以内である場合には（ステップＳ２６：Ｙｅｓ）、処理対象のオブジェクトをユーザにより指示されたものの候補とし、次のオブジェクトに対する処理（ステップＳ２１）へ行く（ステップＳ２７）。
【００５３】
所定以内でない場合には（ステップＳ２６：Ｎｏ）、何もせずに次のオブジェクトに対する処理（ステップＳ２１）へ行く。
（８）全てのオブジェクトに対する処理が終了すると（ステップＳ２１：Ｎｏ）、ユーザにより指示されたものの候補のオブジェクトの情報が判定結果として実行部１８に渡され、実行部１８が、候補のオブジェクトに関する処理を実行する（ステップＳ２８）。ここで、候補とされたオブジェクトが１つの場合には、そのままその１つのオブジェクトに関する処理を実行する。候補とされたオブジェクトが複数ある場合には、その複数の全てのオブジェクトに関する処理を実行してもよいし、また入力位置により近いものから順にオブジェクトの画像と共に表示するなどして、ユーザに選択させてもよい。
【００５４】
なお、本実施形態では、算出した近似直線が、どの程度実際のオブジェクトの軌跡と近似しているかを評価することなく、常に算出した近似直線を用いて予測軌道を推定しているが、算出した近似直線と実際のオブジェクトの軌跡との類似度を評価して、評価結果がある程度より良い場合にのみ予測軌道の推定を行うようにしてもよい。例えば、算出した近似直線と、過去のオブジェクト軌跡情報における個々のオブジェクトの位置との距離が所定の限度値を越えるか否かを判定し、１つも限度値を越えない場合、あるいは平均値が限度値を越えない場合等に限り、近似直線に基づいて予測軌道を推定するようにしてもよい。
【００５５】
［第１の変形例］
本変形例は、第１の実施形態の判定部１７における予測軌道の推定、及び、当該予測軌道の推定を含む判定アルゴリズムの他の例である。
＜予測軌道を推定する方法２の詳細な説明＞
以下に、判定部１７における予測軌道を推定する方法２について説明する。
予測軌道を推定する方法２では、過去のオブジェクト軌跡情報から近似直線を算出し、この近似直線の有効性を評価して、有効と判断された場合にのみ、上記第１の実施形態における方法１と同様に、この近似直線をオブジェクトの移動方向にまっすぐそのまま延長し、延長した部分を予測軌道とする。また有効と判断されなかった場合には、過去のオブジェクト軌跡情報から近似曲線を算出し、この近似曲線をオブジェクトの移動方向に延長し、延長した部分を予測軌道とする。
【００５６】
また、第１の変形例では、上記判定アルゴリズムにおいて、予測軌道判定を行う前に、過去のオブジェクトの軌跡による過去軌跡判定を行い、該当するオブジェクトが見つからない場合に、近似直線による予測軌道判定を行い、さらに、近似曲線による予測軌道判定を行う。
図１１、１２は、判定部１７における予測軌道の推定を含む判定アルゴリズムの手順を示す図であり、図５に示したオブジェクト選択処理の動作手順におけるステップＳ１５のサブルーチンに相当する。なお、第１の実施形態の図６と同様の処理を行うステップには同一番号を付し、その詳細な説明を省略する。
【００５７】
（１）〜（２）図６の（１）〜（２）と同様の処理を行う（ステップＳ２１〜ステップＳ２２）。
（３）過去のオブジェクト軌跡情報と、入力解析部１５から渡された入力位置情報とを比較し、過去のオブジェクトの軌跡と入力位置との距離から、当該オブジェクトの近似度を示す点数を算出する（ステップＳ３１）。例えば、複数の過去のオブジェクトの位置と、１つ又は複数の入力位置とを総当りで各距離を算出し、オブジェクトａについて、最も近い距離をＺａとするとき、このときの近似度Ｐａを、
Ｐａ＝１００／（Ｚａ＋１）・・・（式４）
で表す。
（式４）によれば、近似度を示す点数は、過去のオブジェクトの位置と入力位置とが遠いほど０点に近づき、近いほど１００点に近づく。
【００５８】
あるいは、（式４）に、さらに時間的要素を追加することもできる。
例えば、入力時刻情報により示される時刻をＴ０、オブジェクトａが最も近い距離Ｚａであるときの時刻をＴａとするとき、このときの近似度Ｐａを、
Ｐａ＝（１００／（Ｚａ＋１））／（｜Ｔａ−Ｔ０｜＋１）・・・（式５）
で表す。
（式５）によれば、近似度を示す点数は、過去のオブジェクトの位置及び時刻と入力位置及び時刻とが遠いほど０点に近づき、近いほど１００点に近づく。
【００５９】
（４）算出した近似度と上位閾値とを比較して、当該オブジェクトの過去の軌跡と入力位置とが近接するか否かを判断する（ステップＳ３２）。例えば、上記近似度を示す点数が７０点以上であれば近接すると判断する。
（５）近接する場合には（ステップＳ３２：Ｙｅｓ）、処理対象のオブジェクトをユーザにより指示されたものの候補とし、次のオブジェクトに対する処理（ステップＳ２１）へ行く（ステップＳ３３）。
（６）近接しない場合には（ステップＳ３２：Ｎｏ）、図６の（３）と同様の処理を行う（ステップＳ２３）。
【００６０】
【００６０】
（７）算出した近似直線と実際のオブジェクトの軌跡とが類似しているか否かを判断する（ステップＳ３４）。例えば、算出した近似直線と、過去のオブジェクト軌跡情報における個々のオブジェクトの位置との距離が所定の限度値を越えるか否かを判定し、１つも限度値を越えない、あるいは平均値が限度値を越えない場合に、算出した近似直線が実際のオブジェクトの軌跡と類似していると判断する。
類似していない場合には（ステップＳ３４：Ｎｏ）、近似曲線による予測軌道判定（ステップＳ３８）へ行く。
【００６１】
（８）〜（９）類似している場合には（ステップＳ３４：Ｙｅｓ）、図６の（４）〜（５）と同様の処理を行う（ステップＳ２４〜ステップＳ２５）。
（１０）算出した受付時刻に対応する予測軌道上の座標値と、入力解析部１５から渡された入力位置情報とを比較し、予測軌道上の座標値と入力位置との距離から、当該オブジェクトの近似度を示す点数を算出する（ステップＳ３５）。近似度を示す点数の算出方法は、ステップＳ３１において説明したものと同様である。
（１１）算出した近似度と上位閾値とを比較して、これらが近接するか否かを判断する（ステップＳ３６）。例えば、上記近似度を示す点数が６０点以上であれば近接すると判断する。
【００６２】
（１２）近接する場合には（ステップＳ３６：Ｙｅｓ）、処理対象のオブジェクトをユーザにより指示されたものの候補とし、次のオブジェクトに対する処理（ステップＳ２１）へ行く（ステップＳ３７）。
（１３）近接しない場合には（ステップＳ３６：Ｎｏ）、過去のオブジェクト軌跡情報から近似曲線を算出する（ステップＳ３８）。
ここでは、入力時刻情報により示される受付時刻よりも少し前の時点からさらに過去にさかのぼった一定期間を対象に、近似曲線を算出する。本変形例では、受付時刻よりも０．５秒前の時点からさらに１秒さかのぼった、１．５秒前から０．５秒前までの１秒間を対象に近似曲線を算出する。なお、この１秒間におけるオブジェクトの動きが大きすぎるときにはうまく曲線近似ができない可能性が高いので、Ｘ方向、およびＹ方向のいずれか一方の移動量が例えば座標値「５００」を越える場合には、この座標値「５００」の範囲内を対象に、近似曲線を算出してもよい。
【００６３】
図１３〜１６は、オブジェクトの軌跡を曲線近似する際の概略を説明するための図である。
図１３に示すように、算出対象の期間におけるオブジェクト軌跡情報が、点「Ｐ０，Ｐ１，．．．，Ｐｎ」により構成されているものとする。そこで、図１４に示すように、これらの座標値「（ｘ０，ｙ０），（ｘ１，ｙ１），．．．，（ｘｎ，ｙｎ）」からベジエ曲線を求める。
【００６４】
ここでベジエ曲線（ベジェ曲線とも言う）とは、Ｎ個の制御点から得られるＮ−１次曲線であり、制御点を「Ｐ０，Ｐ１，．．．，Ｐｎ」とすると、ベジエ曲線は、
Ｐ’（ｔ）＝Σ｛ｉ＝０，ｎ｝Ｐ_iＪ_ni（ｔ）
で表せる。
ここで、０≦ｔ≦１
また、Ｐ’（ｔ）は近似曲線上の点を示す。
またＪ_ni（ｔ）は、
Ｊ_ni（ｔ）＝_nＣ_iｔⁱ（１−ｔ）^n-1
_nＣ_i＝ｎ！／ｉ！（ｎ−１）！
なお、ここでベジエ曲線を求める代わりに、スプライン曲線等の補間曲線や、その他の近似曲線を求めてもよい。
【００６５】
（１４）算出した近似曲線と実際のオブジェクトの軌跡と類似しているか否かを判断する（ステップＳ３９）。例えば、算出した近似曲線と、過去のオブジェクト軌跡情報における個々のオブジェクトの位置との距離が所定の限度値を越えるか否かを判定し、１つも限度値を越えない、あるいは平均値が限度値を越えない場合に、算出した近似曲線が実際のオブジェクトの軌跡と類似していると判断する。
類似していない場合には、総合判定（ステップＳ４６）へ行く。
（１５）予測軌道を求める。詳細には、近似曲線を当該オブジェクトの移動方向に、近似曲線と同等の曲がり具合で伸延し、伸延した部分を予測軌道とする（ステップＳ４０）。
まず、Ｐｎにおける近似曲線の傾きを求める。ベジエ曲線では、Ｐｎにおける近似曲線の傾き「ａ」はＰｎとＰ［ｎ−１］を結ぶ直線の傾きと一致するので、Ｐｎにおける近似曲線の傾きａは、
ａ＝（ｘｎ−ｘ［ｎ−１］）／（ｙｎ−ｙ［ｎ−１］）
で表せる。
【００６６】
次に、図１５に示すように、Ｐｎを通り近似曲線に垂直な直線Ａを求める。
ここで直線Ａは、
ｙ＝−１／ａ（ｘ−ｘｎ）＋ｙｎ
で表せる。
それから、図１６に示すように、直線Ａを軸にして、ベジエ曲線Ｂと線対象となる曲線Ｂ’を求め、これを予測軌道（図中太線）とする。
なお、ステップＳ３７において一定の曲率を持つ近似曲線を算出し、ステップＳ３８において、近似曲線を当該オブジェクトの移動方向に、曲率を維持したままで伸延し、伸延した部分を予測軌道としてもよい。
【００６７】
（１６）近似曲線上のオブジェクトの速度を算出する（ステップＳ４１）。
ここでベジエ曲線ＢのＰ０からＰｔまでの長さＬ（ｔ）は、
Ｌ（ｔ）＝∫｛０〜ｔ｝√（（ｄｘ／ｄｔ）²＋（ｄｙ／ｄｔ）²）ｄｔ
で表せる。
Ｌ（ｔ）を経過時間（ここでは１，５秒−０．５秒＝１秒）で割ると秒速が得られる。
（１７）上で求めた速度を用いて、受付時刻に対応する予測軌道上の座標値（Ｘ、Ｙ）を算出する（ステップＳ４２）。
【００６８】
（１８）算出した受付時刻に対応する予測軌道上の座標値（Ｘ、Ｙ）と、入力解析部１５から渡された入力位置情報とを比較し、予測軌道上の座標値と入力位置との距離から、当該オブジェクトの近似度を示す点数を算出する（ステップＳ４３）。近似度を示す点数の算出方法は、ステップＳ３１において説明したものと同様である。
（１９）算出した近似度と上位閾値とを比較して、これらが近接するか否かを判断する（ステップＳ４４）。例えば、上記近似度を示す点数が６０点以上であれば近接すると判断する。
（２０）近接する場合には（ステップＳ４４：Ｙｅｓ）、処理対象のオブジェクトをユーザにより指示されたものの候補とし、次のオブジェクトに対する処理（ステップＳ２１）へ行く（ステップＳ４５）。
【００６９】
（２１）近接しない場合には（ステップＳ４４：Ｎｏ）、過去軌跡判定（ステップＳ３１）、近似直線による予測軌道判定（ステップＳ３５）、及び近似曲線による予測軌道判定（ステップＳ４３）の際の類似度を比較し、最も高い点数の類似度を選択する（ステップＳ４６）。
（２２）選択した類似度と下位閾値とを比較して、これらが近接するか否かを判断する（ステップＳ４７）。例えば、上記近似度を示す点数が５０点以上であれば近接すると判断する。
近接しない場合には（ステップＳ４７：Ｎｏ）、何もせずに次のオブジェクトに対する処理（ステップＳ２１）へ行く。
（２３）近接する場合には（ステップＳ４７：Ｙｅｓ）、処理対象のオブジェクトをユーザにより指示されたものの候補とし、次のオブジェクトに対する処理（ステップＳ２１）へ行く（ステップＳ４８）。
（２４）図６の（８）と同様の処理を行う（ステップＳ２８）。
【００７０】
［第２の変形例］
本変形例は、予測軌道を推定する方法、及び第１の実施形態における判定部１７における予測軌道の推定を含む判定アルゴリズムの他の例である。
＜予測軌道を推定する方法３の詳細な説明＞
以下に、判定部１７における予測軌道を推定する方法３について説明する。
予測軌道を推定する方法３では、過去のオブジェクト軌跡情報から近似直線を算出し、この近似直線の有効性を評価して、有効と判断された場合にのみ、上記第１の実施形態における方法１と同様に、この近似直線をオブジェクトの移動方向にまっすぐそのまま延長し、延長した部分を予測軌道とする。また有効と判断されなかった場合には、過去のオブジェクト軌跡情報から繰り返しパターンを検出し、この繰り返しパターンに基づいて、移動方向に延長した部分を予測軌道とする。
【００７１】
また、第２の変形例では、第１の変形例と同様に、上記判定アルゴリズムにおいて、予測軌道による判定を行う前に、過去のオブジェクトの軌跡による判定を行い、該当するオブジェクトが見つからない場合に、予測軌道判定を行い、さらに、繰り返しパターン判定を行う。
図１７、１８は、判定部１７における予測軌道の推定を含む判定アルゴリズムの手順を示す図であり、図５に示したオブジェクト選択処理の動作手順におけるステップＳ１５のサブルーチンに相当する。なお、第１の実施形態の図６、及び第１の変形例の図１１、１２と同様の処理を行うステップには同一番号を付し、その詳細な説明を省略する。
【００７２】
（１）〜（１２）図１１の（１）〜（１２）と同様の処理を行う（ステップＳ２１〜ステップＳ２２、ステップＳ３１〜ステップＳ３３、ステップＳ２３、ステップＳ３４、ステップＳ２４〜ステップＳ２５、ステップＳ３５〜ステップＳ３７）。
（１３）近接しない場合には（ステップＳ３６：Ｎｏ）、過去のオブジェクト軌跡情報から当該オブジェクトの移動パターンを検出する（ステップＳ５１）。
ここでは、入力時刻情報により示される受付時刻よりも少し前の時点からさらに過去にさかのぼった一定期間を対象に、移動パターンを検出する。本変形例では、受付時刻よりも０．５秒前の時点からさらに数十秒さかのぼった期間を対象に移動パターンを検出する。
【００７３】
図１９は、オブジェクト軌跡から移動パターンを検出する際の概略を説明するための図である。
まず、受付時刻よりも０．５秒前の時点から順にさかのぼっていき、同様のパターンの繰り返しを検出する。
図１９に示すように、例えば自動車のコンテンツがサーキット上を走っているような場合等には、ほぼ同じタイミングで、同じコースをコンテンツが周回する繰り返しパターンが検出される。
（１４）移動パターンが検出されたか否かを判断する（ステップＳ５２）。
移動パターンが検出されなかった場合は、何もせずに総合判定（ステップＳ５５）へ行く。
【００７４】
（１５）移動パターンが検出された場合（ステップＳ５２：Ｙｅｓ）は、予測軌道を求める（ステップＳ５３）。
ここでは検出された移動パターンに基づいて、所定時間以後の当該オブジェクトの軌道を予想し、これを予測軌道とする。
（１６）受付時刻に対応する予測軌道上の座標値を算出する（ステップＳ５４）。
（１７）〜（１９）図１１、１２の（１８）〜（２０）と同様の処理を行う（ステップＳ４３〜ステップＳ４５）
【００７５】
（２０）近接しない場合には（ステップＳ４４：Ｎｏ）、過去軌跡判定（ステップＳ３１）、近似直線による予測軌道判定（ステップＳ３５）、及び繰り返しパターンによる予測軌道判定（ステップＳ４３）の際の類似度を比較し、最も高い点数の類似度を選択する（ステップＳ５５）。
（２１）〜（２３）図１１、１２の（２２）〜（２４）と同様の処理を行う（ステップＳ４７〜ステップＳ４８、ステップＳ２８）。
【００７６】
なお、判定部１７における判定アルゴリズムは、第１の実施形態、及び各変形例における個々の予測軌道の推定処理を、それぞれ単独で用いてもよいし、あるいは複数を適宜組み合わせてもよい。例えば、第１の変形例における曲線近似を用いた予測軌道の推定処理や、第２の変形例における繰り返しパターンによる予測軌道の推定処理を単独で用いてもよいし、これらの推定処理を適宜組み合わせてもよい。また例えば、第１の実施形態における直線近似を用いた予測軌道の推定処理、第１の変形例における曲線近似を用いた予測軌道の推定処理、及び繰り返しパターンによる予測軌道の推定処理の全てを組み合わせて、各々の推定処理において検出されたオブジェクトを全て、ユーザにより指示されたものと判定してもよいし、あるいは近似による誤差等を指標にして、その時々で最も確からしいと思われる予測軌道を用いた推定処理のみを用いてオブジェクトを検出してもよい。
【００７７】
＜まとめ＞
以上説明したように、本実施形態の構成によれば、オブジェクトが画面内を移動する場合に、オブジェクトの過去の軌跡を見たユーザが予測するであろうオブジェクトの位置を推測して、ユーザによる入力操作時の実際のオブジェクトの位置に関係なく、ユーザが選択したかったオブジェクトを正しく選択することが可能となる。
【００７８】
［第２の実施形態］
＜概要＞
本実施形態は、第１の実施形態のオブジェクト選択実行システム１に、さらに選択候補のオブジェクトを提示してユーザに選択させる構成を加えたものである。
＜構成＞
図２０は、第２の実施形態に係るオブジェクト選択実行システム２の概略を示す図である。ここで、第１の実施形態の図１に記載されたオブジェクト選択実行システム１と同様の処理を行う構成には同一番号を付し、その詳細な説明を省略する。
図２０に示すオブジェクト選択実行システム２は、オブジェクト選択装置２０、表示装置１９から構成される。
【００７９】
図２０に示すように、オブジェクト選択装置２０は、第１の実施形態のオブジェクト選択装置１０と同様に、表示装置１９の画面上に表示された映像中のオブジェクトをユーザに選択させ、選択されたオブジェクトに関する所定の処理を実行する装置であり、映像入手部１１、映像処理部１２、映像記憶部１３、操作入力部１４、入力解析部１５、映像解析部１６、判定部１７、実行部１８、及び表示装置１９と接続するためのインタフェース（不図示）を備え、さらに提示部２１、及び選択受付部２２を備えている。
【００８０】
提示部２１は、判定部１７により、１つ、又は複数のオブジェクトが、ユーザにより指示されたものと判定された場合に、選択候補のオブジェクトの画像や概要等を表示装置１９へ提示させて、ユーザに、１つ、又は複数のオブジェクトの選択を即す。
選択受付部２２は、提示部２１によって提示された１つ、又は複数のオブジェクトの中から、ユーザにより選択されたオブジェクトを受け付ける。
実行部１８は、選択受付部２２によって選択が受け付けられたオブジェクトに関する所定の処理を実行し、処理の結果を、表示装置１９に表示させる。
【００８１】
＜動作＞
図２１は、本実施形態のオブジェクト選択実行システム２におけるオブジェクト選択処理の動作手順を示す図である。
ここで、第１の実施形態の図５と同様の処理を行うステップには同一番号を付し、その詳細な説明を省略する。
（１）〜（１４）図５の（１）〜（１４）と同様の処理を行う（ステップＳ１〜ステップＳ１４）。
【００８２】
（１５）判定部１７が、入力解析部１５から渡された１つ、又は複数の入力位置情報と入力時刻情報と組と、映像解析部１６から渡されたオブジェクト軌跡情報とに基づいて、いくつかの判定アルゴリズムを単独、あるいは組合せで用いて、ユーザが選択しようとしたオブジェクトの候補を判定し、判定結果を提示部２１に渡す（ステップＳ６１）。ここで、映像解析部１６からオブジェクト軌跡情報が存在しない旨の通知を受けた場合には、ここでは何もしない。
（１６）図５の（１６）と同様の処理を行う（ステップＳ１６）。
（１７）オブジェクトが１つでも特定されている場合には、提示部２１が、選択候補のオブジェクトの画像や概要等を表示装置１９へ提示させて、ユーザに、１つ、又は複数のオブジェクトの選択を即す（ステップＳ６２）。
【００８３】
（１８）選択受付部２２が、提示部２１によって提示された１つ、又は複数のオブジェクトの中から、ユーザにより選択されたオブジェクトを受け付ける（ステップＳ６３）。ユーザがオブジェクトを１つも選択せずにキャンセルした場合にはここでは何もしない。
（１９）実行部１８が、選択受付部２２によって選択が受け付けられたオブジェクトに関する処理を実行する（ステップＳ６４）。
（２０）図５の（１８）と同様の処理を行う（ステップＳ１８）。
【００８４】
なお、ユーザごとに選択操作の特徴を抽出して学習し、次回以降の判定処理にフィードバックすることもできる。詳細には、あるユーザはオブジェクトの動きに対して比較的遅れて選択することが多いであるとか、あるいは、先の動作を予測して選択することが多いなどの個々のユーザの特徴を抽出して、ユーザ別に、判定のアルゴリズムを変更、あるいはアルゴリズムの重要度を変更してもよい。例えば、先の動作を予測して選択することが多いユーザの場合には、オブジェクトの軌跡の動き予測をするアルゴリズムのみによって判定する。また、判定部１７において、オブジェクトの軌跡を予測するアルゴリズムや、時間を少しずつずらして軌跡の形が似ている度合いを判定するアルゴリズムなどの複数のアルゴリズムを組み合わせて判定することもできる。より詳細には、これら複数のアルゴリズムから判定結果を数値で算出し、それぞれの判定結果に調整のための係数を掛け算し、それらを足し合わせて最終判定結果としてもよい。例えば、先の動作を予測して選択することが多いユーザの場合には、オブジェクトの軌跡の動きを予測するアルゴリズムの係数を他の係数に比べて高くすることにより、判定の精度を上げることができる。
【００８５】
図２２は、ユーザが車Ａの動作を予測してタッチパネルを触ったときの様子を示す図である。図２２において、車Ａが画面左上から画面右下方向へ画面中央部辺りまで進んでいるので、ユーザは、車Ａの進行方向及び速度から車Ａの移動先を予測し（図中点線）、タッチパネルの画面右下に触れ車Ａを選択しようとした。しかしながら、実際の映像では、ユーザの予測に反して、車Ａは進行方向を変え、画面の中央から下方に進んでしまった。このような場合に、従来の装置では車Ａが選択されることはなかったが、本発明のオブジェクト選択装置によれば、ユーザと同様の立場で車Ａの移動先を予測することによって、ユーザの選択しようとした車Ａを対象オブジェクトとして選択することができる。
【００８６】
＜まとめ＞
以上説明したように、本実施形態の構成によれば、上記第１の実施形態と同様の効果を備え、さらに、選択候補をユーザに提示しユーザに選択させるので、ユーザが選択したかったオブジェクトを確実に選択することが可能となる。
なお、上述の実施形態は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述の処理手順をＣＰＵに実行させることができるプログラムを、ＣＰＵに実行させることによっても実現できる。この場合、当該プログラムは、記録媒体を介して記憶装置内に格納された上で実行されてもよいし、記録媒体上から直接実行されてもよい。ここでの記録媒体は、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤ、ＢＤ等の光ディスク、メモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。
【００８７】
以上、本発明の実施の形態を示したが、映像処理部１２、映像記憶部１３、入力解析部１５、映像解析部１６、及び判定部１７は集積回路であるＬＳＩとして実現される。また、これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。例えば、映像に関与する部分（映像処理部１２、映像記憶部１３）、と入力及び解析に関与する部分（入力解析部１５、映像解析部１６、判定部１７）とを、それぞれ個別のＬＳＩとしてチップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００８８】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【００８９】
本願の発明を含む通信システムは、Ｅｔｈｅｒｎｅｔ（登録商標）インタフェース、ＩＥＥＥ１３９４インタフェース、ＵＳＢインタフェース等の信号インタフェースを電力線通信のインタフェースに変換するアダプタの形態を取ることによって、各種のインタフェースを有するパーソナルコンピュータ、ＤＶＤレコーダ、デジタルテレビ、及びホームサーバシステム等のマルチメディア機器に接続することができる。これによって、電力線を媒体としたマルチメディアデータ等のデジタルデータを高速伝送するネットワークシステムを構築することが可能となる。この結果、従来の有線ＬＡＮのようにネットワークケーブルを新たに敷設することなく、家庭、オフィス等に既に設置されている電力線をそのままネットワーク回線として利用できるので、コスト面、設置の容易性からその利便性は大きい。
【００９０】
また、将来的にはパーソナルコンピュータ、ＤＶＤレコーダ、デジタルテレビ、及びホームサーバシステム等のマルチメディア機器が本発明を含む機能を内蔵することにより、マルチメディア機器の電源コードを介して機器間のデータ伝送が可能になる。この場合、アダプタやＥｔｈｅｒｎｅｔ（登録商標）ケーブル、ＩＥＥＥ１３９４ケーブル、ＵＳＢケーブルなどが不要になり、配線が簡略化される。また、ルータを介してインターネットへの接続や、無線ＬＡＮや従来の有線ケーブルのＬＡＮにハブ等を用いて接続することができるので、本発明の高速電力線伝送システムを用いたＬＡＮシステムの拡張に何らの問題も生じない。
【００９１】
また、電力線伝送方式では、通信データが電力線を介して流されるため、無線ＬＡＮのように電波が傍受されてデータが漏洩するという問題が生じない。よって、電力線伝送方式は、セキュリティの面からのデータ保護にも効果を有する。もちろん、電力線を流れるデータは、例えばＩＰプロトコルにおけるＩＰｓｅｃ、コンテンツ自身の暗号化、その他のＤＲＭ（ＤｉｇｉｔａｌＲｉｇｈｔｓＭａｎａｇｅｍｅｎｔ）方式等で保護される。
【００９２】
このように、コンテンツの暗号化による著作権保護機能や本発明の効果（スループットの向上、再送増加やトラフィック変動に柔軟に対応した帯域割り当て）を含めたＱｏＳ（ＱｕａｌｉｔｙｏｆＳｅｒｖｉｃｅ）機能を実装することによって、電力線を用いた高品質なＡＶコンテンツの伝送が可能となる。
以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示にすぎず、その範囲を限定しようとするものではない。従って、本発明の範囲を逸脱することなく種々の改良や変形を行うことができる。
【産業上の利用可能性】
【００９３】
本発明のオブジェクト選択装置は、画像を表示させるあらゆる装置に適用可能であり、ＤＶＤレコーダ、ブルーレイレコーダ、ＨＤＤレコーダ等の各種録画再生装置や、デジタルテレビ等の表示装置、あるいはパーソナルコンピュータ等の拡張機能として利用可能である。また、本発明のオブジェクト選択装置によれば、ユーザが違和感無く感覚的に所望するオブジェクトを選択することができるので、その産業的利用価値は極めて高い。
【符号の説明】
【００９４】
１オブジェクト選択実行システム
２オブジェクト選択実行システム
１０オブジェクト選択装置
１１映像入手部
１２映像処理部
１３映像記憶部
１４操作入力部
１５入力解析部
１６映像解析部
１７判定部
１８実行部
１９表示装置
２０オブジェクト選択装置
２１提示部
２２選択受付部

Claims

動画中のオブジェクトをユーザに選択させるオブジェクト選択装置であって、
外部の表示装置に動画を表示させる映像処理部と、
映像処理部によって表示させた動画のデータを記憶する記憶部と、
前記表示装置に表示されている動画内の、任意の１つのオブジェクトの表示位置を、ユーザが指示しようと試みる入力操作を受け付ける入力部と、
入力部によって入力操作を受け付けたときの受付時刻を示す時刻情報と、当該操作された動画内の操作位置を示す位置情報とを、生成する入力解析部と、
記憶部によって記憶された動画のデータに基づいて、当該動画内の１つ又は複数のオブジェクトを抽出し、それぞれのオブジェクトの軌跡を解析して、オブジェクト別に、個々のオブジェクトの軌道履歴を示す軌道情報を生成する映像解析部と、
オブジェクト別に、前記入力解析部によって出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった、前記受付時刻を含まない一定期間における軌道情報に基づいて、ユーザが当該受付時刻近辺において表示されていると予測するであろう各オブジェクトの予測軌道を推定し、当該予測軌道上の前記受付時刻に対応する予測位置と、入力解析部によって生成された位置情報とを比較し、当該予測位置と当該位置情報との距離が所定以内である近接オブジェクトを、ユーザにより選択されたものと判定する予測軌道判定を行う判定部とを備えることを特徴とする、オブジェクト選択装置。
前記判定部は、
オブジェクト別に、前記一定期間における軌道情報に基づく各オブジェクトの軌道を直線近似して近似直線を生成し、当該近似直線を当該オブジェクトの移動方向に伸延し、伸延した部分を前記予測軌道とすることを特徴とする、請求項１に記載のオブジェクト選択装置。
前記判定部は、
オブジェクト別に、前記近似直線と、当該軌道履歴における個々の位置との距離が所定の限度値を越えるか否かを判定し、当該限度値を越えない場合に限り、当該近似直線に基づいて前記予測軌道を推定することを特徴とする、請求項２に記載のオブジェクト選択装置。
前記判定部は、
オブジェクト別に、前記限度値を越える場合には、前記一定期間における軌道情報に基づいて、当該オブジェクトの近似曲線を算出し、当該近似曲線を当該オブジェクトの移動方向に伸延し、伸延した部分を前記予測軌道とすることを特徴とする、請求項３に記載のオブジェクト選択装置。
前記判定部は、
オブジェクト別に、前記限度値を越える場合には、前記一定期間における軌道情報に基づいて、当該オブジェクトの近似曲線を算出し、当該近似曲線を当該オブジェクトの移動方向に、当該近似曲線と同等の曲がり具合で伸延し、伸延した部分を前記予測軌道とすることを特徴とする、請求項３に記載のオブジェクト選択装置。
前記判定部は、
オブジェクト別に、前記限度値を越える場合には、前記一定期間における軌道情報に基づいて、当該オブジェクトの移動パターンを検出し、当該移動パターンに基づいて、前記所定時間以後の当該オブジェクトの軌道を予想し、予測した軌道を前記予測軌道とすることを特徴とする、請求項３に記載のオブジェクト選択装置。
前記判定部は、
オブジェクト別に、前記一定期間における軌道情報に基づいて、当該オブジェクトの移動速度を算出し、当該オブジェクトを前記所定時間前の時点の位置から、当該移動速度に基づいて速度を一定に保ちながら、当該所定時間分だけ移動させた位置を、前記予測位置とすることを特徴とする、請求項１に記載のオブジェクト選択装置。
前記判定部は、
オブジェクト別に、前記一定期間における軌道情報に基づいて、当該オブジェクトの速度の変化率を算出し、当該オブジェクトを前記所定時間前の時点の位置から、当該速度の変化率に基づいて速度を変化させながら、当該所定時間分だけ移動させた位置を、前記予測位置とすることを特徴とする、請求項１に記載のオブジェクト選択装置。
当該オブジェクト選択装置は、さらに、
前記判定部により、１つ、又は複数のオブジェクトが、ユーザにより指示されたものと判定された場合に、選択候補のオブジェクトを提示して、当該ユーザに、当該１つ、又は複数のオブジェクトの選択を即す提示部と、
提示部によって提示された１つ、又は複数のオブジェクトの中から、ユーザによるオブジェクトの選択を受け付ける選択受付部と、
選択受付部によって選択が受け付けられたオブジェクトに関する所定の処理を実行し、当該処理の結果を、前記外部の表示装置に表示させる実行部とを供えることを特徴とする、請求項１記載のオブジェクト選択装置。
動画中のオブジェクトをユーザに選択させるオブジェクト選択装置により実行されるプログラムであって、
前記オブジェクト選択装置に、
外部の表示装置に動画を表示させる映像処理ステップと、
映像処理ステップにより表示させた動画のデータを記憶する記憶ステップと、
前記表示装置に表示されている動画内の、任意の１つのオブジェクトの表示位置を、ユーザが指示しようと試みる入力操作を受け付ける入力ステップと、
入力ステップにより入力操作を受け付けたときの受付時刻を示す時刻情報と、当該操作された動画内の操作位置を示す位置情報とを、生成する入力解析ステップと、
記憶ステップにより記憶された動画のデータに基づいて、当該動画内の１つ又は複数のオブジェクトを抽出し、それぞれのオブジェクトの軌跡を解析して、オブジェクト別に、個々のオブジェクトの軌道履歴を示す軌道情報を生成する映像解析ステップと、
オブジェクト別に、前記入力解析ステップにより出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった、前記受付時刻を含まない一定期間における軌道情報に基づいて、ユーザが当該受付時刻近辺において表示されていると予測するであろう各オブジェクトの予測軌道を推定し、当該予測軌道上の前記受付時刻に対応する予測位置と、入力解析ステップにより生成された位置情報とを比較し、当該予測位置と当該位置情報との距離が所定以内である近接オブジェクトを、ユーザにより選択されたものと判定する予測軌道判定を行う判定ステップとを実行させることを特徴とする、オブジェクト選択プログラム。
動画中のオブジェクトをユーザに選択させるオブジェクト選択装置に用いられる集積回路であって、
外部の表示装置に動画を表示させる映像処理部、
映像処理部によって表示させた動画のデータを記憶する記憶部、
前記表示装置に表示されている動画内の、任意の１つのオブジェクトの表示位置を、ユーザが指示しようと試みる入力操作を受け付ける入力部、
入力部によって入力操作を受け付けたときの受付時刻を示す時刻情報と、当該操作された動画内の操作位置を示す位置情報とを、生成する入力解析部、
記憶部によって記憶された動画のデータに基づいて、当該動画内の１つ又は複数のオブジェクトを抽出し、それぞれのオブジェクトの軌跡を解析して、オブジェクト別に、個々のオブジェクトの軌道履歴を示す軌道情報を生成する映像解析部、及び、
オブジェクト別に、前記入力解析部によって出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった、前記受付時刻を含まない一定期間における軌道情報に基づいて、ユーザが当該受付時刻近辺において表示されていると予測するであろう各オブジェクトの予測軌道を推定し、当該予測軌道上の前記受付時刻に対応する予測位置と、入力解析部によって生成された位置情報とを比較し、当該予測位置と当該位置情報との距離が所定以内である近接オブジェクトを、ユーザにより選択されたものと判定する予測軌道判定を行う判定部として機能する回路を集積する。
動画中のオブジェクトをユーザに選択させるオブジェクト選択装置におけるオブジェクト選択方法であって、
前記オブジェクト選択装置に、
外部の表示装置に動画を表示させる映像処理ステップと、
映像処理ステップにより表示させた動画のデータを記憶する記憶ステップと、
前記表示装置に表示されている動画内の、任意の１つのオブジェクトの表示位置を、ユーザが指示しようと試みる入力操作を受け付ける入力ステップと、
入力ステップにより入力操作を受け付けたときの受付時刻を示す時刻情報と、当該操作された動画内の操作位置を示す位置情報とを、生成する入力解析ステップと、
記憶ステップにより記憶された動画のデータに基づいて、当該動画内の１つ又は複数のオブジェクトを抽出し、それぞれのオブジェクトの軌跡を解析して、オブジェクト別に、個々のオブジェクトの軌道履歴を示す軌道情報を生成する映像解析ステップと、
オブジェクト別に、前記入力解析ステップにより出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった、前記受付時刻を含まない一定期間における軌道情報に基づいて、ユーザが当該受付時刻近辺において表示されていると予測するであろう各オブジェクトの予測軌道を推定し、当該予測軌道上の前記受付時刻に対応する予測位置と、入力解析ステップにより生成された位置情報とを比較し、当該予測位置と当該位置情報との距離が所定以内である近接オブジェクトを、ユーザにより選択されたものと判定する予測軌道判定を行う判定ステップとを含むことを特徴とする、オブジェクト選択方法。
前記判定部は、
前記予測軌道判定を行う前に、オブジェクト別に、前記入力解析部によって出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった一定期間における軌道情報に基づいて、各オブジェクトが実際に動いた過去の軌跡と、入力解析部によって生成された位置情報とを比較し、当該過去の軌跡と当該位置情報との距離
が所定以内である近接オブジェクトを、ユーザにより選択されたものと判定する過去軌跡判定を行い、
前記過去軌跡判定において近接オブジェクトが存在しない場合に、前記予測軌道判定を行うことを特徴とする、請求項１に記載のオブジェクト選択装置。
前記判定ステップは、
前記予測軌道判定を行う前に、オブジェクト別に、前記入力解析部によって出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった一定期間における軌道情報に基づいて、各オブジェクトが実際に動いた過去の軌跡と、入力解析部によって生成された位置情報とを比較し、当該過去の軌跡と当該位置情報との距離が所定以内である近接オブジェクトを、ユーザにより選択されたものと判定する過去軌跡判定を行い、
前記過去軌跡判定において近接オブジェクトが存在しない場合に、前記予測軌道判定を行うことを特徴とする、請求項１０に記載のオブジェクト選択プログラム。
前記判定部は、
前記予測軌道判定を行う前に、オブジェクト別に、前記入力解析部によって出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった一定期間における軌道情報に基づいて、各オブジェクトが実際に動いた過去の軌跡と、入力解析部によって生成された位置情報とを比較し、当該過去の軌跡と当該位置情報との距離
が所定以内である近接オブジェクトを、ユーザにより選択されたものと判定する過去軌跡判定を行い、
前記過去軌跡判定において近接オブジェクトが存在しない場合に、前記予測軌道判定を行うことを特徴とする、請求項１１に記載のオブジェクト選択装置に用いられる集積回路。
前記判定ステップは、
前記予測軌道判定を行う前に、オブジェクト別に、前記入力解析部によって出力される時刻情報により示される受付時刻の所定時間前の時点から、さらに過去にさかのぼった一定期間における軌道情報に基づいて、各オブジェクトが実際に動いた過去の軌跡と、入力解析部によって生成された位置情報とを比較し、当該過去の軌跡と当該位置情報との距離が所定以内である近接オブジェクトを、ユーザにより選択されたものと判定する過去軌跡判定を行い、
前記過去軌跡判定において近接オブジェクトが存在しない場合に、前記予測軌道判定を行うことを特徴とする、請求項１２に記載のオブジェクト選択方法。