JP5612457B2 - Moving image display device, moving image object search system, moving image display method and program - Google Patents
Moving image display device, moving image object search system, moving image display method and program Download PDFInfo
- Publication number
- JP5612457B2 JP5612457B2 JP2010284113A JP2010284113A JP5612457B2 JP 5612457 B2 JP5612457 B2 JP 5612457B2 JP 2010284113 A JP2010284113 A JP 2010284113A JP 2010284113 A JP2010284113 A JP 2010284113A JP 5612457 B2 JP5612457 B2 JP 5612457B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- data
- image
- past
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Description
この発明は、動画像中の特定部分の画像の探索操作を簡単にする軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラムに関する。 The present invention relates to a trajectory / location history data creation device, a moving image display device, a moving image object search system, and a method and a program thereof that simplify an operation of searching for an image of a specific part in a moving image.
動画像の探索や索引作成（インデキシング）のアルゴリズムに関する研究は古くから行われているが、動画像を探索するための操作手法の研究は、これまであまり行われて来なかった。しかし、撮影技術の進歩や記憶容量の大容量化によって、高解像度の動画像を簡単に長時間記録できるようになり、専門家だけでなく、一般の人も膨大な動画像の中から見たい部分を探し出したいという場面が増えて来ている。 Although research on video search and indexing (indexing) algorithms has been conducted for a long time, there have been few studies on operation techniques for searching for video. However, with the advancement of photography technology and the increase in storage capacity, it has become possible to easily record high-resolution moving images for a long time. The scene that wants to find the part is increasing.
今後、動画像のソースとして増えてくると思われるのが、例えば、様々な場所に防犯や監視などの目的で設置されたカメラで自動的に撮影された映像である。このような定点に設置されたカメラの映像は、これまでは一部の防犯や監視などの専門家が利用するだけであった。しかし、定点に設置されたカメラの映像の中には、見逃した出来事を確認したり、その場がどういう場所かを理解したり、その場でどういう意向決定をすれば良いかを模索したりするための有益な情報が記録されており、一般の人にも利用価値が有るといえる。 In the future, for example, images that are automatically captured by cameras installed for various purposes such as crime prevention and surveillance are expected to increase as sources of moving images. Until now, the images of cameras installed at fixed points have been used only by some experts in crime prevention and surveillance. However, in the video of the camera installed at a fixed point, you can confirm what happened to be missed, understand what the place is, and what kind of intention decision should be made on the spot Useful information is recorded, and it can be said that it is useful for general people.
例えば、駅前の様子が定点カメラで撮影されていたとする。この定点カメラで撮られた映像の一部には、駅前に設置された町内のイベントなどの情報が貼られる掲示板が撮影されている。その掲示板を定期的に見ていた人にとって、例えば長期出張でその間見ることが出来なかった場合に、出張の期間中に、その掲示板にどのような掲示物が貼られ、また、はがされたのかを確認できる有益な情報ソースとなる。 For example, suppose that the situation in front of the station was shot with a fixed point camera. A part of the video taken with this fixed-point camera has a bulletin board with information about events in the town installed in front of the station. For those who regularly viewed the bulletin board, for example, if they were unable to see it during a long business trip, what kind of notices were posted on the bulletin board during the business trip and were removed. It becomes a useful information source that can be confirmed.
最近の動画再生環境の動向を見ると、タッチパネル付きの携帯端末の利用が進み、携帯端末上で映像を見る人が増えて来ている。携帯端末自体の動画の記憶容量は、長時間にわたる動画像の保存には未だ十分とは言い難い。しかし、最近ではサーバ上に置いてある大容量の動画像を携帯端末上で再生するソフトも利用されている。このように、一般の人が日常生活の中で過去の動画を閲覧したい場合に、その映像を見る環境を構築するための技術は整いつつある。 Looking at recent trends in the video playback environment, the use of mobile terminals with touch panels has progressed, and the number of people viewing video on mobile terminals is increasing. It is difficult to say that the storage capacity of the mobile terminal itself for moving images is still sufficient for storing moving images over a long period of time. However, recently, software that plays back a large-capacity moving image on a server on a mobile terminal is also used. As described above, when a general person wants to browse a past video in daily life, a technique for constructing an environment for viewing the video is being prepared.
上記した例の場合も、駅前の様子を撮影している定点カメラが記録した動画像がネットワーク上に公開されているのであれば、携帯端末上でその動画像を指定して閲覧すれば良い。しかし、このような定点に設置され自動的に撮影し続けられた動画像は、容易に膨大となり、全てを見るのは困難である。そのため、それを見たいと思った人は、必然的にその膨大な画像情報の中から必要な部分を探索する必要がある。 Also in the case of the above example, if a moving image recorded by a fixed point camera that captures the situation in front of the station is published on the network, the moving image may be specified and viewed on the mobile terminal. However, a moving image that is installed at such a fixed point and continues to be automatically photographed easily becomes enormous and it is difficult to see all of them. Therefore, a person who wants to see it must inevitably search for a necessary part from the enormous amount of image information.
長時間にわたって記録された高解像度の映像から必要な部分を探索する際の操作方法として、最も一般的に用いられているのは動画再生ソフトウェアのスライダを用いたものである。動画像の再生時間がスライダ全体にマッピングされたスライダ上の目盛をスライドすることで、利用者は、スライダを移動させながら動画像を素早く探索することが出来る。
また、動画像中のシーンやイベント毎に効率的に動画像を探索する手法も提案され、実用化されている。
As an operation method for searching for a necessary part from a high-resolution video recorded over a long period of time, the most commonly used method is to use a slider of moving image reproduction software. By sliding the scale on the slider in which the playback time of the moving image is mapped to the entire slider, the user can quickly search for the moving image while moving the slider.
In addition, a method for efficiently searching for a moving image for each scene or event in the moving image has been proposed and put into practical use.
例えば、カット点検出技術によって動画像をセグメンテーションし、動画像中のシーンの切り替わり部分を色分けするなどして切り替わり部分に各シーンを示す特徴的な画像を配置することで、シーン毎を素早く探索可能なスライダを採用した動画再生ソフトウェアなどである。例えば、映像中のシーンの切り替わり毎にキャプチャーを作成し、キャプチャー単位の再生を実現しているものもある。また、シーンのサムネイル画像をスライダに沿って表示することで、サムネイル画像を見ながら高速な探索を可能にするものや、再生スピードのグラフ操作による動画再生手法も提案されている。 For example, by segmenting a moving image using cut point detection technology and color-coding the scene switching portion in the moving image, each scene can be quickly searched by placing a characteristic image showing each scene. Video playback software that uses a simple slider. For example, some captures are created each time a scene in a video is switched to realize playback in units of captures. In addition, there are proposed a method of displaying a thumbnail image of a scene along a slider so that a high-speed search can be performed while viewing the thumbnail image, and a moving image reproduction method by a graph operation of reproduction speed.
今後、フルＨＤ（full high definition）よりも高解像度に撮影可能なビデオカメラや全方位カメラ等が普及し、非常に広範囲の場所を１フレーム内に収めて撮影された高解像度の定点動画像が記録されるようになって行くと思われる。そうすると、人は、撮影された動画像中のフレーム全体では無く、空間的に一部に存在するオブジェクト（「物体」とも称する）のみを閲覧、探索したいといったニーズを持つと思われる。 In the future, video cameras and omnidirectional cameras that can shoot at a higher resolution than full HD (full high definition) will become widespread, and high-resolution fixed-point moving images shot in a very wide area within one frame It seems to be recorded. Then, it seems that a person has a need to browse and search only an object (also referred to as “object”) that exists in a part of space, not the entire frame in the captured moving image.
例えば、子供の日常を記録するために、居間の中央部分に全方位カメラを設置したような状況を想定する。その子供の両親は、あるときはおもちゃ箱の置かれている場所の周辺で普段子供がどのように遊んでいるかを探索するかも知れないし、ある時は、おもちゃ箱と異なる場所にあるテーブルで子供が食事をする様子を最近のものから順番に楽しみたいと思うかも知れない。 For example, assume a situation where an omnidirectional camera is installed in the center of the living room to record the daily life of the child. The parent of the child may sometimes explore how the child normally plays around the place where the toy box is placed, and sometimes the child at the table at a different location from the toy box. You may want to enjoy eating from the most recent one.
このような状況において、ユーザが探索したいのは、おもちゃ箱周辺や、テーブル周辺に子供が存在しているシーンであって、カメラがフレームに収めた部屋全体の映像では無い。また、上述した駅前の掲示板の例では、人が見たいのは、例えば、掲示板における掲示物の移り変わりであって、駅前の映像全体では無い。 In such a situation, the user wants to search for a scene where a child is present around the toy box or around the table, not the video of the entire room housed in the frame of the camera. Moreover, in the example of the bulletin board in front of the station described above, what the person wants to see is, for example, the transition of the posting on the bulletin board, not the entire video in front of the station.
しかし、従来手法の多くでは、動画像におけるシーンやイベントの検出を動画像全体を対象に行うため、動画像中の任意の場所で起きたイベントやシーンの切り替わりを基にセグメンテーションされる。上記した全方位カメラの例では、おもちゃ箱やテーブル周辺といった場所に子供が存在したという場面だけで無く、他の場所に子供が存在する場面も検出してセグメンテーションしてしまう。そのため、そのようにセグメンテーションされた動画像を順番に閲覧して行くと、見たい場所以外の場所で起きたセグメントも探索操作の対象となる。 However, in many of the conventional methods, scenes and events in a moving image are detected for the entire moving image, so segmentation is performed based on event and scene switching occurring in an arbitrary place in the moving image. In the example of the omnidirectional camera described above, not only a scene where a child exists in a place such as a toy box or a table, but also a scene where a child exists in another place is detected and segmented. Therefore, when the segmented moving images are browsed in order, the segment that occurs in a place other than the place where the user wants to see is also targeted for the search operation.
また、セグメンテーションが場所単位で行われたとしても、ユーザが行う探索操作上の問題が発生する。場所に基づいて、その場所にあったオブジェクトを過去方向に探索するためには、場所の指定と、その場所におけるオブジェクトの時間方向の探索の、２つの異なる操作が必要となる。 In addition, even if segmentation is performed on a location basis, a problem in search operation performed by the user occurs. In order to search for an object at the place in the past direction based on the place, two different operations are required: designation of the place and search in the time direction of the object at the place.
時間方向の探索操作方法としてスライダを利用した方式では、動画像中の場所の指定が難しいために、ユーザに場所を指定してもらう何らかの別の操作をしてもらう必要がある。しかしながら異なる操作が混在することで、探索操作が複雑になると、ユーザに認知的な負荷を強いてしまう。そうすると、ユーザは過去の様子を探索するという行為自体を諦めてしまう可能性が高い。 In a method using a slider as a search operation method in the time direction, it is difficult to specify a location in a moving image, so it is necessary to have the user perform some other operation for specifying the location. However, when different operations are mixed and the search operation is complicated, the user is forced to have a cognitive load. In this case, the user is likely to give up the act of searching for a past situation.
このように、動画像中の場所の指定と、その場所の時間方向の探索とを、同時に行う操作方法が従来は無かった。この発明は、このような点に鑑みてなされたものであり、動画像中の場所を限定して時間方向にオブジェクトの探索を簡単に行うことが可能な、軌跡・場所履歴データ作成装置と動画像表示装置と動画像オブジェクト探索システムと、それらの方法とプログラムを提供することを目的とする。 As described above, there has conventionally been no operation method for simultaneously specifying a location in a moving image and searching for the location in the time direction. The present invention has been made in view of the above points, and a trajectory / location history data creation device and a moving image that can easily search for an object in a time direction by limiting a location in a moving image. An object of the present invention is to provide an image display device, a moving image object search system, and a method and program thereof.
この発明の軌跡・場所履歴データ作成装置は、動画像取得部と、軌跡データ作成部と、場所履歴データ作成部と、を具備する。動画像取得部は、動画データを取得して、動画データを軌跡データ作成部に出力すると共に動画像データベースに記憶する。軌跡データ作成部は、動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを作成して外部の軌跡データベースに記録する。場所履歴データ作成部は、軌跡データを入力として、その軌跡データを、動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを作成して外部の場所履歴データベースに記録する。 The trajectory / location history data creation device of the present invention includes a moving image acquisition unit, a trajectory data creation unit, and a location history data creation unit. The moving image acquisition unit acquires moving image data, outputs the moving image data to the trajectory data creation unit, and stores it in the moving image database. The trajectory data creation unit creates trajectory data in which an identifier is given to the moving image data of the object from the continuous movement information of the object in the moving image data and records the trajectory data in an external trajectory database. The place history data creation unit receives the locus data, creates place history data in which the locus data is associated with the coordinates of the video scale size of the moving image data, and records the place history data in an external place history database.
また、この発明の動画像表示装置は、動画像データベースと、軌跡データベースと、場所履歴データベースと、画像表示部と、操作領域取得部と、操作解析部と、過去オブジェクト取得部と、過去画像作成部と表示部とを備える。動画像データベースは動画データを記録する。軌跡データベースは、動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与して軌跡データを記録する。場所履歴データベースは、軌跡データを入力として、その軌跡データを、動画データのビデオスケールサイズの座標上に対応付けた場所履歴データを記録する。画像表示部は動画データを表示する。操作領域取得部は、画像表示部に表示された画像上を利用者が操作した箇所の座標情報を取得する。操作解析部は、座標情報の変化から利用者の操作を解析して、座標情報を含む画像探索指示と動画再生指示を出力する。過去オブジェクト取得部は、画像探索指示に含まれる座標情報に対応する場所履歴データを場所履歴データベースから探索し、時刻順に配列した過去オブジェクトを取得する。過去画像作成部は、探索された場所履歴データの識別子で対応する軌跡データを軌跡データベースから呼び出し、当該場所履歴データの時刻の静止画を上記動画像データベースから取得して、その静止画の軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する。表示部は、動画像データベースから読み出した静止画に、過去画像を重ねて上記画像表示部に表示する。そして、動画表示装置は、画像探索指示の回数に応じて、過去オブジェクトを過去に遡った過去画像を表示すると共に、動画再生指示に基づいて動画を再生する。 The moving image display device of the present invention includes a moving image database, a trajectory database, a location history database, an image display unit, an operation area acquisition unit, an operation analysis unit, a past object acquisition unit, and a past image creation. Part and a display part. The moving image database records moving image data. The trajectory database records trajectory data by assigning an identifier to the moving image data of the object from the continuous movement information of the object in the moving image data. The location history database records the location history data in which the locus data is associated with the coordinates of the video scale size of the moving image data with the locus data as an input. The image display unit displays moving image data. The operation region acquisition unit acquires coordinate information of a location operated by the user on the image displayed on the image display unit. The operation analysis unit analyzes the user's operation from the change of the coordinate information, and outputs an image search instruction including the coordinate information and a moving image reproduction instruction. The past object acquisition unit searches the location history database for location history data corresponding to the coordinate information included in the image search instruction, and acquires past objects arranged in time order. The past image creation unit calls the corresponding trajectory data with the identifier of the searched place history data from the trajectory database, acquires a still image at the time of the location history data from the moving image database, and stores the trajectory data of the still image A past image is created by transparentizing the area corresponding to the background portion of. The display unit superimposes the past image on the still image read from the moving image database and displays it on the image display unit. Then, the moving image display device displays a past image obtained by tracing the past object in the past according to the number of image search instructions, and reproduces a moving image based on the moving image reproduction instruction.
また、この発明の動画像オブジェクト探索システムは、上記した軌跡・場所履歴データ作成装置と、上記した動画像表示装置とを備える。 The moving image object search system of the present invention includes the above-described trajectory / location history data creation device and the above-described moving image display device.
この発明の軌跡・場所履歴データ作成装置は、動画像中の場所を限定して時間方向にオブジェクトの探索を簡単に行うことを可能にする軌跡データと場所履歴データを作成して記録する。また、この発明の動画像表示装置は、オブジェクトを探索する際の場所の指定と、その場所におけるオブジェクトの時間方向の探索という２つの操作を、上記した軌跡データと場所履歴データを用いることで、簡単且つ単一の操作のみで行うことを可能にする。また、この発明の動画像オブジェクト探索システムは、利用者が、動画映像中の特定の場所に過去に存在したオブジェクト、若しくはそのオブジェクトが関連したイベントを探索したいと思った際に、画像表示部の特定の場所に対する簡単且つ単一の操作のみで、場所を限定した過去のオブジェクトの探索を可能にする。 The trajectory / location history data creation apparatus of the present invention creates and records trajectory data and location history data that can easily search for an object in the time direction by limiting the location in a moving image. Further, the moving image display device of the present invention uses the above-described trajectory data and location history data for the two operations of specifying a location when searching for an object and searching for the time direction of the object at that location, It is possible to carry out with simple and single operation only. The moving image object search system according to the present invention enables the image display unit to search for an object that has existed in the past at a specific location in a moving image or an event related to the object. It is possible to search for past objects in a limited place by a simple and single operation on a specific place.
以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。 Embodiments of the present invention will be described below with reference to the drawings. The same reference numerals are given to the same components in a plurality of drawings, and the description will not be repeated.
図１に、この発明の動画像オブジェクト探索システム１０００の機能構成例を示す。動画像オブジェクト探索システム１０００は、軌跡・場所履歴データ作成装置１００と、動画像表示装置２００と、で構成される。軌跡・場所履歴データ作成装置１００は、動画像中の特定の場所を限定して時間方向にオブジェクトの探索を簡単に行うことを可能にするための軌跡データと場所履歴データを作成し、外部のデータベースに記録する。動画像表示装置２００は、動画データと、軌跡データと、場所履歴データと、を用いてオブジェクトを探索する際の場所の指定と、その場所におけるオブジェクトの時間方向の探索という２つの操作を、上記した軌跡データと場所履歴データを用いることで、簡単且つ単一の操作のみで行うものである。軌跡・場所履歴データ作成装置１００と動画像表示装置２００は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。 FIG. 1 shows a functional configuration example of a moving image object search system 1000 according to the present invention. The moving image object search system 1000 includes a trajectory / location history data creation device 100 and a moving image display device 200. The trajectory / location history data creation device 100 creates trajectory data and location history data for limiting the specific location in the moving image and making it possible to easily search for objects in the time direction. Record in the database. The moving image display apparatus 200 performs the two operations of specifying a place when searching for an object using moving image data, trajectory data, and place history data, and searching for the object in the time direction at the place. By using the trajectory data and the place history data, the operation is simple and performed with only a single operation. The trajectory / location history data creation device 100 and the moving image display device 200 are realized by a predetermined program being read into a computer including, for example, a ROM, a RAM, and a CPU, and the CPU executing the program. It is.
各装置の動作を、図２に示すある掲示板の様子を長時間にわたって記録した動画データを用いて説明する。図示しないビデオカメラは、掲示板２の正面に対向して配置され、ビデオカメラによって撮影されるフレーム１内には、例えばポスター３と４などが貼られた掲示板２の全体と、掲示板２の前に立ち止まる人６などが映るものとする。 The operation of each apparatus will be described using moving image data in which a state of a certain bulletin board shown in FIG. 2 is recorded for a long time. A video camera (not shown) is arranged to face the front of the bulletin board 2, and in the frame 1 photographed by the video camera, for example, the entire bulletin board 2 on which posters 3 and 4 are pasted, and in front of the bulletin board 2. It is assumed that the person who stops 6 is reflected.
動画データは、ビデオカメラによって例えばフレームレート３０ｆｐｓ、解像度ＸＧＡ（1024×768）で記録されるものとする。図３に、掲示板２の様子の時間的な推移の例を示す。 The moving image data is recorded by the video camera at a frame rate of 30 fps and a resolution of XGA (1024 × 768), for example. FIG. 3 shows an example of temporal transition of the state of the bulletin board 2.
図３は、図２に示した動画データの時間的な推移の例を表し、掲示板２を上から平面的に見た図である。時間経過の方向は、掲示板２のところが現在時刻ｔ０であり、掲示板２から遠ざかるほど過去である。太い黒線は人の軌跡を表し、灰色の帯はポスターの軌跡を表す。 FIG. 3 shows an example of the temporal transition of the moving image data shown in FIG. 2, and is a diagram when the bulletin board 2 is viewed from above. The direction of the passage of time is the current time t 0 at the bulletin board 2 and the past as the distance from the bulletin board 2 increases. A thick black line represents a human trajectory, and a gray band represents a poster trajectory.
図３の時間的な推移を説明する。軌跡データ３０は、人Ａの軌跡を表すデータであり、時刻ｔ９に人Ａが動画のフレーム１内に入り時刻ｔ５にフレーム１外に出たことを示している。軌跡データ３１は、人Ｂが時刻ｔ８にフレーム１内に入り、時刻ｔ１にフレーム１外に出たことを示している。そして、ポスター５の軌跡データ３２は、人Ａによって時刻ｔ７に掲示板２に貼られ、人Ｂによって時刻ｔ５に剥がされたことを示している。ポスター４の軌跡データ３４は、人Ｂによって時刻ｔ４に掲示板２に貼られ、現在時刻ｔ０まで貼られていることを示している。ポスター３の軌跡データ３３は、人Ｂによって時刻ｔ２に掲示板２に貼られたことを示している。 The time transition of FIG. 3 will be described. Trajectory data 30 is data representing a locus of human A, person A at time t 9 indicating that comes into the frame 1 outside the time t 5 enters the frame 1 of the video. Trajectory data 31 indicates that the person B enters the frame 1 at time t 8, comes into the frame 1 outside the time t 1. The trajectory data 32 poster 5 is affixed to the bulletin board 2 at time t 7 the human A, it shows that the peeled at time t 5 by human B. Locus data 34 poster 4 is affixed to the bulletin board 2 at time t 4 by a person B, and indicates that the pasted current until time t 0. The trajectory data 33 of the posters 3 shows that it has been affixed to the bulletin board 2 to time t 2 by human B.
〔軌跡・場所履歴データ作成装置〕
軌跡・場所履歴データ作成装置１００の動作を説明する。その動作フローを図４に示す。軌跡・場所履歴データ作成装置１００は、動画像取得部１０と、軌跡データ作成部１１と、場所履歴データ作成部１２と、を具備する。動画像取得部１０は、動画データを取得して、動画データを軌跡データ作成部１１に出力すると共に外部の動画像データベース２０に記憶する（ステップＳ１０）。この時、動画像取得部１０は、後で動画データが探索し易いように動画データをファイル単位で、動画像データベース２０に記憶する。
[Track and place history data creation device]
The operation of the locus / location history data creation apparatus 100 will be described. The operation flow is shown in FIG. The trajectory / location history data creation device 100 includes a moving image acquisition unit 10, a trajectory data creation unit 11, and a location history data creation unit 12. The moving image acquisition unit 10 acquires moving image data, outputs the moving image data to the trajectory data creation unit 11, and stores it in the external moving image database 20 (step S10). At this time, the moving image acquisition unit 10 stores the moving image data in the moving image database 20 in units of files so that the moving image data can be easily searched later.
軌跡データ作成部１１は、動画データ中の物体の連続的な移動情報から、その動画データに識別子を付与した軌跡データを抽出し、その軌跡データを場所履歴データ作成部１２に出力すると共に外部の軌跡データベース２１に記録する（ステップＳ１１）。 The trajectory data creation unit 11 extracts trajectory data in which an identifier is given to the moving image data from the continuous movement information of the object in the moving image data, outputs the trajectory data to the place history data creation unit 12 and externally. It records in the locus | trajectory database 21 (step S11).
物体の移動情報は、例えば移動する物体とその背景とを切り分けた２値画像で抽出する。図５に、２値画像の一例を示す。図５は、図３に示す人Ａの軌跡３０に対応する２値画像の一部である。このような移動情報の抽出は、物体をトラッキングする公知技術（参考文献：Dan MIKAMI et al. Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, pp.999-1066, Proc. IEEE CVPR, 2009.）を用いることで可能である。 The movement information of the object is extracted as a binary image obtained by dividing the moving object and its background, for example. FIG. 5 shows an example of a binary image. FIG. 5 is a part of a binary image corresponding to the trajectory 30 of the person A shown in FIG. Such movement information extraction is a known technique for tracking an object (reference: Dan MIKAMI et al. Memory-based Particle Filter for Face Pose Tracking Robust under Complex Dynamics, pp.999-1066, Proc. IEEE CVPR, 2009 .) Is possible.
軌跡データは、この２値画像の１つの連続的な移動を表す移動情報に、識別子を付与して記録したものである。移動する物体、この例では人Ｘの位置を白とし、それ以外の部分を黒とする。この実施例では、物体がフレーム内に入ってから（動画像中に表示されてから）出て行くまで（動画像中から消えるまで）を、一つの軌跡データとして軌跡データベース２１に記憶する。一度フレーム外に出た物体は、同じ物体であっても違う物体として扱うものとする。例えば、田中さんが掲示板２の前を一度通り過ぎて、数時間後にも一度掲示板２の前を通り過ぎた場合は、２つの別々の軌跡データとして軌跡データベース２１に記憶される。つまり、軌跡データは物体の連続的な移動を１単位とした例えば２値画像に、識別子とタイムスタンプが付与された動画データである。 The trajectory data is recorded by assigning an identifier to movement information representing one continuous movement of the binary image. The moving object, in this example, the position of the person X is white, and the other part is black. In this embodiment, from the time when an object enters the frame (after being displayed in the moving image) until it leaves (from disappearing from the moving image), it is stored in the locus database 21 as one piece of locus data. An object once out of the frame is treated as a different object even if it is the same object. For example, when Mr. Tanaka passes once in front of the bulletin board 2 and once passes in front of the bulletin board 2 several hours later, it is stored in the locus database 21 as two separate locus data. That is, the trajectory data is moving image data in which an identifier and a time stamp are added to, for example, a binary image in which the continuous movement of an object is one unit.
また、図３に示したようにポスターも軌跡データとなる。つまり、ポスターの場合はフレーム１内で移動はしないが、ポスターを掲示又は剥がす行為が軌跡データとなる。 Further, as shown in FIG. 3, the poster also becomes trajectory data. In other words, in the case of a poster, it does not move within the frame 1, but the action of posting or removing the poster becomes the trajectory data.
表１に、図５の２値画像に対応した軌跡データの一例を示す。例えば、図３の人Ａの軌跡３０に対応した軌跡データである。 Table 1 shows an example of trajectory data corresponding to the binary image in FIG. For example, the trajectory data corresponding to the trajectory 30 of the person A in FIG.
場所履歴データ作成部１２は、軌跡データを入力として、軌跡データを、動画データのビデオスケールサイズの座標上に対応付けて場所履歴データを作成する。場所履歴データは外部の場所履歴データベース２３に記憶される（ステップＳ１２）。 The place history data creation unit 12 creates the place history data by associating the locus data with the coordinates of the video scale size of the moving image data, using the locus data as an input. The location history data is stored in the external location history database 23 (step S12).
場所履歴データは、動画像中の座標毎に、その座標に存在した物体の識別子と存在した時刻情報とを対応付けて記録したデータである。例えば、この実施例において撮影された動画データの解像度をＸＧＡ（1024×768）とした場合、1024×768＝786432個の場所履歴データを作成する。 The location history data is data in which, for each coordinate in the moving image, the identifier of the object that exists at the coordinate and the time information that exists are recorded in association with each other. For example, when the resolution of the moving image data captured in this embodiment is XGA (1024 × 768), 1024 × 768 = 786432 location history data are created.
表２に場所履歴データの一例を示す。この場所履歴データは、動画データのビデオスケールサイズの座標上、例えば、フレーム１の左上隅の座標を原点（0,0）とした時の座標（160,475）における場所履歴データである。 Table 2 shows an example of location history data. This location history data is location history data at coordinates (160, 475) on the coordinates of the video scale size of the moving image data, for example, with the coordinates of the upper left corner of frame 1 as the origin (0, 0).
以上述べたように、軌跡・場所履歴データ作成装置１００は、動画データから物体の連続的な移動を１単位とした例えば２値画像に、識別子とタイムスタンプを付与した軌跡データと、その軌跡データを動画データのビデオスケールサイズの各々座標に対応付けた場所履歴データを作成する。 As described above, the trajectory / location history data creation device 100 includes trajectory data in which an identifier and a time stamp are added to, for example, a binary image in which the continuous movement of an object is one unit from moving image data, and the trajectory data. Is created in correspondence with each coordinate of the video scale size of the moving image data.
物体の移動情報を２値画像を例に説明したが、２値画像の代わりに移動する物体の中心から所定の矩形形状の範囲を軌跡データとしても良い。また、所定の半径の円形の範囲を軌跡データとしても良い。 Although the movement information of the object has been described by taking a binary image as an example, a range of a predetermined rectangular shape from the center of the moving object may be used as the trajectory data instead of the binary image. A circular range having a predetermined radius may be used as the trajectory data.
また、場所履歴データを、動画データのビデオスケールサイズの各々座標に対応付けて作成する例を説明したが、各々の座標毎ではなく、ビデオスケールサイズの座標面を等間隔に区切った区画毎に作成するようにしても良い。例えば、３×３ビクセル（画素）の区画毎にフレーム１を分割し、３×３ビクセルの単位で場所履歴データを作成する。そうすることで、場所履歴データを作成する処理量を削減することが可能である。このようにすると、後述する動画像表示装置における画像探索を高速化することもできる。 Further, the example in which the location history data is created in association with each coordinate of the video scale size of the moving image data has been described, but not for each coordinate, but for each section in which the coordinate plane of the video scale size is divided at equal intervals You may make it create. For example, frame 1 is divided for each 3 × 3 pixel (pixel) section, and location history data is created in units of 3 × 3 pixels. By doing so, it is possible to reduce the amount of processing for creating location history data. In this way, it is possible to speed up the image search in the moving image display device described later.
〔動画像表示装置〕
動画像表示装置２００の動作を説明する。その動作フローを図６に示す。動画像表示装置２００は、オブジェクトを探索する際の場所の指定と、その場所におけるオブジェクトの時間方向の探索という２つの操作を、上記した場所履歴データを用いることで、簡単且つ単一の操作のみで行うことを可能にする。
[Moving image display device]
The operation of the moving image display apparatus 200 will be described. The operation flow is shown in FIG. The moving image display apparatus 200 uses the above-described location history data to perform two operations, that is, a designation of a place when searching for an object and a search in the time direction of the object at that place. Makes it possible to do in
動画像表示装置２００は、動画像データベース２０と、軌跡データベース２１と、場所履歴データベース２３と、過去オブジェクト取得部２４と、過去画像作成部２５と、表示部２６と、画像表示部２７と、操作領域取得部２８と、操作解析部２９と、を備える。 The moving image display apparatus 200 includes a moving image database 20, a trajectory database 21, a place history database 23, a past object acquisition unit 24, a past image creation unit 25, a display unit 26, an image display unit 27, and an operation. An area acquisition unit 28 and an operation analysis unit 29 are provided.
動画像データベース２０と、軌跡データベース２１と、場所履歴データベース２３と、は上記して説明したのと同じものである。画像表示部２７は動画データを表示する。この実施例では、動画データの解像度と同じ解像度を持つものとする。 The moving image database 20, the trajectory database 21, and the location history database 23 are the same as described above. The image display unit 27 displays moving image data. In this embodiment, it is assumed that the resolution is the same as the resolution of the moving image data.
操作領域取得部２８は、画像表示部２７に表示された画像上を利用者が操作した箇所の座標情報を取得する（ステップＳ２８）。例えば、画像表示部２７を、タッチパネル付きディスプレイで構成することで、利用者がペン先や指先等で画像表示部２７の表面を擦った部分の座標情報を得ることができる。この場合、操作領域取得部２８はタッチパネルということになる。 The operation area acquisition unit 28 acquires the coordinate information of the part operated by the user on the image displayed on the image display unit 27 (step S28). For example, by configuring the image display unit 27 with a display with a touch panel, it is possible to obtain coordinate information of a portion where the user rubs the surface of the image display unit 27 with a pen tip or a fingertip. In this case, the operation area acquisition unit 28 is a touch panel.
操作解析部２９は、操作領域取得部２８の出力する座標情報の変化から利用者の操作を解析して、その座標情報を含む画像探索指示と動画再生指示を出力する（ステップＳ２９）。画像探索指示とは、利用者が擦った領域の過去の時刻の画像を探索する指示信号である。動画再生指示は、利用者の例えばダブルタップ操作等の特定の操作を検出して動画像の再生を指示する信号である。 The operation analysis unit 29 analyzes the user's operation from the change in the coordinate information output from the operation area acquisition unit 28, and outputs an image search instruction and a moving image reproduction instruction including the coordinate information (step S29). The image search instruction is an instruction signal for searching for an image at a past time in an area rubbed by the user. The moving image reproduction instruction is a signal for instructing reproduction of a moving image by detecting a specific operation such as a double tap operation by the user.
過去オブジェクト取得部２４は、画像探索指示に含まれる座標情報に対応する場所履歴データを場所履歴データベース２３から探索し、場所履歴データを時刻順に配列して過去オブジェクトを取得する（ステップＳ２４）。例えば、画像探索指示に含まれる座標が（10,20）,(11,20),(10,21),(11,21)の領域として繋がった隣接するものであったとする。過去オブジェクト取得部２４は、各座標に対応する場所履歴データを探索する。 The past object acquisition unit 24 searches the place history database 23 for the place history data corresponding to the coordinate information included in the image search instruction, and arranges the place history data in order of time to acquire the past object (step S24). For example, it is assumed that the coordinates included in the image search instruction are adjacent to each other connected as regions of (10, 20), (11, 20), (10, 21), (11, 21). The past object acquisition unit 24 searches for place history data corresponding to each coordinate.
例えば、座標（10,20）の場所履歴データの探索結果が「2009/9/7 10:55:29.00,ID001」、座標（11,20）の探索結果が「2009/9/6 09:45:25.00,ID001」、座標（10,21）が「2009/9/4 09:46:22.00,ID002」、座標（11,21）が「2009/9/3 11:55:11.00,ID003」であったとする。過去オブジェクト取得部２４は、その場所履歴データを時刻の新しい順に配列する。 For example, the search result of the location history data at the coordinates (10,20) is “2009/9/7 10: 55: 29.00, ID001”, and the search result at the coordinates (11,20) is “2009/9/6 09:45 : 25.00, ID001 ", coordinates (10,21) are" 2009/9/4 09: 46: 22.00, ID002 ", coordinates (11,21) are" 2009/9/3 11: 55: 11.00, ID003 " Suppose there was. The past object acquisition unit 24 arranges the place history data in order of newest time.
過去画像作成部２５は、過去オブジェクト取得部２４で探索された場所履歴データの識別子と時刻に対応する軌跡データを軌跡データベース２１から呼び出すと共に、その時刻に対応する静止画を動画像データベース２０から取得し、その軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する（ステップＳ２５）。上述した例においては、４つの座標で検索されたもののうち、座標（10，20）の探索結果である「2009/9/710:55:29.00,ID001」が最も新しいため、10:55:29.00における静止画を動画データベース２０から取得するとともに、ID001の時刻10:55:29.00に対応する軌跡データ（２値画像）を軌跡データベース２１から呼び出し、過去画像を作成する。 The past image creation unit 25 calls the trajectory data corresponding to the identifier and time of the place history data searched by the past object acquisition unit 24 from the trajectory database 21 and acquires the still image corresponding to the time from the moving image database 20. Then, a past image is created by making the area corresponding to the background portion of the trajectory data transparent (step S25). In the example described above, the search result of coordinates (10, 20) among those searched with four coordinates, “2009/9/710: 55: 29.00, ID001” is the newest, so 10: 55: 29.00 Is acquired from the moving image database 20 and the trajectory data (binary image) corresponding to the time 10: 55: 29.00 of ID001 is called from the trajectory database 21 to create a past image.
図７を参照して過去画像を説明する。図７（ａ）は現在時刻の画像を表している。図７（ａ）中の斜め線で囲まれた領域は、利用者が指先で擦った領域を表している。図７（ｂ）は、擦った領域の最新（時刻ｔ１）の軌跡データである。図７（ｃ）は、時刻ｔ１の静止画であり、動画像データベース２０から取得したものである。図７（ｄ）は、時刻ｔ１の静止画の軌跡データの黒い部分に対応するピクセルを透明化処理した過去画像である。図７（ｄ）のグラデーション部分は、透明化処理を表している。 The past image will be described with reference to FIG. FIG. 7A shows an image at the current time. A region surrounded by an oblique line in FIG. 7A represents a region rubbed with a fingertip by the user. FIG. 7B shows the latest (time t 1 ) trajectory data of the rubbed area. FIG. 7C is a still image at time t 1 and obtained from the moving image database 20. FIG. 7D is a past image obtained by making the pixels corresponding to the black portion of the trajectory data of the still image at time t 1 transparent. The gradation portion in FIG. 7D represents the transparency process.
表示部２６は、画像表示部２７に表示中の画像に、過去画像を重ねて表示する（ステップＳ２６）。つまり、図７（ａ）に図７（ｄ）の過去画像を重ね合わせて表示する。表示された重ね合わせ画像は、すなわち図７（ｅ）のようなものとなる。 The display unit 26 displays the past image superimposed on the image currently displayed on the image display unit 27 (step S26). That is, the past image of FIG. 7D is superimposed on the display of FIG. The displayed superimposed image is as shown in FIG.
図８を参照して更に動画像表示装置２００の動作を説明する。図８は、図３と同じで時間経過の関係を説明するための図である。利用者が、時刻ｔ０の静止画が表示されているフレーム１上の領域αを擦ったと仮定する。ここでは、動画像データは実時間で更新されずに時刻ｔ０の画像が最新の画像と仮定して説明する。過去オブジェクト取得部２４は、領域αの座標に対応する場所履歴データを探索して時間順に配列し、直近の過去の時刻ｔ１の場所履歴データを過去画像作成部２５に出力する。 The operation of the moving image display apparatus 200 will be further described with reference to FIG. FIG. 8 is a diagram for explaining the relationship of passage of time as in FIG. Assume that the user rubs the area α on the frame 1 where the still image at time t 0 is displayed. Here, description will be made assuming that the moving image data is not updated in real time and the image at time t 0 is the latest image. The past object acquisition unit 24 searches the place history data corresponding to the coordinates of the region α, arranges them in time order, and outputs the place history data at the latest past time t 1 to the past image creation unit 25.
過去画像作成部２５は、場所履歴データの識別子と時刻ｔ１に対応する軌跡データを軌跡データベース２１から探索し、その時刻ｔ１に対応する静止画を動画像データベース２０から取得し、その軌跡データの背景部分に当たる領域を透明化処理した時刻ｔ１の過去画像を作成する。その時刻ｔ１の過去画像は、時刻ｔ０の静止画に重ねられて画像表示部２７に表示される。つまり、利用者が画像表示部２７の一部の領域αを擦ると、その部分の過去のオブジェクトが、今まで表示されていた画像を背景として表示される。 Past image creation unit 25 searches the route data corresponding to the identifier and time t 1 location history data from the trajectory database 21, obtains the still image corresponding to the time t 1 from the moving picture database 20, the locus data A past image at time t 1 is created by transparentizing the area corresponding to the background portion of. The past image at time t 1 is displayed on the image display unit 27 so as to be superimposed on the still image at time t 0 . That is, when the user rubs a part of the area α of the image display unit 27, the past object of that part is displayed with the image displayed so far as the background.
更に、利用者が同じ領域αを擦ると、領域αの画像は、例えば時刻（ｔ１−（１秒/３０））遡る。また、領域αに時刻ｔ１の過去画像が重ねて表示されている状態で、利用者が領域αを例えばダブルタップすると、表示部２６は時刻ｔ１からの動画データを動画像データベース２０から読み出して画像表示部２７に出力する。つまり、画像表示部２７に表示される画像全体が過去の時刻ｔ１から再生される。 Further, when the user rubs the same region α, the image of the region α goes back, for example, time (t 1 − (1 second / 30)). Further, when the user double-taps the region α, for example, in a state where the past image at the time t 1 is displayed over the region α, the display unit 26 reads the moving image data from the time t 1 from the moving image database 20. To the image display unit 27. In other words, the entire image displayed on the image display unit 27 is reproduced from the past time t 1.
また、領域αに過去のオブジェクトを表示している最中に、利用者が他の領域βを擦った場合、その領域βの直近の過去（時刻ｔ２）にあったオブジェクトが画像表示部２７に表示される。よってこの場合、画像表示部２７には、時刻ｔ０の時刻の静止画を背景として、時刻ｔ１の領域α、時刻ｔ２の領域βの３つの時刻の画像が同時に表示される。 Further, when the user rubs another area β while displaying the past object in the area α, the object in the past (time t 2 ) in the immediate vicinity of the area β is displayed in the image display unit 27. Is displayed. Therefore, in this case, the image display unit 27, as a background time of the still image at time t 0, the region of the time t 1 alpha, images of three times the area of the time t 2 beta are simultaneously displayed.
このように、過去のオブジェクトが表示されている領域を更に擦った場合には、その表示されているオブジェクトが実際にあった時刻を起点として、過去方向にオブジェクトを探索して見つかったオブジェクトの静止画を表示する。 In this way, when the area where the past object is displayed is further rubbed, the object found by searching the object in the past direction starting from the time when the displayed object was actually found Display the image.
なお、動画像データが実時間で更新される場合は、その更新される実時刻の画面を背景とし、擦った領域に過去のオブジェクトを表示するようにしても良い。 When the moving image data is updated in real time, the past object may be displayed in the rubbed area with the updated real time screen as the background.
画像表示部２７の一部の領域に過去のオブジェクトが表示されている状態において、同じ領域を再度擦った場合の過去のオブジェクトの探索方法は次の３つが考えられる。その第１は、上記したように「一度探索されたオブジェクトを除外せずに探索する方式」である。つまり、フレームレート単位で過去オブジェクトを遡って合成する方法である。第２は「一度探索されたオブジェクトは除外しないが、時間的に連続する部分は除外して探索する方式」、第３は「一度探索されたオブジェクトを除外して探索する方式」が考えられる。 In the state where past objects are displayed in a partial area of the image display unit 27, the following three methods for searching for past objects when the same area is rubbed again can be considered. The first is the “method for searching without excluding objects once searched” as described above. That is, it is a method of synthesizing past objects retrospectively in frame rate units. The second is a “method for searching by excluding objects that have been searched once, but excluding temporally continuous portions”, and the third is a method for searching by excluding objects that have been searched once.
図９を参照して第２と第３の方式を説明する。第２の方式では、時刻ｔ１の過去画像が表示されて状態で、領域αを再度擦ると時刻ｔ１〜ｔ２は時間的に連続しているので除外され、時刻ｔ１の次に表示される過去のオブジェクトは時刻ｔ３の人Ａの過去画像が表示される。そして、時刻ｔ３の人Ａの過去画像が表示されている状態で再度擦ると、時刻ｔ３〜ｔ４は時間的に連続しているので除外され、時刻ｔ５の人Ａの過去画像が表示される。 The second and third methods will be described with reference to FIG. In the second method, when the past image at the time t 1 is displayed and the region α is rubbed again, the time t 1 to t 2 is excluded because it is temporally continuous, and is displayed next to the time t 1. past of the object that is the past image of the person a of the time t 3 is displayed. When rubbed again in a state in which the past image of the person A at time t 3 is displayed, the time t 3 ~t 4 is excluded because it is temporally continuous, the past image of the person A at time t 5 Is displayed.
第３の方式では、時刻ｔ３の過去画像が表示されて状態で、領域αを再度擦ると、人Ａは既に探索されているために除外され、時刻ｔ７における人Ｃの過去画像が表示される。 In the third method, when the past image at time t 3 is displayed and the region α is rubbed again, the person A is excluded because it has already been searched, and the past image of the person C at time t 7 is displayed. Is done.
〔動画像オブジェクト探索システム〕
上記して説明した軌跡・場所履歴データ作成装置１００と、動画像表示装置２００を組み合わせることで、動画像オブジェクト探索システム１０００を構築することができる（図１参照）。その動作フローを図１０に示す。
[Moving object search system]
A moving image object search system 1000 can be constructed by combining the trajectory / place history data creation device 100 described above and the moving image display device 200 (see FIG. 1). The operation flow is shown in FIG.
動画像オブジェクト探索システム１０００のオブジェクト探索方法は、上記した軌跡・場所履歴データ作成方法（ステップＳ１００）と動画像表示方法（ステップＳ２００）を含む。動画像オブジェクト探索システム１０００は、動画データを入力し、利用者が画像表示部２７の特定の領域を擦る操作のみで、その領域の過去のオブジェクトの探索を可能にする。 The object search method of the moving image object search system 1000 includes the trajectory / location history data creation method (step S100) and the moving image display method (step S200). The moving image object search system 1000 allows the user to search for past objects in the area only by inputting the moving image data and the user only rubbing the specific area of the image display unit 27.
上記した動画像表示装置２００は、軌跡データと場所履歴データがあることを前提に過去のオブジェクトを探索して表示するものであるが、軌跡データと場所履歴データを用いずに過去のオブジェクトを探索する動画像表示装置３００も考えられる。 The above-described moving image display device 200 searches for and displays past objects on the assumption that there is trajectory data and location history data, but searches for past objects without using trajectory data and location history data. A moving image display device 300 is also conceivable.
図１１に、動画像表示装置３００の機能構成例を示す。動画像表示装置３００は、動画像表示装置２００に対して軌跡データベース２１と場所履歴データベース２３と過去オブジェクト取得部２４とを備えない点と、過去画像作成部３０１の動作のみが異なる。過去画像作成部３０１は、操作解析部２９が出力する座標情報を含む画像探索指示を入力として、所定時刻分過去の静止画を動画像データベース２０から取り出し、上記座標情報を含む所定範囲の座標領域以外を透明化処理した過去画像を作成する。 FIG. 11 shows a functional configuration example of the moving image display apparatus 300. The moving image display apparatus 300 is different from the moving image display apparatus 200 in that it does not include the trajectory database 21, the place history database 23, and the past object acquisition unit 24, and only the operation of the past image creation unit 301 is different. The past image creation unit 301 receives an image search instruction including coordinate information output from the operation analysis unit 29, takes a past still image for a predetermined time from the moving image database 20, and stores a predetermined range of coordinate areas including the coordinate information. Create past images with transparency except for.
過去画像作成部３０１を、利用者の１度の擦り操作で所定時間遡った過去画像を作成するようにして置くことで、利用者の操作回数に応じて特定領域の表示を過去に遡って表示することが可能である。一度の操作で例えば１０分時間を戻すように設定し、ある領域を利用者が１０回擦った際には、操作の度にその領域の１０分毎過去のオブジェクトが表示される。 By placing the past image creation unit 301 so as to create a past image that is traced back for a predetermined time by one rubbing operation of the user, the display of the specific area is displayed retroactively according to the number of times of the user's operation. Is possible. For example, when a user rubs a certain area 10 times with a single operation, a past object is displayed every 10 minutes in that area.
動画像表示装置３００は、利用者の１回の操作で必ずしも過去のオブジェクトにヒットしない場合もあるが、擦る操作を繰り返すことで過去のオブジェクトを探索することが可能である。また、所定時間を適切に設定することで操作に対する煩雑さを利用者に感じさせることもない。 The moving image display apparatus 300 may not always hit the past object by one operation of the user, but can search for the past object by repeating the rubbing operation. Further, by setting the predetermined time appropriately, the user does not feel the complexity of the operation.
以上述べたように、従来は動画画像のある特定の領域にある過去のオブジェクトを探索するためには、その領域の指定と時間方向の探索という２つの異なる操作を必要としたのに対して、この発明の映像中の特定の場所を擦るという操作は、探索する場所の指定と、その場所に存在したオブジェクトの過去方向への探索を兼ねている。そのため、この発明の動画像オブジェクト探索システムは、利用者が映像中の特定の場所に過去に存在したオブジェクト、若しくはそのオブジェクトが関連したイベントを探索したいと思った際に、その場所を擦るという簡単且つ単一の操作のみで、場所を限定したオブジェクトの探索を可能にする。 As described above, in order to search for past objects in a specific area of a moving image, conventionally, two different operations of specifying the area and searching in the time direction are required. The operation of rubbing a specific place in the video of the present invention serves both as specifying the place to search and searching for an object existing at that place in the past direction. For this reason, the moving image object search system according to the present invention is a simple method of rubbing a place when the user wants to search for an object that has existed in the past in a specific place in the video or an event related to the object. In addition, it is possible to search for an object with a limited place by a single operation.
なお、この発明をビデオカメラで撮影した動画データを用いる例で説明したが、電子的に画像を掲示する電子掲示板の動画データに対してもこの発明を適用することができる。また、実施例では、タッチパネルを指やペン先等で擦る例で説明したが、動画像中の領域を指定できる方法であれば、タッチパネルが必須であるわけではない。例えばＰＣのディスプレイ上に表示された動画像中の領域をマウスポインタを移動することで指定しても良い。また、動画像表示装置の動作説明は、その画像表示部２７の解像度と、動画データの解像度が一致する場合を例に説明したが、その解像度は異なっても良い。異なる場合には、表示部２６で過去画像と動画データを再エンコードするか、表示の際に縮小することで、画像表示部２７の解像度に画像データを合わせれば良い。 Although the present invention has been described with an example using moving image data shot by a video camera, the present invention can also be applied to moving image data on an electronic bulletin board that electronically posts images. In the embodiment, an example in which the touch panel is rubbed with a finger, a pen tip, or the like has been described. However, the touch panel is not indispensable as long as it can specify an area in a moving image. For example, an area in a moving image displayed on a PC display may be specified by moving a mouse pointer. Further, although the description of the operation of the moving image display apparatus has been described by taking as an example the case where the resolution of the image display unit 27 and the resolution of the moving image data match, the resolution may be different. If they are different from each other, the past image and the moving image data may be re-encoded on the display unit 26 or may be reduced at the time of display to match the image data with the resolution of the image display unit 27.
なお、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。 When the processing means in the above apparatus is realized by a computer, the processing contents of functions that each apparatus should have are described by a program. Then, by executing this program on the computer, the processing means in each apparatus is realized on the computer.
また、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。 Further, the processes described in the above method and apparatus are not only executed in time series according to the order of description, but also may be executed in parallel or individually as required by the processing capability of the apparatus that executes the processes. Good.
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、DVD（Digital Versatile Disc）、DVD-RAM（Random Access Memory）、CD-ROM（Compact Disc Read Only Memory）、CD-R（Recordable）/RW（ReWritable）等を、光磁気記録媒体として、MO（Magneto Optical disc）等を、半導体メモリとしてEEP-ROM（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。 The program describing the processing contents can be recorded on a computer-readable recording medium. As the computer-readable recording medium, for example, any recording medium such as a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory may be used. Specifically, for example, as a magnetic recording device, a hard disk device, a flexible disk, a magnetic tape or the like, and as an optical disk, a DVD (Digital Versatile Disc), a DVD-RAM (Random Access Memory), a CD-ROM (Compact Disc Read Only) Memory), CD-R (Recordable) / RW (ReWritable), etc., magneto-optical recording media, MO (Magneto Optical disc), etc., semiconductor memory, EEP-ROM (Electronically Erasable and Programmable-Read Only Memory), etc. Can be used.
また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。 This program is distributed by selling, transferring, or lending a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Further, the program may be distributed by storing the program in a recording device of a server computer and transferring the program from the server computer to another computer via a network.
また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。 Each means may be configured by executing a predetermined program on a computer, or at least a part of these processing contents may be realized by hardware.
Claims (6)
上記動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを記録した軌跡データベースと、
上記軌跡データを入力として、その軌跡データを、上記動画データのビデオスケールサイズの座標上に、経過時間順に対応付けた場所履歴データを記録した場所履歴データベースと、
上記動画データを表示する画像表示部と、
上記画像表示部に表示された画像上を利用者が操作した箇所の座標情報を取得する操作領域取得部と、
上記座標情報の変化から利用者の操作を解析して、上記座標情報を含む画像探索指示と動画再生指示を出力する操作解析部と、
上記画像探索指示に含まれる座標情報に対応する場所履歴データを上記場所履歴データベースから探索し、時刻順に配列した過去オブジェクトを取得する過去オブジェクト取得部と、
上記探索された場所履歴データの識別子で対応する軌跡データを上記軌跡データベースから呼び出すと共に、当該場所履歴データの時刻の静止画を上記動画像データベースから取得して、その静止画の上記軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する過去画像作成部と、
上記動画像データベースから読み出した静止画に、上記過去画像を重ねて上記画像表示部に表示する表示部と、を備え、
上記画像探索指示の回数に応じて、上記過去オブジェクトを過去に遡った過去画像を表示すると共に、上記動画再生指示に基づいて動画を再生することを特徴とする動画像表示装置。 A video database that records video data,
From the continuous movement information of the object in the moving image data, a trajectory database that records the trajectory data with the identifier added to the moving image data of the object,
With the trajectory data as an input, a location history database in which location history data in which the trajectory data is correlated in order of elapsed time on the coordinates of the video scale size of the moving image data,
An image display unit for displaying the moving image data;
An operation area acquisition unit for acquiring coordinate information of a location where a user operates on the image displayed on the image display unit;
An operation analysis unit that analyzes a user's operation from the change in the coordinate information and outputs an image search instruction including the coordinate information and a moving image reproduction instruction;
Search past location data corresponding to the coordinate information included in the image search instruction from the location history database, to obtain past objects arranged in order of time, past object acquisition unit,
The trajectory data corresponding to the searched location history data identifier is called from the trajectory database, and a still image at the time of the location history data is acquired from the moving image database, and the background of the trajectory data of the still image A past image creation unit for creating a past image in which a region corresponding to a part is transparentized;
A display unit that overlays the past image on the still image read from the moving image database and displays the image on the image display unit,
According to the number of times of the image search instruction, a moving image display device that displays a past image of the past object traced back to the past and reproduces a moving image based on the moving image reproduction instruction.
上記画像探索指示の回数に応じて上記過去オブジェクトを過去に遡る過去画像は、上記識別子単位で遡ることを特徴とする動画像表示装置。 The moving image display device according to claim 1,
A moving image display apparatus, wherein a past image that traces back the past object according to the number of times of the image search instruction is traced back in units of the identifier.
上記画像探索指示の回数に応じて上記過去オブジェクトを過去に遡る過去画像は、時間的に連続する画像を除外したものであることを特徴とする動画像表示装置。 The moving image display device according to claim 1,
A moving image display device, wherein a past image that traces back the past object according to the number of times of the image search instruction excludes images that are temporally continuous.
動画データを取得して、上記動画データを軌跡データ作成部に出力すると共に外部の動画像データベースに記憶する動画像取得部と、
上記動画データ中の物体の連続的な移動情報から、その物体の動画データに識別子を付与した軌跡データを作成して外部の軌跡データベースに記録する軌跡データ作成部と、
上記軌跡データを入力として、その軌跡データを、上記動画データのビデオスケールサイズの座標上に、経過時間順に対応付けた場所履歴データを作成して外部の場所履歴データベースに記録する場所履歴データ作成部と、
を具備する軌跡・場所履歴データ作成装置と、
を備えたことを特徴とする動画像オブジェクト探索システム。 A moving image display device according to any one of claims 1 to 3;
A moving image acquisition unit that acquires moving image data, outputs the moving image data to the trajectory data creation unit, and stores the moving image data in an external moving image database;
From the continuous movement information of the object in the moving image data, a locus data creation unit that creates locus data with an identifier added to the moving image data of the object and records it in an external locus database;
A place history data creation unit that takes the locus data as input, creates place history data in which the locus data is correlated in order of elapsed time on the video scale size coordinates of the moving image data, and records the place history data in an external place history database When,
A trajectory / location history data creation device comprising:
A moving image object search system comprising:
画像表示部に表示された画像上を利用者が操作した箇所の座標情報を取得する操作領域取得過程と、
上記座標情報の変化から利用者の操作を解析して、上記座標情報を含む画像探索指示と動画再生指示を出力する操作解析過程と、
上記画像探索指示に含まれる座標情報に対応する場所履歴データを上記場所履歴データベースから探索し、時刻順に配列した過去オブジェクトを取得する過去オブジェクト取得過程と、
上記探索された場所履歴データの識別子で対応する軌跡データを軌跡データベースから呼び出すと共に、当該場所履歴データの時刻の静止画を動画像データベースから取得して、その静止画の上記軌跡データの背景部分に当たる領域を透明化処理した過去画像を作成する過去画像作成過程と、
上記動画像データベースから読み出した静止画に、上記過去画像を重ねて上記画像表示部に表示する表示過程と、を含み、
上記画像探索指示の回数に応じて、上記過去オブジェクトを過去に遡った過去画像を表示すると共に、上記動画再生指示に基づいて動画を再生することを特徴とする動画像表示方法。 In the place history database, from the continuous movement information of the object in the moving image data, the trajectory data in which the identifier is added to the moving image data of the object is associated with the video scale size coordinates of the moving image data in the order of elapsed time. Location history data is stored,
An operation area acquisition process for acquiring coordinate information of a location operated by the user on the image displayed on the image display unit;
Analyzing the user's operation from the change in the coordinate information, an operation analysis process for outputting an image search instruction including the coordinate information and a moving image reproduction instruction;
Searching the place history data corresponding to the coordinate information included in the image search instruction from the place history database, acquiring a past object arranged in order of time;
With calling the trajectory data corresponding with the search location history data identifier from the trajectories database, and acquires the still image of the time of the location history data from the moving image database, the background portion of the trajectory data of the still picture Past image creation process to create a past image in which the area corresponding to
A display process of superimposing the past image on the still image read from the moving image database and displaying the image on the image display unit,
According to the number of times of the image search instruction, a moving image display method characterized by displaying a past image traced back to the past and reproducing a moving image based on the moving image reproduction instruction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010284113A JP5612457B2 (en) | 2010-12-21 | 2010-12-21 | Moving image display device, moving image object search system, moving image display method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010284113A JP5612457B2 (en) | 2010-12-21 | 2010-12-21 | Moving image display device, moving image object search system, moving image display method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012134700A JP2012134700A (en) | 2012-07-12 |
| JP5612457B2 true JP5612457B2 (en) | 2014-10-22 |
Family
ID=46649787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010284113A Active JP5612457B2 (en) | 2010-12-21 | 2010-12-21 | Moving image display device, moving image object search system, moving image display method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5612457B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101513414B1 (en) * | 2012-09-25 | 2015-04-21 | 삼성테크윈 주식회사 | Method and system for analyzing surveillance image |
| EP3023987B1 (en) | 2014-11-20 | 2017-03-22 | Axis AB | Method and apparatus for visualizing information of a digital video stream |
| CN112037245B (en) * | 2020-07-22 | 2023-09-01 | 杭州海康威视数字技术股份有限公司 | Method and system for determining similarity of tracked targets |
| CN113873100B (en) * | 2021-09-29 | 2023-09-22 | 维沃移动通信有限公司 | Video recording method, device, electronic equipment and storage medium |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3380937B2 (en) * | 1994-08-12 | 2003-02-24 | 日本電信電話株式会社 | Method for identifying object in moving image and apparatus for identifying object in moving image |
| JP4226730B2 (en) * | 1999-01-28 | 2009-02-18 | 株式会社東芝 | Object region information generation method, object region information generation device, video information processing method, and information processing device |
| JP3919163B2 (en) * | 2001-11-20 | 2007-05-23 | 日本放送協会 | Video object editing apparatus and video object editing program |
| JP2003346159A (en) * | 2002-05-28 | 2003-12-05 | Oki Electric Ind Co Ltd | Person tracking method and person tracking device |
| JP2004133805A (en) * | 2002-10-11 | 2004-04-30 | Ntt Data Corp | Moving picture processing method, moving picture processing device and program for executing the method by computer |
| JP2005318027A (en) * | 2004-04-27 | 2005-11-10 | Hitachi Omron Terminal Solutions Corp | Method for extracting person from supervisory image and for restoring image |
| GB0502371D0 (en) * | 2005-02-04 | 2005-03-16 | British Telecomm | Identifying spurious regions in a video frame |
| JP4541316B2 (en) * | 2006-04-06 | 2010-09-08 | 三菱電機株式会社 | Video surveillance search system |
| US8588583B2 (en) * | 2007-08-22 | 2013-11-19 | Adobe Systems Incorporated | Systems and methods for interactive video frame selection |
-
2010
- 2010-12-21 JP JP2010284113A patent/JP5612457B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012134700A (en) | 2012-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Schoeffmann et al. | Video interaction tools: A survey of recent work | |
| AU2007345938B2 (en) | Method and system for video indexing and video synopsis | |
| Rav-Acha et al. | Making a long video short: Dynamic video synopsis | |
| US7594177B2 (en) | System and method for video browsing using a cluster index | |
| KR101420885B1 (en) | Method and system for producing a video synopsis | |
| CA2521670C (en) | Automatic face extraction for use in recorded meetings timelines | |
| US9589381B2 (en) | Copying of animation effects from a source object to at least one target object | |
| CN106663196B (en) | Method, system, and computer-readable storage medium for identifying a subject | |
| US20150304595A1 (en) | Relational Display of Images | |
| EP0979484A1 (en) | Method for indexing image information using a reference model | |
| JP2010503101A (en) | Method and electronic device for generating a collage of images | |
| EP3627354A1 (en) | Information processing system, method for controlling information processing system, and storage medium | |
| EP3070681A1 (en) | Display control device, display control method and program | |
| JP5612457B2 (en) | Moving image display device, moving image object search system, moving image display method and program | |
| CN108140401B (en) | Accessing video clips | |
| JP3372096B2 (en) | Image information access device | |
| WO1999005865A1 (en) | Content-based video access | |
| JP5554214B2 (en) | Minutes system and program | |
| CN116528003A (en) | Track playback method, track playback device and storage medium | |
| Akutsu et al. | Video interface for spatiotemporal interactions based on multi-dimensional video computing | |
| JP2013051476A (en) | Monitoring device, monitoring method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130128 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140128 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140325 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140708 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140729 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140826 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140904 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5612457 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |