JP6704797B2 - 画像検索装置、その制御方法、およびプログラム - Google Patents

Description

本発明は、画像検索装置、その制御方法、およびプログラムに関し、特に、動画などの連続画像から所望の画像を検索する画像検索装置に関する。

近年、動画像を記録するメディアとして、ハードディスクおよび光ディスクなどの大容量なメディアが普及し、さらには、動画像編集機能を備える画像検索装置を用いれば、ユーザーは容易に動画像の編集を行うことができる。動画像の編集として、例えば、静止画作成の他、動画像の分割およびチャプターを追加設定するためのフレーム検索などがある。

ところで、画像検索装置においてユーザーが目的のフレームを検索する場合には、動画像のフレーム送りを行う。そして、ユーザーは目的のフレーム近辺で一時停止を行って、フレーム送り又はフレーム戻しを繰り返すことによって高速送り又は低速送りを行う（特許文献１参照）。

特開２００９−１７７５０７号公報

ところが、特許文献１に記載の動画再生装置では、順送り方向又は逆戻し方向に送る操作においてその送り位置に制限がないので、目的のフレームを外れて画像の送り処理が行われることがある。つまり、ユーザーが目的とする画像から遠くなる方向に送り処理が行われてしまい、ユーザーが目的とする画像を検索するために時間を要してしまう。

そこで、本発明の目的は、短時間でユーザー所望の画像を探索することのできる画像検索装置、その制御方法、およびプログラムを提供することにある。

上記の目的を達成するため、本発明による画像検索装置は、連続して撮影された複数の画像から所定の画像を検索する画像検索装置であって、ユーザー操作に応じて表示部に前記複数の画像を第１の方向にしたがって順に表示するか又は前記第１の方向とは逆の第２の方向にしたがって順に表示する表示制御手段と、前記画像を順に表示する方向が前記第１の方向から前記第２の方向に切り替えられた際、当該切り替えの際に表示されていた画像に基づき、前記第１の方向の限界を設定する設定手段と、を有し、前記表示制御手段は前記第１の方向にしたがって順に画像を表示し、前記限界と対応する画像に達すると、前記第１の方向にしたがった順での画像の表示を中止し、前記設定された限界の履歴を示す情報を記憶し、前記設定手段は、前記表示制御手段によって前記第１の方向にしたがった順での画像の表示が中止された後、前記ユーザー操作によって前記第１の方向にしたがった画像の表示を指示する操作が行われると、前記第１の方向の限界を示す情報を変更して設定することを特徴とする。

本発明によれば、複数の画像を順に表示するときの限界点を表示の方向毎に設定して当該限界点に達するとその方向にしたがった順の画像の表示を中止する。これによって、所望の画像から離間した画像まで表示が行われることがなくなり、ユーザーは短時間に容易に所望の画像を検索することができる。

本発明の第１の実施形態による画像検索装置の一例についてその構成を示すブロック図である。 図１に示す画像検索装置において表示装置に表示される操作画面の一例を説明するための図である。 図１に示す画像検索装置で行われる目的とする画像フレームを検索するための画像送り処理を説明するフローチャートである（その１）。 図１に示す画像検索装置で行われる目的とする画像フレームを検索するための画像送り処理を説明するフローチャートである（その２）。 図３Ａおよび図３Ｂで説明した順送り方向および逆戻しの限界点を設定する際の処理を説明するための図である。 図３Ａおよび図３Ｂで説明した限界点において画像送りを停止する処理を説明するための図である。 図３Ａおよび図３Ｂで説明した限界点の更新について説明するための図である。 図３Ａおよび図３Ｂで説明した画像送り処理において送り速度の算出で用いられるデータの一例を示す図である。 本発明の第２の実施形態による画像検索装置で行われる限界点の設定を説明するための図である。 本発明の第２の実施形態による画像検索装置で行われる画像送り処理を説明するためのフローチャートである（その１）。 本発明の第２の実施形態による画像検索装置で行われる画像送り処理を説明するためのフローチャートである（その２）。

以下に、本発明の実施の形態による画像検索装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像検索装置の一例についてその構成を示すブロック図である。

図示の画像検索装置は、例えば、デジタルカメラなどの撮像装置で得られた動画像などの連続画像を再生処理する際に用いられる。画像検索装置はＣＰＵ１００を有しており、ＣＰＵ１００は画像検索装置全体の制御を司る。ハードディスク（以下ＨＤＤという）１０１にはアプリケーションプログラム、データ、画像ライブラリなどが保存される。ＲＯＭ１０２にはＣＰＵ１００の動作処理手順（例えば、画像検索装置の立ち上げ処理および基本入出力処理などのプログラム）が記憶される。ＲＡＭ１０３はＣＰＵ１００のメインメモリとして用いられる。さらに、ＲＡＭ１０３には後述の処理を行うための制御プログラムを含む各種プログラムがハードディスク１０１などからロードされて、ＣＰＵ１００は当該プログラムを実行する。また、ＲＡＭ１０３はＣＰＵ１００が各種処理を実行する際のワークエリアとして用いられる。

表示装置（表示部）１０４には、ＣＰＵ１００の制御下で各種表示が行われる。入力装置１０５は画面上の操作によって操作処理を認識する。つまり、入力装置１０５にはタッチパネルなどが備えられている。さらには、入力装置１０５としてポインティングデバイスおよびキーボードなどが用いられる。

記憶媒体装着ユニット（メディアドライブ）１０６には、着脱可能な記憶媒体が装着され、記憶媒体には画像データなどが記憶される。ネットワークインターフェイス（Ｉ／Ｆ）１０７は通信回線１０９を介してネットワーク１１０に接続される。画像検索装置はＩ／Ｆ１０７を介して外部機器から画像データなどのデータを受信するとともに、外部機器にデータを送る。なお、上記の各ブロックは上述した各ユニットはシステムバス（アドレスバス、データバス、および制御バス）１０８によって相互に接続されている。

なお、図１に示す画像検索装置において、処理対象とされる連続画像は、例えば、複数の動画フレームを有する動画である。また、連続画像は連写で撮影された複数の静止画であってもよく、通常撮影で得られた複数の静止画を撮影時間順に配列した画像データであってもよい。

図２は、図１に示す画像検索装置において表示装置に表示される操作画面の一例を説明するための図である。そして、図２（Ａ）は画像送りを指示する操作を受け付ける操作画面を示す図であり、図２（Ｂ）は画像送り操作による操作画面の遷移方向を示す図である。

まず、図２（Ａ）を参照して、表示装置１０４は表示パネル２０１を備えており、当該表示パネル２０１には動画などの画像が表示される。なお、表示パネル２０１は指操作などのタッチ操作を検知するタッチパネルとして用いられる。

表示パネル２０１には遷移表示画像領域２０２が表示されており、この領域２０１には、例えば、動画フレーム又は静止画などの画像が表示される。タイムライン２０３は動画フレーム又は静止画を時系列に並べたラインである。現在位置２０６は、例えば、遷移表示画像領域２０２に表示された動画フレームが全動画フレームにおいていずれの位置にあるかを示す。なお、処理対象が静止画の場合には、現在位置２０６は、全静止画を、例えば、撮影時間順に並べた際に遷移表示画像領域２０１に表示された静止画が全静止画においていずれの位置にあるかを示す。

操作体２０４は、例えば、指又はペンである。ＣＰＵ１００は表示パネル２０１において操作体２０４によるフリック操作、スワイプ、およびドラッグ操作などの送り操作を検知する。そして、ＣＰＵ１００は送り操作を検知すると、操作体２０４の移動量、操作回数、および移動速度に応じて遷移表示画像領域２０２に表示される画像を送り操作する。例えば、フリック操作を行うと、ＣＰＵ１００は画像送りを速くする。スワイプ操作又はドラッグ操作が行われると、ＣＰＵ１００は画像送りを遅くする。なお、送り操作の回数および速度に応じて、ＣＰＵ１００は画像送り速度を変更する。

矢印２０５は遷移表示画像領域２０２の移動方向を示す。操作体２０４によって操作方向（つまり、移動方向）を図中左から右とすると、表示画像が右から左に流れるように表示され、時系列において古い画像から新しい画像に表示が移動する。

動画ストリーム２０７は動画を構成する動画フレーム又は静止画が時系列で配列されていることを示す。ストリーム画像２０８は遷移表示画像領域２０２に表示された画像が動画ストリーム２０７においていずれの画像であるかを示す。そして、ストリーム画像２０８はタイムライン２０３における現在位置２０６にある画像を示す。また、矢印２０９は画像の送り操作方向を示す。遷移表示画像領域２０２に表示される画像を図中右から左に送り操作する場合には、送り操作方向２０９は画像が左から右に、時系列において古い画像から新しい画像に表示が移動することを示している。

続いて、図２（Ｂ）を参照して、ストリーム画像２０７を時系列順に左から右に画像送り操作して遷移表示画像領域２０２に表示するとする。この場合の操作方向を「順送り方向」とする。ここでは、操作体２１０を図中符号Ａで示すように、右から左に操作すると、ＣＰＵ１００は遷移表示画像領域２０２を右から左に流れるように表示する。ストリーム画像２０７の移動方向は矢印２１２で示すように左から右に時系列において古い画像から新しい画像の方向となる。

一方、ストリーム画像２０７を時系列の逆順に右から左に画像送り操作して遷移表示画像領域２０２に表示するとする。この場合の操作方向を「逆戻り方向」とする。ここでは、操作体２１０を図中符号Ｂで示すように、左から右に操作すると、ＣＰＵ１００は遷移表示画像領域２０２を左から右に流れるように表示する。ストリーム画像２０７の移動方向は矢印２１３で示すように右から左に時系列において新しい画像から古い画像の方向となる。すなわち、逆戻り方向と順送り方向とは、逆の方向である。

ユーザーは目的の画像を検索する際には、まず高速で画像送り操作を行い、目的とする画像のおおよその位置が分かると、目的とする画像の近辺において画像送り操作を遅くして画像検索する操作を行う。遷移表示画像領域２０２を高速で送り操作することによって、目的の画像のおおよその位置まで速く到達することができる。一方、高速の送り操作では、ユーザーは遷移表示画像領域２０２に表示された画像を認識することが難しい。そこで、目的の画像（所定の画像）のおおよその位置まで到達した後、遷移表示画像領域２０２の送りを遅くすることによって目的の画像を容易に検索できるようにする。

このように、目的の画像を検索する処理では、まず高速で順送り方向および逆戻し方向の送り操作を繰り返すことによっておおよその位置を検索する。続いて、目的の画像が近くなると低速で画像送りを行って容易に目的の画像を探すことができるようにする。

以下、説明の便宜上、検索する画像を動画画像とし、動画を構成するフレーム画像から目的とするフレーム画像を検索する場合の処理について説明する。

図３Ａおよび図３Ｂは、図１に示す画像検索装置で行われる目的とする画像フレームを検索するための画像送り処理を説明するフローチャートである。

なお、図３Ａおよび図３Ｂに示すフローチャートに係る処理は制御プログラムを含む各種プログラムをハードディスク１０１などからＲＡＭ１０３にロードしてＣＰＵ１００によって行われる。また、図示の画像送り処理では、後述するようにして、目的のフレーム画像を検索するため、送り操作によって送り方向が反対方向となった画像フレームに限界点を設定する。

画像送り処理を開始すると、ＣＰＵ１００は画像送り操作が検出されたか否かを判定する（ステップＳ３０１）。ここでは、ＣＰＵ１００は、例えば、入力装置１０５において画像送り操作が行われたか否かを判定する。画像送り操作が検出されないと（ステップＳ３０１において、ＮＯ）、ＣＰＵ１００は画像送り操作が一時停止であるか否かを判定する（ステップＳ３０２）。ここでは、ＣＰＵ１００は画像送り操作が所定の時間行われず、遷移表示画像領域２０２に表示される画像が動くことなく停止した状態（一時停止）であるか否かを判定する。つまり、ＣＰＵ１００は遷移表示画像領域２０２に表示された画像が所定の時間停止しているか否かを判定する。

画像送り操作が一時停止であると（ステップＳ３０２において、ＹＥＳ）、ＣＰＵ１００は遷移表示画像領域２０２に表示された画像の動画における位置を停止位置としてＲＡＭ１０３に記録する（ステップＳ３０３）。その後、ＣＰＵ１００は、後述するステップＳ３２２の処理に進む。画像送り操作が一時停止でないと（ステップＳ３０２において、ＮＯ）、ＣＰＵ１００はステップＳ３２２の処理に進む。

画像送り操作が検出されると（ステップＳ３０１において、ＹＥＳ）、ＣＰＵ１００は画像送り操作の操作方向（画像送り方向）が順送り方向であるか否かを判定する（ステップＳ３０４）。画像送り方向が順送り方向であると（ステップＳ３０４において、ＹＥＳ）、ＣＰＵ１００は操作方向が順送り方向であることをＲＡＭ１０３に記録する（ステップＳ３０５）。

続いて、ＣＰＵ１００は前回の一時停止の前の画像送り方向が順送り方向であるか否かを判定する（ステップＳ３０６）。前回の画像送り方向が逆戻し（逆送り）であると（ステップＳ３０６において、ＮＯ）、ＣＰＵ１００は画像送り方向が逆戻しから順送りとなったとする。そして、ＣＰＵ１００はステップＳ３０３で記録した停止位置を逆戻しの限界点に設定してＲＡＭ１０３に記録する（ステップＳ３０７）。その後、ＣＰＵ１００は、後述するようにして、送り速度を再計算する（ステップＳ３０８）。

次に、ＣＰＵ１００は今回の画像送り操作による移動量を算出する（ステップＳ３０９）。移動量を算出する際には、ＣＰＵ１００は動画のフレーム数に応じて移動量を算出する。なお、前回の画像送り方向が順方向であると（ステップＳ３０６において、ＹＥＳ）、ＣＰＵ１００はステップＳ３０９の処理に進む。

続いて、ＣＰＵ１００は現在の遷移表示画像領域２０２に表示された画像の位置（動画における位置）と移動量に応じて移動する予定の画像の位置との間に順送り方向の限界点が存在するか否かを判定する（ステップＳ３１０）。順送り方向の限界点が存在すると（ステップＳ３１０において、ＹＥＳ）、ＣＰＵ１００は遷移表示画像領域２０２に表示する画像を限界点に対応する位置にある画像とする（ステップＳ３１１）。つまり、ＣＰＵ１００は順送り方向の限界点まで移動させることになる。この場合には、画像送りは限界点で中止して、当該限界点で一時停止した状態となって遷移表示画像領域２０２には限界点に位置する画像が表示される。なお、現在の画像の位置が順送り方向の限界点に位置すると、ＣＰＵ１００は限界点で停止した状態とする。

順送り方向の限界点が存在しないと（ステップＳ３１０において、ＮＯ）、ＣＰＵ１００はステップＳ３０９で算出した移動量に応じて画像送りを行う（ステップＳ３１２）。つまり、ＣＰＵ１００は画像送り操作に応じた画像まで移動することになる。ステップＳ３１１又はＳ３１２の処理の後、ＣＰＵ１００はステップＳ３０１の処理に戻る。

画像送り方向が順送り方向でないと（ステップＳ３０４において、ＮＯ）、ＣＰＵ１００は画像送り方向が逆戻しであるか否かを判定する（ステップＳ３１３）。画像送り方向が逆戻しであると（ステップＳ３１３において、ＹＥＳ）、ＣＰＵ１００はその送り方向、つまり、ここでは、逆戻しであることをＲＡＭ１０３に記録する（ステップＳ３１４）。そして、ＣＰＵ１００は前回の一時停止の前の画像送り方向が逆戻しであるか否かを判定する（ステップＳ３１５）。

前回の画像送り方向が順送りであると（ステップＳ３１５において、ＮＯ）、ＣＰＵ１００は画像送り方向が逆戻しから順送りとなったとする。そして、ＣＰＵ１００はステップＳ３０３で記録した停止位置を順送りの限界点に設定してＲＡＭ１０３に記録する（ステップＳ３１６）。その後、ＣＰＵ１００は、後述するようにして、送り速度を再計算する（ステップＳ３１７）。

続いて、ＣＰＵ１００は今回の送り操作による移動量を算出する（ステップＳ３１８）。ここでは、ＣＰＵ１００は移動量を動画のフレーム数に応じて算出する。なお、前回の画像送り方向が逆戻しであると（ステップＳ３１５において、ＹＥＳ）、ＣＰＵ１００はステップＳ３１８の処理に進む。

続いて、ＣＰＵ１００は現在の遷移表示画像領域２０２に表示された画像の位置（動画における位置）と移動量に応じて移動する予定の画像の位置との間に逆戻し方向の限界点が存在するか否かを判定する（ステップＳ３１９）。逆戻し方向の限界点が存在すると（ステップＳ３１９において、ＹＥＳ）、ＣＰＵ１００は遷移表示画像領域２０２に表示する画像を当該限界点に対応する位置にある画像とする（ステップＳ３２０）。つまり、ＣＰＵ１００は逆戻し方向の限界点まで移動させることになる。この場合には、画像送りは限界点で停止して、当該限界点で一時停止した状態となって遷移表示画像領域２０２には限界点に位置する画像が表示される。なお、現在の画像の位置が逆戻し方向の限界点に位置すると、ＣＰＵ１００は当該限界点で停止した状態とする。

逆戻し方向の限界点が存在しないと（ステップＳ３１９において、ＮＯ）、ＣＰＵ１００はステップＳ３１８で算出した移動量に応じて画像送り（逆戻し）を行う（ステップＳ３２１）。つまり、ＣＰＵ１００は画像送り操作に応じた画像まで移動することになる。ステップＳ３２０又はＳ３２１の処理の後、ＣＰＵ１００はステップＳ３０１の処理に戻る。

画像送り方向が順送り方向であると（ステップＳ３１３において、ＮＯ）、ＣＰＵ１００は画像送り操作が終了したか否かを判定する（ステップＳ３２２）。ここでは、前述の一時停止を判定する際の時間よりも長い時間、画像送り操作が行われないと、ＣＰＵ１００は画像送り操作が終了したと判定する。画像送り操作が終了していないと（ステップＳ３２２において、ＮＯ）、ＣＰＵ１００はステップＳ３０１の処理に戻る。一方、画像送り操作が終了すると（ステップＳ３２２において、ＹＥＳ）、ＣＰＵ１００は画像送り処理を終了する。

図４は、図３Ａおよび図３Ｂで説明した順送り方向および逆戻しの限界点を設定する際の処理を説明するための図である。

いま、ＣＰＵ１００は画像（フレーム画像）を順送り方向に送り処理しているものとする。この際、ユーザーによって画像送り方向が逆戻し方向とされると（図４において、送り操作の反転４０１で示す）、ＣＰＵ１００は画像送り方向を反対方向である逆戻し方向とする。この際、ＣＰＵ１００は送り処理を一時停止する。図示の例では、ＣＰＵ１００は停止位置２０８で画像送りを一時停止する。この停止位置２０８は図３Ａに示すステップＳ３０３においてＲＡＭ１０３に記録される停止位置である。

一時停止の後、ＣＰＵ１００は画像送り方向を逆戻し方向として画像の送り処理を行う。ＣＰＵ１００は画像送り方向が順送りから逆戻しに反転したことを判定すると、図３Ｂに示すステップＳ３１６において順送り方向の限界点４０２を設定する。

続いて、ユーザーによって画像送り方向が逆戻し方向から順送り方向に反転されると（図４において、送り操作の反転４０３で示す）、ＣＰＵ１００は画像送り方向を反対方向である順送り方向とする。この際、ＣＰＵ１００は送り処理を一時停止する。図示の例では、ＣＰＵ１００は停止位置４０４で画像送りを一時停止する。この停止位置４０４は図３Ａに示すステップＳ３０３においてＲＡＭ１０３に記録される停止位置である。

一時停止の後、ＣＰＵ１００は画像送り方向を逆戻し方向として画像の送り処理を行う。ＣＰＵ１００は画像送り方向が逆戻しから順送りに反転したことを判定すると、図３Ａに示すステップＳ３０７において逆戻し方向の限界点４０５を設定する。

このようにして、ＣＰＵ１００はユーザーの画像送り操作に応じて順送り方向および戻し方向の限界点４０２および４０５を設定する。そして、ＣＰＵ１００は限界点４０２および４０５の範囲で送り処理を行うことになる。

図５は、図３Ａおよび図３Ｂで説明した限界点において画像送りを停止する処理を説明するための図である。

前述のように、画像送り処理の際、ＣＰＵ１００は順送り方向および逆戻し方向の限界点４０２および４０５まで画像送りを行うと画像送り処理を停止する。そして、画像送り処理を停止すると、ＣＰＵ１００は限界点４０２又は４０５に位置する画像を遷移表示画像領域２０２に表示する。そして、順送り方向の限界点４０２で画像送り処理を停止した際には、以後ＣＰＵ１００は当該限界点４０２に位置する画像から順送り方向に画像送りを行わない。同様に、逆戻し方向の限界点４０５で画像送り処理を停止した際には、以後ＣＰＵ１００は当該限界点４０５に位置する画像から逆戻し方向に画像送りを行わない。

図６は、図３Ａおよび図３Ｂで説明した限界点の更新について説明するための図である。そして、図６（Ａ）〜図６（Ｃ）は動画ストリームにおける限界点の更新を示す図である。

図６（Ａ）に示すように、動画ストリームには順送り方向の限界点４０２および逆送り方向の限界点４０５が設定されているものとする。限界点４０２および４０５を設定すると、ＣＰＵ１００は限界点４０２および４０５で規定される移動可能範囲６０５において画像送り処理を行う。なお、ここでは、移動可能範囲６０５は画像送り方向を反転することなく画像送り操作が行われた場合の移動範囲を示す。

いま、画像送り処理の途中で、画像送り操作の反転６０１が行われたとする。ここでは、画像送り方向が順送り方向から逆戻し方向に反転され、かつ順送り方向の限界点４０２に達していない状態で反転６０１が行われたとする。この場合、ＣＰＵ１００は反転６０１が行われた画像の位置を順送り方向の限界点６０２として新たに設定する。この結果、図６（Ｂ）に示すように、ＣＰＵ１００は順送り方向の限界点６０２と逆送り方向の限界点４０５とによって規定された移動可能範囲６０６を移動範囲とする。

さらに、画像送り操作の反転６０３が行われたとする。ここでは、画像は送り方向が逆戻し方向から順送り方向に反転され、かつ逆戻し方向の限界点４０５に達していない状態で反転６０３が行われたとする。この場合、ＣＰＵ１００は反転６０３が行われた画像の位置を逆戻し方向の限界点６０４として新たに設定する。この結果、図６（Ｃ）に示すように、ＣＰＵ１００は順送り方向の限界点６０２と逆送り方向の限界点６０４とによって規定された移動可能範囲６０７を移動範囲とする。

上述のようにして、ユーザーによる送り操作に応じて限界点の設定および更新が行われる結果、限界点で画像送り処理が停止し、かつ画像送り操作を行える移動可能範囲が狭くなる。つまり、ユーザーは画像送り操作を順送り方向又は逆戻し方向に切り換えれば、当該画像送り操作によって移動可能範囲が設定され、ユーザーが意図しない画像送り処理が行われることがなく、画像検索を容易に行うことができる。

図７は、図３Ａおよび図３Ｂで説明した画像送り処理において送り速度の算出で用いられるデータの一例を示す図である。

図３Ａおよび図３Ｂで説明したように、限界点を設定して、その後の送り操作で画像送りの送り速度を算出する場合、ＣＰＵ１００は限界点間のフレーム数に応じて送り速度を算出する。図７に示すように、限界点間のフレーム数として所定の初期値に対して送り速度として”１００”が設定される。つまり、最初の送り速度として”１００”が設定される。そして、限界点間のフレーム数に応じて、送り速度を”１００”とした際の速度比を示す送り速度比率が記載される。

図示のように、限界点間のフレーム数が少なくなる程送り速度は遅くなる。なお、逆送り方向の限界点を動画ストリームの最初の画像の位置に設定し、順送り方向の限界点を動画ストリームの最後の画像の位置に設定する。そして、当該限界点間のフレーム数（つまり、動画ストリームのフレーム数）を初期値として、当該初期値に対する送り速度を”１００”とする。

図示の例では、図３Ａおよび図３Ｂで説明した画像送り処理において限界点が設定されるか又は限界点間の移動可能範囲が変更される。そして、例えば、限界点間のフレーム数が１００以下になると、ＣＰＵ１００は送り速度を初期値に対する送り速度の２５％に設定する。

なお、上述の例では、送り速度を決定する際に、限界点間のフレーム数を用いたが、限界点間の撮影時間又は動画フレームの長さ（フレーム数又は撮影時間）と限界点間の長さ（限界点長さ：フレーム数又は撮影時間）を比率用いるようにしてもよい。

上述のようにして送り速度を求めれば、限界点間のフレーム数が少なくなった場合、つまり、移動可能範囲が狭くなった場合には画像送り速度が遅くなるので、ユーザーは所望の画像を容易に検索することができる。

このように、本発明の第１の実施形態では、ユーザーの送り操作に応じて画像送りの際の稼働可能範囲を設定するようにしたので、短時間でユーザー所望の画像を探索することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像検索装置の一例について説明する。なお、第２の実施形態による画像検索装置の構成は図１に示す画像検索装置と同様である。

図８は、本発明の第２の実施形態による画像検索装置で行われる限界点の設定を説明するための図である。そして、図８（Ａ）は限界点情報の一例を示す図であり、図８（Ｂ）および図８（Ｃ）は動画ストリームの例を示す図である。また、図８（Ｄ）は限界点情報の他の例を示す図である。

第２の実施形態による画像検索装置においても、第１の実施形態で説明したようにして限界点の設定および更新が行われる。図３Ａ、図３Ｂ、および図６に関連して説明したように、限界点に達する前に送り方向を反転させると、ＣＰＵ１００は画像送り処理を停止して、当該反転させた位置に新たに限界点を設定する。つまり、ＣＰＵ１００は順送り方向の限界点と逆送り方向の限界点とを別々に設定して記録する。そして、順送り方向の限界点と逆送り方向の限界点とはその数が異なる場合もある。

図８（Ａ）に示すように、限界点情報は逆戻し方向の限界点および順送り方向の限界点を有している。限界点情報は限界点を設定した動画ストリームのフレーム数に応じて設定される。ここでは説明の便宜上、動画ストリームのフレーム数が２００００フレームである場合に初期値として、逆戻し方向の限界点にはフレーム番号１が設定され、順送り方向の限界点にはフレーム番号２００００が設定されるものとする。

逆戻し方向の限界点には、逆戻し操作から順送り操作をした際に画像送りが停止されたフレームが記録されている。図示の例では、フレーム番号３０００およびフレーム番号３１００が記録され、フレーム番号３１００が逆戻し方向の最終的な限界点とされる。

順送り方向の限界点には、順送り操作から逆戻し操作をした際に画像送りが停止されたフレームを記録されている。図示の例では、フレーム番号３４５０、フレーム番号３２００、フレーム番号３１２５、およびフレーム番号３１１０が記録され、フレーム番号３１１０が順送り方向の最終的な限界点とされる。なお、図８（Ａ）に示す限界点情報に応じて動画ストリームには複数の限界点が設定されることになる（図８（Ｂ）参照）。

次に、図８（Ｂ）および図８（Ｃ）を参照して限界点の削除処理について説明する。

図５に関連して説明したように、順送り方向の限界点８０３において送り処理が停止すると、当該限界点８０３に位置するフレームよりも先には順送り方向の送り処理は行われない。順送り方向の限界点８０３において送り処理が停止した場合に、さらに順送り方向に送り操作を行うと、ＣＰＵ１００は当該順送り方向の限界点８０３を削除する。この場合、ＣＰＵ１００はフレーム番号３１１０に対応する限界点を削除して、限界点情報において１つ前の限界点８０４を順送り方向の限界点として設定する。つまり、ＣＰＵ１００はフレーム番号３１２５を限界点として設定する。

上述のようにして限界点を削除すると、図８（Ｂ）に示す動画ストリームは、図８（ｃ）に示す限界点が設定された動画ストリームとなる。さらに、図８（Ｄ）に示すように、限界点情報においてはフレーム番号３１１０に対応する限界点が削除され、フレーム番号３１２５が最終的な限界点として設定される。

図９Ａおよび図９Ｂは、本発明の第２の実施形態による画像検索装置で行われる画像送り処理を説明するためのフローチャートである。なお、図示のフローチャートにおいて、図３Ａおよび図３Ｂに示すフローチャートと同一のステップについては同一の参照符号を付して説明を省略する。

図３Ａで説明したステップＳ３０７の処理の後、ＣＰＵ１００は逆戻し方向の限界点を限界点情報に追加して記録する（ステップＳ９０１）。そして、ＣＰＵ１００はステップＳ３０８の処理に進む。

ステップＳ３０６において、前回の画像送り方向が順方向であると（ステップＳ３０６において、ＹＥＳ）、ＣＰＵ１００は、ユーザー操作が順送りの限界点で停止した後の操作であるか否かを判定する（ステップＳ９０２）。順送りの限界点で停止した後の操作であると（ステップＳ９０２において、ＹＥＳ）、ＣＰＵ１００は前回停止を行った順送り方向の限界点を限界点情報から削除する（ステップＳ９０３）。そして、ＣＰＵ１００は限界点情報（つまり、履歴情報）において削除した限界点の１つ前の順送り方向の限界点を順送り方向の限界点に設定する（ステップＳ９０４）。その後、ＣＰＵ１００はステップＳ３０８の処理に進む。

ユーザー操作が順送りの限界点で停止した後の操作でないと（ステップＳ９０２において、ＮＯ）、ＣＰＵ１００は、図３Ａで説明したステップＳ３０９の処理に進む。

なお、ステップＳ９０１において限界点を限界点情報に追加した場合又はステップＳ９０４において１つ前の限界点を順送り方向の限界点として設定した場合には、限界点間のフレーム数が変更される。よって、ＣＰＵ１００はステップＳ３０８において送り速度を再計算することになる。

ステップＳ３１６の処理の後、ＣＰＵ１００は順送り方向の限界点を限界点情報に追加して記録する（ステップＳ９０５）。そして、ＣＰＵ１００はステップＳ３１７の処理に進む。

ステップＳ３１５において、前回の画像送り方向が逆戻し方向であると（ステップＳ３１５において、ＹＥＳ）、ＣＰＵ１００は、ユーザー操作が逆戻しの限界点で停止した後の操作であるか否かを判定する（ステップＳ９０６）。逆戻しの限界点で停止した後の操作であると（ステップＳ９０６において、ＹＥＳ）、ＣＰＵ１００は前回停止を行った逆戻し方向の限界点を限界点情報から削除する（ステップＳ９０７）。そして、ＣＰＵ１００は限界点情報（つまり、履歴情報）において削除した限界点の１つ前の逆戻し方向の限界点を逆戻し方向の限界点に設定する（ステップＳ９０８）。その後、ＣＰＵ１００はステップＳ３１７の処理に進む。

ユーザー操作が逆戻し方向の限界点で停止した後の操作でないと（ステップＳ９０６において、ＮＯ）、ＣＰＵ１００は、図３Ｂで説明したステップＳ３１８の処理に進む。

なお、ステップＳ９０５において限界点を限界点情報に追加した場合又はステップＳ９０８において１つ前の限界点を逆戻し方向の限界点として設定した場合には、限界点間のフレーム数が変更される。よって、ＣＰＵ１００はステップＳ３１７において送り速度を再計算することになる。

このように、本発明の第２の実施形態では、限界点の履歴を示す限界点情報を備えて、限界点間のフレーム数が変更されると送り速度を再計算する。この結果、限界点間のフレーム数が多くなると送り速度が速くなり、限界点間のフレーム数が少なくなると送り速度が遅くなって、ユーザーは所望の画像を容易に検索することができる。

上述の説明から明らかなように、図１に示す例では、ＣＰＵ１００が表示制御手段および設定手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像検索制御装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを画像検索装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも本発明は実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ ＣＰＵ
１０１ ハードディスク
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 表示装置
１０５ 入力装置
１０６ メディアドライブ
１０７ インタフェース（Ｉ／Ｆ）
１０９ 通信回線
１１０ ネットワーク

Claims (6)

1. 連続して撮影された複数の画像から所定の画像を検索する画像検索装置であって、
   ユーザー操作に応じて表示部に前記複数の画像を第１の方向にしたがって順に表示するか又は前記第１の方向とは逆の第２の方向にしたがって順に表示する表示制御手段と、
   前記画像を順に表示する方向が前記第１の方向から前記第２の方向に切り替えられた際、当該切り替えの際に表示されていた画像に基づき、前記第１の方向の限界を設定する設定手段と、を有し、
   前記表示制御手段は前記第１の方向にしたがって順に画像を表示し、前記限界と対応する画像に達すると、前記第１の方向にしたがった順での画像の表示を中止し、
   前記設定された限界の履歴を示す情報を記憶し、
   前記設定手段は、前記表示制御手段によって前記第１の方向にしたがった順での画像の表示が中止された後、前記ユーザー操作によって前記第１の方向にしたがった画像の表示を指示する操作が行われると、前記第１の方向の限界を示す情報を変更して設定することを特徴とする画像検索装置。
2. 前記表示制御手段は、前記第１の方向の限界と第２の方向の限界とに基づいて前記画像を順に表示する速度を決定することを特徴とする請求項１に記載の画像検索装置。
3. 前記表示制御手段は、前記第１の方向の限界と前記第２の方向の限界とによって規定される長さに応じて前記速度を決定することを特徴とする請求項２に記載の画像検索装置。
4. 前記表示制御手段は、前記速度を、前記第１の方向の限界と前記第２の方向の限界との間の画像の数、前記第１の方向の限界と前記第２の方向の限界との間の画像の撮影時間、又は前記画像の量と前記第１の方向の限界および前記第２の方向の限界によって規定される長さとに応じて決定することを特徴とする請求項２に記載の画像検索装置。
5. 連続して撮影された複数の画像から所定の画像を検索する画像検索装置の制御方法であって、
   ユーザー操作に応じて表示部に前記複数の画像を第１の方向にしたがって順に表示するか又は前記第１の方向とは逆の第２の方向にしたがって順に表示する表示制御ステップと、
   前記画像を順に表示する方向が前記第１の方向から前記第２の方向に切り替えられた際、当該切り替えの際に表示されていた画像に基づき、前記第１の方向の限界を設定する設定ステップと、を有し、
   前記表示制御ステップでは、前記第１の方向にしたがって順に画像を表示し、前記限界と対応する画像に達すると、前記第１の方向にしたがった順での画像の表示を中止し、
   前記設定された限界の履歴を示す情報を記憶する記憶ステップをさらに有し、
   前記設定ステップでは、前記表示制御ステップで前記第１の方向にしたがった順での画像の表示が中止された後、前記ユーザー操作によって前記第１の方向にしたがった画像の表示を指示する操作が行われると、前記第１の方向の限界を示す情報を変更して設定することを特徴とする制御方法。
6. コンピュータを請求項１乃至４のいずれか１項に記載の画像検索装置の各手段として機能させるプログラム。

Images