JP6312991B2

JP6312991B2 - 画像出力装置

Info

Publication number: JP6312991B2
Application number: JP2013132887A
Authority: JP
Inventors: 智一河原; 小坂谷　達夫; 達夫小坂谷; 山口　修; 修山口; 湯浅　真由美; 真由美湯浅; 友樹渡辺; 麻由奥村; ヴェトファン
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2013-06-25
Filing date: 2013-06-25
Publication date: 2018-04-18
Anticipated expiration: 2033-06-25
Also published as: JP2015007897A; WO2014208163A1; US20160117839A1; US10248853B2

Description

本発明の実施形態は、画像出力装置に関する。

複数の動画像それぞれに含まれる人物が同一であるか否かを目視で特定するために、当該複数の動画像を並べて表示する技術が知られている。また、人物の特定を容易化するため、動画像内で特定対象の人物を追跡し、当該人物の顔の向きが異なる複数の画像を抽出し、並べて表示する技術が知られている。

特開２００８−１９９５４９号公報

ところで、移動体の動作には、当該移動体の癖など当該移動体の特定に有益な情報が現れやすい。しかしながら、上述したような従来技術には、複数の画像それぞれに含まれる移動体が同一であるか否かを目視で特定する際に、当該移動体の動作を利用するという着想がなかった。本発明が解決しようとする課題は、複数の画像それぞれに含まれる移動体が同一であるか否かの目視による特定を容易化することが可能な画像出力装置を提供することである。

実施形態の画像出力装置は、取得部と、抽出部と、探索部と、対応付け部と、出力制御部と、を備える。取得部は、移動体を撮像した複数の第１画像、及び前記移動体を撮像した複数の第２画像を取得する。抽出部は、前記複数の第１画像のうちの少なくとも１つの第１画像から、前記移動体の動作に伴い変動する第１パラメータを抽出し、前記複数の第２画像それぞれから、前記移動体の動作に伴い変動する第２パラメータを抽出する。探索部は、前記複数の第２パラメータの中から前記第１パラメータと類似する第２パラメータを探索する。対応付け部は、前記第１パラメータの抽出元の第１画像と当該第１パラメータに対して探索された前記第２パラメータの抽出元の第２画像とを対応付け、前記第１パラメータの抽出元の第１画像以外の第１画像については、前記第２画像から当該第１画像と前記第１パラメータの抽出元の第１画像との間のフレーム数分ずらした第２画像を対応付ける。出力制御部は、対応付けられた前記第１画像及び前記第２画像に基づく画像を、出力部に出力させる。

本実施形態の画像出力装置の例を示す構成図。本実施形態の顔領域の抽出の例を示す図。本実施形態の第１パラメータの例を示す図。本実施形態の第２パラメータの例を示す図。本実施形態の大きさが最も近い顔領域を有する第１画像と第２画像との対応を示すグラフの例を示す図。本実施形態の第１画像と第２画像との対応付け結果の一例を示す図。本実施形態の出力例を示す図。本実施形態の処理例を示すフローチャート図。変形例１の顔の向きの抽出の例を示す図。変形例１の第１パラメータの例を示す図。変形例１の出力例を示す図。変形例２の第１パラメータの例を示す図。変形例２の出力例を示す図。変形例３の第１パラメータの例を示す図。変形例３の出力例を示す図。変形例４の第１画像と第２画像との対応付け結果の例を示す図。変形例５の第１画像と第２画像との対応付け結果の例を示す図。実施形態及び各変形例の画像出力装置のハードウェア構成例を示す図。

以下、添付図面を参照しながら、実施形態を詳細に説明する。

図１は、本実施形態の画像出力装置１０の一例を示す構成図である。図１に示すように、画像出力装置１０は、取得部１３と、抽出部１５と、探索部１７と、対応付け部１９と、出力制御部２１と、出力部２３とを、備える。

取得部１３、抽出部１５、探索部１７、対応付け部１９、及び出力制御部２１は、例えば、ＣＰＵ（Central Processing Unit）などの処理装置にプログラムを実行させること、即ち、ソフトウェアにより実現してもよいし、ＩＣ（Integrated Circuit）などのハードウェアにより実現してもよいし、ソフトウェア及びハードウェアを併用して実現してもよい。出力部２３は、例えば、液晶ディスプレイなどの表示装置により実現できる。但し、出力部２３をＮＩＣ（Network Interface Card）などの通信装置により実現してもよい。

取得部１３は、移動体を第１時系列で撮像した複数の第１画像、及び当該移動体を撮像した複数の第２画像を取得する。本実施形態では、複数の第１画像及び複数の第２画像は、街中に設置された監視カメラや防犯カメラなどにより撮像された画像を想定しているがこれに限定されるものではない。また、複数の第１画像及び複数の第２画像は、動画像であってもよいし、静止画像であってもよい。

また本実施形態では、複数の第１画像及び複数の第２画像は、画像出力装置１０が備える図示せぬ記憶部に記憶されており、取得部１３が当該記憶部から取得することを想定しているが、これに限定されるものではない。例えば、取得部１３は、監視カメラからネットワーク等を介して直接複数の第１画像及び複数の第２画像を取得するようにしてもよい。また、複数の第１画像及び複数の第２画像を記憶する記憶部を画像出力装置１０の外部に設け（例えば、クラウド上に設け）、取得部１３が当該記憶部から取得するようにしてもよい。なお記憶部は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などにより実現できる。

また本実施形態では、複数の第２画像は、移動体を第２時系列で撮像したものを想定しているが、これに限定されるものではなく、時系列で撮像されていない画像であってもよい。なお第１時系列及び第２時系列は異なる時系列であることが好ましい。また、第１時系列及び第２時系列が異なっていれば、複数の第１画像を撮像した監視カメラと複数の第２画像を撮像した監視カメラとは、同一であっても、異なっていてもよい。また本実施形態では、移動体は、人物を想定しているが、これに限定されるものではない。

抽出部１５は、取得部１３により取得された複数の第１画像の少なくともいずれかから、人物の動作に伴い変動する第１パラメータを抽出するとともに、取得部１３により取得された複数の第２画像それぞれから、人物の動作に伴い変動する第２パラメータを抽出する。但し本実施形態では、抽出部１５は、取得部１３により取得された複数の第１画像それぞれから、第１パラメータを抽出する。

ここで、第１パラメータ及び第２パラメータは、人物の体の部位に関するパラメータであり、例えば、画像内における体の部位の大きさ、画像内における体の部位の向き、及び画像内における体の部位の相対位置などが挙げられる。第１パラメータ及び第２パラメータは、これらの少なくともいずれかであればよいが、これらに限定されるものではない。なお、画像内における体の部位の大きさは、当該画像を撮像した監視カメラ等と人物との距離に依存するため、人物の動作に伴い変動するパラメータとなる。また体の部位は、例えば、顔、足、体、上半身、下半身、手、及び腕などが挙げられる。体の部位は、これらの少なくともいずれかであればよいが、これらに限定されるものではない。

なお本実施形態では、第１パラメータ及び第２パラメータとして画像内における人物の顔の大きさを例に取り説明する。この場合、抽出部１５は、複数の第１画像それぞれから、顔領域（本実施形態では、顔を示す矩形領域を想定）を抽出し、当該顔領域の横幅及び縦幅を第１パラメータとする。同様に抽出部１５は、複数の第２画像それぞれから、顔領域を抽出し、当該顔領域の横幅及び縦幅を第２パラメータとする。なお第１パラメータ及び第２パラメータは、少なくとも顔領域の横幅及び縦幅を含んでいればよく、これら以外の情報（例えば、抽出元の画像の識別子など）を含んでいてもよい。

図２は、本実施形態の顔領域の抽出の一例を示す図である。図２に示す例の場合、抽出部１５は、画像３１から領域３２を顔領域として抽出する。なお顔領域の抽出には、例えば、Takeshi Mita, Toshimitsu Kaneko, Bjorn Stenger, Osamu Hori： “Discriminative Feature Co-Occurrence Selection for Object Detection”. IEEE Transaction Pattern Analysis and Machine Intelligence Volume 30, Number 7, July 2008, pp. 1257-1269（以下、参照文献１と称する）に開示された手法を用いることができる。なお、体領域の抽出には、例えば、Tomoki Watanabe, Satoshi Ito, Kentaro Yoko: “Co-occurrence Histogram of Oriented Gradients for Human Detection”, IPSJ Transaction on Computer Vision and Applications Volume 2 March 2010, pp.39-47（以下、参照文献２と称する）に開示された手法を用いることができる。

図３は、本実施形態の第１パラメータの一例を示す図であり、図４は、本実施形態の第２パラメータの一例を示す図である。図３及び図４に示す例では、パラメータは、顔領域の抽出元の画像の識別子である画像番号と、当該顔領域の抽出結果（顔領域の横幅及び縦幅）と、を対応付けた情報となっている。なお、ｗは、顔領域の横幅を示し、ｈは、顔領域の縦幅を示す。また、Ｎ及びＭは、いずれも２以上の自然数である。

探索部１７は、抽出部１５により抽出された複数の第２パラメータの中から、抽出部１５により抽出された第１パラメータと類似する第２パラメータを探索する。本実施形態では、探索部１７は、第１パラメータ毎に、複数の第２パラメータの中から当該第１パラメータと類似する第２パラメータを探索する。

具体的には、探索部１７は、複数の第２パラメータの中から第１パラメータとの類似度を示す距離が最小となる第２パラメータを探索する。例えば、探索部１７は、第１パラメータ毎に、数式（１）を用いて、複数の第２パラメータそれぞれとの類似度を示す距離を算出し、算出した距離が最も小さい第２パラメータを探索する。

Ｄ＝（ｗＡｘ−ｗＢｚ）^２＋（ｈＡｘ−ｈＢｚ）^２ …（１）

但し、ｗＡｘは、第１パラメータの顔領域の横幅、ｈＡｘは、第１パラメータの顔領域の縦幅、ｗＢｚは、第２パラメータの顔領域の横幅、ｈＢｚは、第２パラメータの顔領域の縦幅を示す。また、ｘは、１〜Ｎの任意の自然数であり、ｚは、１〜Ｍの任意の自然数である。

対応付け部１９は、第１パラメータの抽出元の第１画像と当該第１パラメータに対して探索部１７により探索された第２パラメータの抽出元の第２画像とを対応付ける。本実施形態では、対応付け部１９は、第１パラメータ毎に、当該第１パラメータの抽出元の第１画像と当該第１パラメータに対して探索された第２パラメータの抽出元の第２画像とを対応付ける。

例えば、探索部１７による探索の結果、第１パラメータに対して探索された第２パラメータ、即ち、第１パラメータの抽出元の第１画像と、当該第１画像の顔領域と大きさが最も近い顔領域を有する第２画像との対応が、図５に示すグラフで表されるとする。

この場合、対応付け部１９は、図６に示すように、第１画像番号Ａ１の第１画像と第２画像番号Ｂ１１の第２画像、第１画像番号Ａ２の第１画像と第２画像番号Ｂ１２の第２画像、第１画像番号Ａ３の第１画像と第２画像番号Ｂ１３の第２画像をそれぞれ対応付ける。

出力制御部２１は、対応付け部１９により対応付けられた第１画像及び第２画像に基づく画像を、出力部２３に出力させる。本実施形態では、出力制御部２１は、対応付けられた第１画像及び第２画像の組それぞれに基づく画像を、第１時系列又は第２時系列に従って出力部２３に順次出力させる。

第１画像及び第２画像の組に基づく画像は、例えば、当該第１画像及び当該第２画像を並べた画像などが挙げられる。並べ方としては、例えば、第１画像及び第２画像を左右に並べてもよいし、第１画像及び第２画像を上下に並べてもよい。

図７は、本実施形態の出力例を示す図である。図７に示す例では、出力制御部２１は、対応付け部１９により対応付けられた第１画像番号Ａ１の第１画像と第２画像番号Ｂ１１の第２画像を左右に並べた画像、対応付け部１９により対応付けられた第１画像番号Ａ２の第１画像と第２画像番号Ｂ１２の第２画像を左右に並べた画像、対応付け部１９により対応付けられた第１画像番号Ａ３の第１画像と第２画像番号Ｂ１３の第２画像を左右に並べた画像を、当該順序（第１時系列）で出力部２３に順次画面出力させている。

これにより、複数の第１画像内の人物の移動動作と複数の第２画像内の人物の移動動作とを揃えた画像を出力でき、複数の第１画像内の人物と複数の第２画像内の人物とが同一であるか否かの目視による特定を容易化することが可能となる。

なお出力部２３が複数並べられている場合や出力部２３が複数画面の画面出力（例えば、複数のウィンドウでの画面出力）を行う場合には、出力制御部２１は、対応付けられた第１画像及び第２画像を並べる必要はなく、対応付けられた第１画像及び第２画像の出力部２３への出力タイミングを合わせるように出力を制御すればよい。この場合、第１画像及び第２画像の組に基づく画像は、第１画像及び第２画像そのものとなる。

図８は、本実施形態の画像出力装置１０の処理の一例を示すフローチャート図である。

まず、取得部１３は、移動体を第１時系列で撮像した複数の第１画像、及び当該移動体を撮像した複数の第２画像を取得する（ステップＳ１０１）。

続いて、抽出部１５は、取得部１３により取得された複数の第１画像それぞれから、人物の動作に伴い変動する第１パラメータを抽出するとともに、取得部１３により取得された複数の第２画像それぞれから、人物の動作に伴い変動する第２パラメータを抽出する（ステップＳ１０３）。

続いて、探索部１７は、抽出部１５により抽出された第１パラメータ毎に、抽出部１５により抽出された複数の第２パラメータの中から、当該第１パラメータと類似する第２パラメータを探索する。そして対応付け部１９は、第１パラメータ毎に、当該第１パラメータの抽出元の第１画像と当該第１パラメータに対して探索された第２パラメータの抽出元の第２画像とを対応付ける（ステップＳ１０５）。

続いて、出力制御部２１は、対応付け部１９により対応付けられた第１画像及び第２画像の組それぞれに基づく画像を、第１時系列で出力部２３に順次出力させる（ステップＳ１０７）。

以上のように本実施形態によれば、複数の第１画像内の人物の動作と複数の第２画像内の人物の動作とを揃えた画像を出力できるので、複数の第１画像内の人物と複数の第２画像内の人物とが同一であるか否かの目視による特定を容易化することが可能となる。

（変形例１）
上記実施形態では、第１パラメータ及び第２パラメータとして画像内における人物の顔の大きさを例に取り説明したが、変形例１では、第１パラメータ及び第２パラメータが画像内における人物の顔の向きである場合について説明する。

この場合、抽出部１５は、複数の第１画像それぞれから、顔領域を抽出し、当該顔領域の顔の向きを第１パラメータとする。同様に抽出部１５は、複数の第２画像それぞれから、顔領域を抽出し、当該顔領域の顔の向きを第２パラメータとする。

図９は、変形例１の顔の向きの抽出の一例を示す図である。図９に示す例の場合、抽出部１５は、顔の向きをロール・ピッチ・ヨーの連続量で抽出する。ここで、ロールは、正面向きを基準とし、画面内回転した角度を示し、ピッチは、正面向きを基準とし、上下に回転した角度を示し、ヨーは、正面向きを基準とし、左右に回転した角度を示す。但し、顔の向きは、これに限定されず、正面、右、左、上、及び下などとしてもよい。

図９に示す例の場合、顔１０１がロールの値が負である場合の顔の向きを示し、顔１０２がロールの値が０である場合の顔の向きを示し、顔１０３がロールの値が正である場合の顔の向きを示す。また、顔１０４がピッチの値が負である場合の顔の向きを示し、顔１０５がピッチの値が０である場合の顔の向きを示し、顔１０６がピッチの値が正である場合の顔の向きを示す。また、顔１０７がヨーの値が負である場合の顔の向きを示し、顔１０８がヨーの値が０である場合の顔の向きを示し、顔１０９がヨーの値が正である場合の顔の向きを示す。なお向きの抽出には、例えば、前述した参照文献１や参照文献２に開示された手法を用いることができる。向きをそろえると、顔の形状が一致する、顔の特定の部位の見え方が一致する等の点で同一人文であるか否かの特定を容易にする。例えば、構造的に必ずしも一致しない「鼻」などを異なる方向から比較するよりは、同じ方向から比較したほうが特定は容易になる。また、隠れた領域がある場合などについても、方向を一致させることで、見え方が同様になり、見える領域を効果的に利用することが可能になる。なお、顔向きは、一方の画像にそろえることができればよい。隠れた領域（見えない領域）がないや、どちらに向きを揃えてもよいなどの場合には、顔向きが一致し、ロール・ピッチ、ヨーが０に近い、即ち正面に近くにそろえると特定を容易にできるため、好ましい。

図１０は、変形例１の第１パラメータの一例を示す図である。図１０に示す例では、パラメータは、顔領域の抽出元の画像の識別子である画像番号と、当該顔領域の顔の向きの抽出結果（ロール・ピッチ・ヨー）と、を対応付けた情報となっている。なお、ｒは、ロールを示し、ｐは、ピッチを示し、ｙは、ヨーを示す。

探索部１７及び対応付け部１９については、上記実施形態と同様の手法を用いればよい。

図１１は、変形例１の出力例を示す図である。図１１に示す例では、出力制御部２１は、対応付け部１９により対応付けられた第１画像番号Ｃ１の第１画像と第２画像番号Ｄ１１の第２画像を左右に並べた画像、対応付け部１９により対応付けられた第１画像番号Ｃ２の第１画像と第２画像番号Ｄ１２の第２画像を左右に並べた画像、対応付け部１９により対応付けられた第１画像番号Ｃ３の第１画像と第２画像番号Ｄ１３の第２画像を左右に並べた画像を、当該順序（第１時系列）で出力部２３に順次画面出力させている。

これにより、複数の第１画像内の人物の顔の動作と複数の第２画像内の人物の顔の動作とを揃えた画像を出力でき、複数の第１画像内の人物と複数の第２画像内の人物とが同一であるか否かの目視による特定を容易化することが可能となる。

（変形例２）
上記実施形態では、第１パラメータ及び第２パラメータとして画像内における人物の顔の大きさを例に取り説明したが、変形例２では、第１パラメータ及び第２パラメータが画像内における人物の表情である場合について説明する。

この場合、抽出部１５は、複数の第１画像それぞれから、顔領域を抽出し、当該顔領域の笑顔度を第１パラメータとする。同様に抽出部１５は、複数の第２画像それぞれから、顔領域を抽出し、当該顔領域の顔の笑顔度を第２パラメータとする。なお、笑顔度は、無表情や笑顔などの顔の表情を数値化したものである。笑顔度の抽出には、公知の手法を用いることができる。

図１２は、変形例２の第１パラメータの一例を示す図である。図１２に示す例では、パラメータは、顔領域の抽出元の画像の識別子である画像番号と、当該顔領域の顔の笑顔度の抽出結果と、を対応付けた情報となっている。なお、ｓは、笑顔度を示す。

図１３は、変形例２の出力例を示す図である。図１３に示す例では、出力制御部２１は、対応付け部１９により対応付けられた第１画像番号Ｅ１の第１画像と第２画像番号Ｆ１１の第２画像を左右に並べた画像、対応付け部１９により対応付けられた第１画像番号Ｅ２の第１画像と第２画像番号Ｆ１２の第２画像を左右に並べた画像、対応付け部１９により対応付けられた第１画像番号Ｅ３の第１画像と第２画像番号Ｆ１３の第２画像を左右に並べた画像を、当該順序（第１時系列）で出力部２３に順次画面出力させている。

これにより、複数の第１画像内の人物の顔の表情の変化と複数の第２画像内の人物の顔の表情の変化とを揃えた画像を出力でき、複数の第１画像内の人物と複数の第２画像内の人物とが同一であるか否かの目視による特定を容易化することが可能となる。

（変形例３）
上記実施形態では、第１パラメータ及び第２パラメータとして画像内における人物の顔の大きさを例に取り説明したが、変形例３では、第１パラメータ及び第２パラメータが画像内における足の相対位置である場合について説明する。

この場合、抽出部１５は、複数の第１画像それぞれから、足領域を抽出し、当該足領域の地面に対する相対位置を第１パラメータとする。同様に抽出部１５は、複数の第２画像それぞれから、足領域を抽出し、当該足領域の地面に対する相対位置を第２パラメータとする。足領域の地面に対する相対位置の抽出には、例えば、前述した参照文献１や参照文献２に開示された手法を用いることができる。

図１４は、変形例３の第１パラメータの一例を示す図である。図１４に示す例では、パラメータは、足領域の抽出元の画像の識別子である画像番号と、当該足領域の地面に対する相対位置の抽出結果と、を対応付けた情報となっている。なお、ｄは、足領域の地面に対する相対位置を示す。

図１５は、変形例３の出力例を示す図である。図１５に示す例では、出力制御部２１は、対応付け部１９により対応付けられた第１画像番号Ｇ１の第１画像と第２画像番号Ｈ１１の第２画像を左右に並べた画像、対応付け部１９により対応付けられた第１画像番号Ｇ２の第１画像と第２画像番号Ｈ１２の第２画像を左右に並べた画像、対応付け部１９により対応付けられた第１画像番号Ｇ３の第１画像と第２画像番号Ｈ１３の第２画像を左右に並べた画像を、当該順序（第１時系列）で出力部２３に順次画面出力させている。

これにより、複数の第１画像内の人物の歩行と複数の第２画像内の人物の歩行とを揃えた画像を出力でき、複数の第１画像内の人物と複数の第２画像内の人物とが同一であるか否かの目視による特定を容易化することが可能となる。

なお、変形例３では、第１パラメータ及び第２パラメータが画像内における足の相対位置である場合について説明したが、第１パラメータ及び第２パラメータを画像内における手の相対位置としても、同様に歩行を揃えた画像の出力が可能である。

（変形例４）
上記実施形態及び変形例１〜３では、第１パラメータに類似する第２パラメータとして、第１パラメータとの類似度を示す距離が最小となる第２パラメータについて説明したが、第１パラメータとの類似度を示す距離が最小かつ閾値以下となる第２パラメータとしてもよい。

つまり探索部１７は、複数の第２パラメータの中から第１パラメータとの類似度を示す距離が最小かつ閾値以下となる第２パラメータを探索するようにしてもよい。

但し、この場合、第１パラメータとの類似度を示す距離が閾値以下となる第２パラメータが存在しなければ、探索部１７により第２パラメータが探索されないことになる。

このため対応付け部１９は、第１パラメータとの類似度を示す距離が閾値以下となる第２パラメータが探索されなかった第１パラメータの抽出元の第１画像と第１時系列が前後する他の第１画像から抽出された第１パラメータに対して探索された第２パラメータの抽出元の第２画像を用いて補完画像を生成し、第１画像と当該補完画像とを対応付ける。

図１６は、変形例４の第１画像と第２画像との対応付け結果の一例を示す図である。図１６に示す例では、第１画像番号Ｇ１〜Ｇ３及びＧ５の第１画像の第１パラメータについては、それぞれ、探索部１７により第２画像番号Ｈ１１〜Ｈ１３及びＨ１５の第２画像の第２パラメータが探索され、第１画像番号Ｇ４の第１画像の第１パラメータについては、探索部１７により第２パラメータが探索されなかったとする。

この場合、対応付け部１９は、第１画像番号Ｇ１〜Ｇ３及びＧ５の第１画像を、それぞれ第２画像番号Ｈ１１〜Ｈ１３及びＨ１５の第２画像と対応付ける。また対応付け部１９は、第１画像番号Ｇ４の第１画像と第１時系列が前後する第１画像番号Ｇ３から抽出された第１パラメータに対して探索された第２パラメータの抽出元の第２画像番号Ｈ１３の第２画像、及び第１画像番号Ｇ４の第１画像と第１時系列が前後する第１画像番号Ｇ５から抽出された第１パラメータに対して探索された第２パラメータの抽出元の第２画像番号Ｈ１５の第２画像を用いて第２画像番号Ｈ１４の補完画像を生成し、第１画像番号Ｇ４の第１画像と第２画像番号Ｈ１４の補完画像とを対応付ける。

そして出力制御部２１は、対応付けられた第１画像及び第２画像の組それぞれに基づく画像、並びに対応付けられた第１画像及び補完画像の組それぞれに基づく画像を、第１時系列又は第２時系列に従って出力部２３に順次出力させる。

（変形例５）
上記実施形態及び変形例１〜４では、複数の第１画像それぞれにパラメータが類似する第２画像を対応付けたが、複数の第１画像のうち所定第１画像にパラメータが類似する第２画像を対応付け、所定第１画像以外の第１画像については、対応付けられた第２画像から当該第１画像及び所定第１画像間のフレーム数分ずらした第２画像を対応付けるようにしてもよい。

この場合、抽出部１５は、複数の第１画像のうちの所定第１画像から、第１パラメータを抽出すればよい。

対応付け部１９は、第１パラメータの抽出元の所定第１画像と当該第１パラメータに対して探索された第２パラメータの抽出元の第２画像とを対応付けるとともに、所定第１画像以外の第１画像については、対応付けられた第２画像から当該第１画像及び所定第１画像間のフレーム数分ずらした第２画像を対応付ければよい。

図１７は、変形例５の第１画像と第２画像との対応付け結果の一例を示す図である。図１７に示す例では、第１パラメータの抽出元の所定第１画像である第１画像番号Ｇ１の第１画像と当該第１パラメータに対して探索された第２パラメータの抽出元の第２画像番号Ｉ１１の第２画像とが対応付けられている。また、第１画像番号Ｇ２の第１画像については、第２画像番号Ｉ１１の第２画像から第１画像番号Ｇ１の第１画像及び第１画像番号Ｇ２の第１画像間のフレーム数分（１フレーム分）ずらした第２画像番号Ｉ１２の第２画像が対応付けられている。同様に、第１画像番号Ｇ３の第１画像については、第２画像番号Ｉ１３の第２画像が対応付けられ、第１画像番号Ｇ４の第１画像については、第２画像番号Ｉ１４の第２画像が対応付けられ、第１画像番号Ｇ５の第１画像については、第２画像番号Ｉ１５の第２画像が対応付けられている。

そして出力制御部２１は、対応付けられた第１画像及び第２画像の組それぞれに基づく画像を、第１時系列又は第２時系列に従って出力部２３に順次出力させる。

これにより、複数の第１画像内の人物の動作の一時点（例えば、動作の開始や終了）と複数の第２画像内の動作の一時点とを揃えた画像を出力でき、複数の第１画像内の人物と複数の第２画像内の人物とが同一であるか否かの目視による特定を容易化することが可能となる。

（ハードウェア構成）
図１８は、上記実施形態及び各変形例の画像出力装置１０のハードウェア構成の一例を示すブロック図である。図１８に示すように、上記実施形態及び各変形例の画像出力装置１０は、ＣＰＵ９０２と、ＲＡＭ９０６と、プログラムなどを記憶するＲＯＭ９０４と、ＨＤＤ９０８と、ＨＤＤ９０８とのインタフェースであるＩ／Ｆ９１０と、画像入力用のインタフェースであるＩ／Ｆ９１２と、マウスやキーボードなどの入力装置９１４と、入力装置９１４とのインタフェースであるＩ／Ｆ９１６と、ディスプレイなどの表示装置９１８と、表示装置９１８とのインタフェースであるＩ／Ｆ９２０と、バス９２２とを、備えており、通常のコンピュータを利用したハードウェア構成となっている。なおＣＰＵ９０２、ＲＯＭ９０４、ＲＡＭ９０６、Ｉ／Ｆ９１０、Ｉ／Ｆ９１２、Ｉ／Ｆ９１６、及びＩ／Ｆ９２０は、バス９２２を介して互いに接続されている。

上記実施形態及び各変形例の画像出力装置１０では、ＣＰＵ９０２が、ＲＯＭ９０４からプログラムをＲＡＭ９０６上に読み出して実行することにより、上記各部がコンピュータ上で実現される。そして上記実施形態及び各変形例の画像出力装置１０では、ＣＰＵ９０２が、ＨＤＤ９０８に記憶されている情報などを用いて、Ｉ／Ｆ９１２から入力される第１画像及び第２画像を対応付ける。

なお、プログラムはＨＤＤ９０８に記憶されていてもよい。また、プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータプログラムプロダクトとして提供されるようにしてもよい。また、プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、プログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。

なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせてもよい。

例えば、上記実施形態のフローチャートにおける各ステップを、その性質に反しない限り、実行順序を変更し、複数同時に実施し、あるいは実施毎に異なった順序で実施してもよい。

以上のように、上記実施形態及び各変形例によれば、複数の画像それぞれに含まれる移動体が同一であるか否かの目視による特定を容易化することが可能となる。

１０画像出力装置
１３取得部
１５抽出部
１７探索部
１９対応付け部
２１出力制御部
２３出力部

Claims

移動体を撮像した複数の第１画像、及び前記移動体を撮像した複数の第２画像を取得する取得部と、
前記複数の第１画像のうちの少なくとも１つの第１画像から、前記移動体の動作に伴い変動する第１パラメータを抽出し、前記複数の第２画像それぞれから、前記移動体の動作に伴い変動する第２パラメータを抽出する抽出部と、
前記複数の第２パラメータの中から前記第１パラメータと類似する第２パラメータを探索する探索部と、
前記第１パラメータの抽出元の第１画像と当該第１パラメータに対して探索された前記第２パラメータの抽出元の第２画像とを対応付け、前記第１パラメータの抽出元の第１画像以外の第１画像については、前記第２画像から当該第１画像と前記第１パラメータの抽出元の前記第１画像との間のフレーム数分ずらした第２画像を対応付ける対応付け部と、
対応付けられた前記第１画像及び前記第２画像に基づく画像を、出力部に出力させる出力制御部と、
を備える画像出力装置。
前記第１画像は、第１時系列で撮像され、前記第２画像は、第２時系列で撮像され、
前記出力制御部は、
対応付けられた前記第１画像及び前記第２画像の組それぞれに基づく画像を、前記第１時系列又は前記第２時系列に従って前記出力部に出力させる、
請求項１に記載の画像出力装置。
前記探索部は、前記複数の第２パラメータの中から前記第１パラメータとの類似度が最大となる第２パラメータを探索する請求項１または請求項２に記載の画像出力装置。
前記探索部は、前記複数の第２パラメータの中から前記第１パラメータとの距離が最小かつ閾値以下となる第２パラメータを探索する請求項１または請求項２に記載の画像出力装置。
前記対応付け部は、前記距離が前記閾値以下となる第２パラメータが探索されなかった第１パラメータの抽出元の第１画像と第１時系列が前後する他の第１画像から抽出された第１パラメータに対して探索された第２パラメータの抽出元の第２画像を用いて補完画像を生成し、前記第１画像と当該補完画像とを対応付け、
前記出力制御部は、対応付けられた前記第１画像及び前記第２画像の組それぞれに基づく画像、並びに対応付けられた前記第１画像及び前記補完画像の組それぞれに基づく画像を、前記第１時系列に従って前記出力部に順次出力させる請求項４に記載の画像出力装置。
前記移動体は、人物であり、
前記第１パラメータ及び前記第２パラメータは、前記人物の体の部位に関するパラメータである請求項１〜５のいずれか１つに記載の画像出力装置。
前記第１パラメータ及び前記第２パラメータは、画像内における前記体の部位の大きさ、画像内における前記体の部位の向き、及び画像内における前記体の部位の相対位置の少なくともいずれかである請求項６に記載の画像出力装置。
前記体の部位は、顔、足、体、上半身、下半身、手、及び腕の少なくともいずれかである請求項６又は７に記載の画像出力装置。
前記第１画像及び前記第２画像の組それぞれに基づく画像は、当該第１画像及び当該第２画像を並べた画像である請求項１〜８のいずれか１つに記載の画像出力装置。