JP5095850B1 - オブジェクト探索装置、映像表示装置およびオブジェクト探索方法 - Google Patents

オブジェクト探索装置、映像表示装置およびオブジェクト探索方法 Download PDF

Info

Publication number
JP5095850B1
JP5095850B1 JP2011189531A JP2011189531A JP5095850B1 JP 5095850 B1 JP5095850 B1 JP 5095850B1 JP 2011189531 A JP2011189531 A JP 2011189531A JP 2011189531 A JP2011189531 A JP 2011189531A JP 5095850 B1 JP5095850 B1 JP 5095850B1
Authority
JP
Japan
Prior art keywords
coordinate position
search
coordinate
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011189531A
Other languages
English (en)
Other versions
JP2013050912A (ja
Inventor
岡 薫 松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011189531A priority Critical patent/JP5095850B1/ja
Priority to CN2012101193553A priority patent/CN102970557A/zh
Priority to US13/468,746 priority patent/US20130050446A1/en
Application granted granted Critical
Publication of JP5095850B1 publication Critical patent/JP5095850B1/ja
Publication of JP2013050912A publication Critical patent/JP2013050912A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract


【課題】簡易な手順で高速かつ精度よくオブジェクトを探索できるようにする。
【解決手段】一実施形態に係るオブジェクト探索装置1は、画面フレームを複数に分割した複数の分割フレーム領域を一つずつ順に探索領域として設定する探索領域設定手段3と、分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出するオブジェクト探索手段4と、探索されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出するオブジェクト追従手段5と、探索されたオブジェクトの座標位置と追従されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する座標合成手段6と、を備える。
【選択図】図1

Description

本発明の実施形態は、画面フレーム内のオブジェクトを探索するオブジェクト探索装置、映像表示装置およびオブジェクト探索方法に関する。
画面フレームの中に含まれるオブジェクトを探索し、探索したオブジェクトの動き方向を検出して動き補償を行う技術が提案されている。
ところが、画面フレームからオブジェクトを探索するには、画面フレーム全体について何らかの手法で画像の特徴解析を行うか、あるいは隣接する画面フレーム同士を比較して動きのあるオブジェクトの探索を行う必要がある。これらのオブジェクト探索処理は、画面フレームごとに行わなければならないため、処理負担が大きいという問題がある。
最近、立体映像を表示可能な三次元TVが急速に普及してきたが、映像ソースとしては、既存TVとの互換性や価格の問題もあって三次元映像データはまだまだ少ない。そこで、三次元TVでは、既存の二次元映像データを擬似的に三次元映像データに変換する処理を行うことが多い。この場合、二次元映像データの各画面フレームから特徴的なオブジェクトを探索して、奥行き情報(以下、デプス情報)を付加する必要があるが、上述したように、オブジェクトの探索処理に時間を要するため、各画面フレームごとにデプス情報を生成する時間的な余裕がない場合もありうる。
特開2001−21653号公報
本発明は、簡易な手順で高速かつ精度よくオブジェクトを探索可能なオブジェクト探索装置、映像表示装置およびオブジェクト探索方法を提供するものである。
本実施形態では、画面フレームを複数に分割した複数の分割フレーム領域を一つずつ順に探索領域として設定する探索領域設定手段と、
前記探索領域として設定された分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出するオブジェクト探索手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出するオブジェクト追従手段と、
前記オブジェクト探索手段で探索されたオブジェクトの座標位置と前記オブジェクト追従手段で追従されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する座標合成手段と、を備えるオブジェクト探索装置が提供される。
図1は本実施形態に係る映像表示装置2の概略構成を示すブロック図。 デプス情報生成部8と三次元データ生成部9の一実施形態に係る詳細なブロック図。 図1のオブジェクト探索装置1の処理動作の一例を示すフローチャート。 図1のオブジェクト探索装置1の処理を模式的に説明する図。 1つの分割フレーム領域の幅を説明する図。 座標合成部6の詳細な処理動作を示すフローチャート。 座標合成部6の処理内容を説明する図。
以下、図面を参照しながら、本発明の一実施形態を説明する。
図1は本実施形態に係るオブジェクト探索装置1を備えた映像表示装置2の概略構成を示すブロック図である。まず、オブジェクト探索装置1の内部構成を説明する。
図1のオブジェクト探索装置1は、探索領域設定部3と、オブジェクト探索部4と、オブジェクト追従部5と、座標合成部6と、デプス情報生成部8と、三次元データ生成部9と、を備えている。
探索領域設定部3は、1つの画面フレームを複数に分割した複数の分割フレーム領域の中から一つずつ順に探索領域として設定する。より具体的には、探索領域設定部3は、複数の分割フレーム領域のそれぞれに識別番号を割り振って、いずれかの識別番号を指定することで、任意の一つの分割フレーム領域を探索領域として設定する。
なお、画面フレームを複数に分割する際は、水平方向に分割してもよいし、垂直方向に分割してもよい。以下では、水平方向に分割する例を説明する。
オブジェクト探索部4は、探索領域として設定された分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出する。このように、オブジェクト探索部4は、画面フレーム全体ではなく、そのうちの一部である一つの分割フレーム領域内のみオブジェクトを探索するため、探索処理に要する時間を短縮できる。
オブジェクト追従部5は、オブジェクト探索部4で検出されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出する。より詳細には、オブジェクト追従部5は、オブジェクト探索部4で検出されたオブジェクトの座標位置を含む領域について、現在と過去の画面フレームを比較して動き検出を行う。その結果、移動方向と移動量(動きベクトル)が検出されたら、オブジェクト探索部4で検出されたオブジェクトの座標位置を動きベクトルで修正して、現在の画面フレームでのオブジェクトの座標位置を検出する。
座標合成部6は、オブジェクト探索部4で検出されたオブジェクトの座標位置とオブジェクト追従部5で検出されたオブジェクトの座標位置とを比較して、重複する座標位置を削除する。このとき、オブジェクト探索部4で検出されたオブジェクトの座標位置がM個(Mは1以上の整数)あり、オブジェクト追従部5で検出されたオブジェクトの座標位置がN個(Nは1以上の整数)ある場合は、これら(M+N)個の座標位置を総当たりで比較して、重複する座標位置を削除する。オブジェクト探索部4で検出されたオブジェクトの座標位置とオブジェクト追従部5で検出されたオブジェクトの座標位置とが重複する場合は、オブジェクト追従部5で検出されたオブジェクトの座標位置を削除する。その理由は、オブジェクト探索部4で検出されたオブジェクトの座標位置の方が正確性が高いと考えられるためである。座標合成部6の処理により、オブジェクトの座標位置が特定される。
デプス情報生成部8は、座標合成部6で検出されたオブジェクトに対応するデプス情報を生成する。そして、三次元データ生成部9は、座標合成部6で検出されたオブジェクトと、そのデプス情報とに基づいて、オブジェクトの三次元映像データを生成する。三次元映像データは、右目用視差データと左目用視差データを含んでおり、場合によっては、多視差データを含んでいてもよい。
上述したデプス情報生成部8と三次元データ生成部9は、必ずしも必須ではない。三次元映像データを記録または再生する必要がない場合は、デプス情報生成部8と三次元データ生成部9を設けなくてもよい。
図2はデプス情報生成部8と三次元データ生成部9の詳細なブロック図である。図2に示すように、デプス情報生成部8は、デプステンプレート記憶部11と、デプスマップ生成部12と、デプスマップ補正部13とを有する。三次元データ生成部9は、ディスパリティ変換部14と視差画像生成部15とを有する。
デプステンプレート記憶部11は、オブジェクトの種類ごとに、各オブジェクトの各画素のデプス値(奥行き値)を記述したデプステンプレートを記憶する。
デプスマップ生成部12は、座標合成部6で検出されたオブジェクトに応じたデプステンプレートをデプステンプレート記憶部11から読み出して、画像処理部22から供給されるフレーム映像データの各画素にデプス値を対応づけたデプスマップを生成する。
デプスマップ補正部13は、デプスマップ上の各画素をその周辺画素にて重み付け平滑化して、各画素のデプス値を補正する。
三次元データ生成部9内のディスパリティ変換部14は、デプスマップにおける各画素のデプス値から各画素の視差ベクトルを求めて、各画素の視差ベクトルが記述されたディスパリティマップを生成する。視差画像生成部15は、入力画像とディスパリティマップから視差画像を生成する。
図1の映像表示装置2は、例えば三次元TVであり、図1のオブジェクト探索装置1の他には、受信処理部21と、画像処理部22と、三次元表示装置23とを備えている。
受信処理部21は、不図示のアンテナで受信した放送受信信号をベースバンド信号に復調した後に、復号処理を行う。画像処理部22は、受信処理部21を通過した信号に対してノイズ処理等を施して、図1のオブジェクト探索装置1に供給するためのフレーム映像データを生成する。
三次元表示装置23は、マトリクス状に配列された画素を有する表示パネル24と、この表示パネル24に対向するように配置されて各画素からの光線を制御する複数の射出瞳を有する光線制御素子25とを有する。表示パネル24としては、例えば液晶パネルや、プラズマディスプレイ、EL(ElectroLuminescent)パネル等を用いることができる。光線制御素子25は、一般的にはパララクスバリアまたは視差バリアとも呼ばれ、光線制御素子25の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差(水平視差)のみを与える場合には、複数のスリットを有するスリット版またはレンチキュラーシート(シリンドリカルレンズアレイ)が用いられ、上下視差(垂直視差)も含める場合には、ピンホールアレイまたはレンズアレイが用いられる。すなわち、スリット板のスリットや、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳になる。
なお、三次元表示装置23は、複数の射出瞳を有する光線制御素子25を備えたもの以外に、パララックスバリアを透過型液晶表示装置などで電子的に発生させ、バリアパターンの形状や位置などを電子的に可変制御する三次元表示装置23でもよい。すなわち、後述する立体画像表示用の画像が表示可能な表示装置であれば、具体的な三次元表示装置23の構成は問わない。
また、本実施形態に係るオブジェクト探索装置1は、必ずしもTVに内蔵されるものではない。例えば、受信処理部21で受信した放送受信信号に含まれるフレーム映像データを三次元映像データに変換して、HDD(ハードディスクドライブ)や光ディスク(例えばブルーレイディスク)等に記録する記録装置に適用してもよい。
図3は図1のオブジェクト探索装置1の処理動作の一例を示すフローチャート、図4は図1のオブジェクト探索装置1の処理を模式的に説明する図である。図4の例では、画面フレームを水平方向に二分割して、2つの分割フレーム領域を生成している。以下、図3と図4を用いて本実施形態の処理動作を説明する。
まず、探索領域設定部3は、画面フレームの中から、オブジェクトの探索を行うべき一つの分割フレーム領域を探索領域として設定する(ステップS1)。より具体的には、探索領域設定部3は、特定の分割フレーム領域に対応する識別番号をオブジェクト探索部4に与える。
ここで、隣接する分割フレーム領域は、その一部が重複している。図5は画面フレームを2つの分割フレーム領域に分割する場合の1つの分割フレーム領域の幅を説明する図である。図5の例では、画面フレームの横幅をWとし、オブジェクトを探索する探索単位の横幅をωとしている。この場合、分割フレーム領域の横幅は(W+ω)/2で表される。すなわち、幅ω分が、隣接する分割フレーム領域との重複範囲となる。
このような重複範囲を設けることで、分割フレーム領域の境界付近に存在するオブジェクトを含めて、画面フレームの全域に存在するオブジェクト正しく検出できるようになる。
オブジェクト探索部4は、ステップS1で設定した分割フレーム領域について、オブジェクトを探索して、探索されたオブジェクトの座標位置を検出する(ステップS2)。図4の例では、まずフレーム0の処理として、左側半分の分割フレーム領域についてオブジェクトの検出を行う。ここでは、人間の顔を探索対象のオブジェクトとしている。
人間の顔を探索する場合、例えばHaar-like特徴を用いた物体検出方法を利用する。この物体検出方法は、複数の識別器を直列接続したものであり、個々の識別器は事前に統計学習を行って人間の顔か否かを識別する機能を持っている。識別器の接続段数を増やすほど、識別力が向上するが、処理に時間がかかり、また識別器の実装面積も増大してしまう。したがって、許容可能な実装規模と識別精度との兼ね合いで、識別器の接続段数を定めるのが望ましい。
Haar-like特徴では、分割フレーム領域内に小さな探索領域を設定して、この探索領域を分割フレーム領域内でシフトさせながら、探索領域内の物体検出を行う。例えば、人間の顔を検出する場合、探索領域内に両目、鼻および上唇が含まれていれば、人間の顔であると判断する。なお、別個のアルゴリズムを追加して、人間の横顔も検出できるようにしてもよい。
次に、オブジェクト追従部5は、検出されたオブジェクトの座標位置を含む領域を基準として、過去と現在の画面フレームを比較して動き検出を行って、現在の画面フレームでのオブジェクトの座標位置を検出する(ステップS3)。
なお、このステップS3の処理を行う最中に、上述したステップS1とS2の処理は並行して行われる。すなわち、一つの分割フレーム領域についてのオブジェクト探索処理が終わると、探索領域設定部3は次の分割フレーム領域を設定して、その新たに設定された分割フレーム領域についてオブジェクト探索部4はオブジェクト探索を行い、それに並行して、オブジェクト探索処理により探索されたオブジェクトについて、オブジェクト追従処理が行われる。
以下では、図4を用いて、ステップS3の処理を詳細に説明する。図4の例では、フレーム1が現在の画面フレームの場合は、オブジェクト追従部は、過去のフレーム0と現在のフレーム1とを比較して、動き検出を行う。図4では、フレーム0の左側の分割フレーム領域内で探索されたオブジェクトを含む領域を太線の矩形で図示している。ステップS3では、この矩形領域についての動き検出を行う。現在の画面フレームであるフレーム1では、探索領域設定部3は右側の分割フレーム領域を設定するが、オブジェクト追従部5は、画面フレーム全体を対象として、矩形領域の動き検出を行う。この結果、左側の分割フレーム領域内の点線領域に移動したことが検出される。図4の矢印線y1は動きベクトルを示している。
動きベクトルが求まると、ステップS3で検出したオブジェクトの座標位置に動きベクトル分の差分座標を加算することで、現在の画面フレーム内でのオブジェクトの座標位置を検出することができる。
次に、座標合成部6は、オブジェクト探索部4で検出されたオブジェクトの座標位置とオブジェクト追従部5で検出されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する(ステップS4)。座標合成部6は、オブジェクト探索部4で検出されたオブジェクトのM個の検出座標と、オブジェクト追従部5で検出されたオブジェクトのN個の追従座標とを互いに総当たりで比較して、重複する座標を削除して、オブジェクトの座標を特定する。より詳しくは、座標合成部6は、M個の検出座標間での比較と、M個の検出座標のいずれかとN個の追従座標のいずれかとの比較と、N個の追従座標間での比較とを行う。この座標合成部6の処理内容の詳細については後述する。
図4の例では、フレーム0とフレーム1の両方とも、オブジェクトは左側の分割フレーム領域に存在している。フレーム1では、オブジェクト探索部4は右側の分割フレーム領域内を探索するため、この例では、オブジェクトは探索されない。一方、オブジェクト追従部5は、画面フレーム全体について、フレーム0で探索されたオブジェクトの探索領域の動き検出を行うため、オブジェクトが点線領域に移動したことを正しく検出できる。
なお、フレーム1では、オブジェクト探索部4はオブジェクトを探索できなかったため、座標合成部6は、重複する座標位置はないと判断する。
次に、フレーム2では、オブジェクト探索部4は左側の分割フレーム領域を探索するが、すでにオブジェクトは右側に移動しているため、オブジェクトを探索できない。一方、オブジェクト追従部5は、右側の分割フレーム領域内に移動したオブジェクトを正しく検出でき、フレーム1でのオブジェクトの座標位置を検出できる。フレーム2でも、フレーム1では、オブジェクト探索部4はオブジェクトを探索できないため、座標合成部6は、重複する座標位置はないと判断する。
次に、フレーム3では、オブジェクト探索部4は右側の分割フレーム領域を探索する。この結果、探索した分割フレーム領域内にオブジェクトを探索することができ、オブジェクトの最新の座標位置を検出する。一方、オブジェクト追従部5でも、同様にオブジェクトの動き検出を行って、オブジェクトの現在の座標位置を検出する。座標合成部6は、オブジェクト探索部4とオブジェクト追従部5の双方で、同じオブジェクトの座標位置を検出したことを認識し、オブジェクト追従部5で検出した座標位置を削除し、このオブジェクトについては、オブジェクト探索部4で検出した座標位置を採用する。
図4の例では、画面フレームの中にオブジェクトが一つだけ存在しているが、画面フレーム内にオブジェクトが複数存在する場合は、検出された各オブジェクトごとに、オブジェクト追従部5と座標合成部6の処理が行われて、最終的な座標位置が検出される。
各フレームごとに、上述したステップS1〜S4の処理を行って各オブジェクトの座標位置が検出されると、デプス情報生成部8は、各オブジェクトのデプス情報を生成する(ステップS5)。
続いて、三次元データ生成部9は、各フレームごとに、各オブジェクトの視差データを生成する(ステップS6)。
以下、座標合成部6の処理を詳細に説明する。上述したように、オブジェクト探索部4は、画面フレームの一部である分割フレーム領域内でだけオブジェクトの探索を行う。これに対して、オブジェクト追従部5は、画面フレームの全域を対象としてオブジェクトを追従する。このため、場合によって、オブジェクト探索部4が探索したオブジェクトとオブジェクト追従部5が追従するオブジェクトとが同じものである場合と、異なるものである場合がある。オブジェクト探索部4とオブジェクト追従部5が同じオブジェクトを重複して探索・追従している場合は、探索・追従されたオブジェクトを一つにまとめる必要がある。
そこで、座標合成部6では、オブジェクト探索部4で探索されたオブジェクトとオブジェクト追従部5で追従するオブジェクトが同じオブジェクトであるかどうかを判断して、同じオブジェクトであれば、重複するオブジェクトの座標を削除する。
図6は座標合成部6の詳細な処理動作を示すフローチャート、図7は座標合成部6の処理内容を説明する図である。座標合成部6は、オブジェクト探索部4で探索されたオブジェクトを含む領域(オブジェクト探索領域)と、オブジェクト追従部5で検出されたオブジェクトを含む領域(オブジェクト追従領域)との重複領域の面積Mを算出する(ステップS11)。
図7では、オブジェクト探索領域が座標(x1,y1)と座標(x2,y2)を対角線上の座標とする矩形領域R1であり、オブジェクト追従領域が座標(x3,y3)と座標(x4,y4)を対角線上の座標とする矩形領域R2であるとしている。
このとき、図7のオブジェクト探索領域とオブジェクト追従領域の重複面積Mは、以下の(1)式で表される。
M={x2−x1+x4−x3+max(x2,x4)−min(x1,x3)}
×{y2−y1+y4−y3+max(y2,y4)−min(y1,y3)} …(1)
上記(1)式において、max(x2,x4)は、x2とx4のうち大きい方の値を示し、min(x1,x3)はx1とx3のうち小さい方の値を示している。
次に、オブジェクト探索領域とオブジェクト追従領域のうち、面積が小さい方の面積mを算出する(ステップS12)。
m=min((x2−x1)×(y2−y1),(x4−x3)×(y4−y3)) …(2)
次に、M>m×0.5を満たすか否かを判定する(ステップS13)。すなわち、重複面積Mが小さい領域の面積mの半分より大きいか否かを判定する。
そして、M>m×0.5を満たせば、オブジェクト探索領域とオブジェクト追従領域は重複すると判断して、オブジェクト探索領域とオブジェクト追従領域のうち面積の小さい領域の座標を削除する(ステップS14)。一方、ステップS13でM≦m×0.5と判定された場合は、双方の領域は重複しないと判断して、座標の削除は行わない(ステップS15)。
このように、座標合成部6は、オブジェクト追従部5で追従を行うオブジェクトと同じオブジェクトを、オブジェクト探索部4が並行して探索を行っていると推定される場合は、オブジェクト追従部5で追従を行うオブジェクトの座標と、オブジェクト探索部4で探索を行うオブジェクトの座標とのいずれか一方を削除する。これにより、オブジェクト探索部4とオブジェクト追従部5が同じオブジェクトを並行して検出しないようにする。
このように、本実施形態では、画面フレーム全体についてオブジェクト探索を行う代わりに、各フレームごとに、分割フレーム領域内のみのオブジェクト探索を行う。オブジェクト探索を行う分割フレーム領域は、フレームごとに順に切り替えるため、複数フレームで画面フレーム全体についてオブジェクト探索を行うことになる。各フレームでは、分割フレーム領域しかオブジェクト探索を行わないため、オブジェクト探索処理を高速に行うことができる。
ただし、このままでは、各フレームごとに一部の領域しかオブジェクト探索を行えないため、それを補償するために、いったん探索されたオブジェクトの動き検出を行う処理を並行して行う。これにより、いったん探索されたオブジェクトについては、オブジェクト探索領域外に移動したとしても、正しくその動き検出を行うことができる。
このように、本実施形態によれば、少ない処理量でオブジェクト探索を行うことができ、かつオブジェクトの動き検出も行えるため、オブジェクト探索処理を高速に行うことができ、その後に各オブジェクトについてデプス情報を検出して三次元データを生成する処理に余裕が出てくる。
上述した実施形態で説明したオブジェクト探索装置1および映像表示装置2の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、オブジェクト探索装置1および映像表示装置2の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやCD−ROM等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
また、オブジェクト探索装置1および映像表示装置2の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
1 オブジェクト探索装置
2 映像表示装置
3 探索領域設定部
4 オブジェクト探索部
5 オブジェクト追従部
6 座標合成部
8 デプス情報生成部
9 三次元データ生成部
11 デプステンプレート記憶部
12 デプスマップ生成部
13 デプスマップ補正部
14 ディスパリティ変換部
15 視差画像生成部
21 受信処理部
22 画像処理部
23 三次元表示装置
24 表示パネル
25 光線制御素子

Claims (9)

  1. 画面フレームを複数に分割した複数の分割フレーム領域を一つずつ順に探索領域として設定する探索領域設定手段と、
    前記探索領域として設定された分割フレーム領域に含まれるオブジェクトを探索して、探索されたオブジェクトの座標位置を検出するオブジェクト探索手段と、
    前記オブジェクト探索手段で探索されたオブジェクトの座標位置を基準として、過去と現在の画面フレームを比較して動き検出を行い、現在の画面フレームでのオブジェクトの座標位置を検出するオブジェクト追従手段と、
    前記オブジェクト探索手段で探索されたオブジェクトの座標位置と前記オブジェクト追従手段で追従されたオブジェクトの座標位置とを比較して、重複する座標位置を削除して、オブジェクトの座標位置を特定する座標合成手段と、を備えるオブジェクト探索装置。
  2. 前記座標合成手段は、重複する座標位置が検出された場合には、前記オブジェクト追従手段で追従された座標位置を削除
    する請求項1に記載のオブジェクト探索装置。
  3. 前記座標合成手段は、
    少なくとも一部が重複する2つのオブジェクトの重複面積を検出する重複面積検出手段と、
    前記重複する2つのオブジェクトのうち面積の小さいオブジェクトの面積が前記重複面積の所定割合以上か否かを判定する面積割合判定手段と、
    前記面積割合判定手段により前記所定割合以上と判定されると、前記面積の小さいオブジェクトの座標位置を削除するオブジェクト削除手段と、を有する請求項1または2に記載のオブジェクト探索装置。
  4. 前記探索領域設定手段は、隣接する2つの分割フレーム領域が一部重なり合うように前記複数の分割フレーム領域を設定する請求項1乃至3のいずれかに記載のオブジェクト探索装置。
  5. 前記オブジェクト探索手段、前記オブジェクト追従手段、前記座標合成手段および前記座標特定手段の各処理は、前記探索領域設定手段が前記複数の分割フレーム領域のすべてを順に設定するまで繰り返し行われる請求項1乃至4のいずれかに記載のオブジェクト探索装置。
  6. 前記オブジェクトは、人間の顔である請求項1乃至5のいずれかに記載のオブジェクト探索装置。
  7. 前記座標特定手段で座標位置を検出したオブジェクトのデプス情報を生成するデプス情報生成手段と、
    前記デプス情報生成手段で生成されたデプス情報に基づいて、対応するオブジェクトを三次元表示するための視差データを生成する三次元データ生成手段と、を備える請求項1乃至6のいずれかに記載のオブジェクト探索装置。
  8. 放送波を受信して復号処理および所定の画像処理を行ってフレーム映像データを生成する受信処理手段と、
    前記視差データを表示する表示装置と、を備え、
    前記オブジェクト探索手段は、前記フレーム映像データを複数に分割して得られる前記分割フレーム映像データに含まれるオブジェクトを探索する請求項7に記載のオブジェクト探索装置を備えた映像表示装置。
  9. 画面フレームを複数に分割した複数の分割フレーム領域の一つを順に設定するステップと、
    前記設定された分割フレーム領域に対応する分割フレーム映像データに含まれるオブジェクトを探索するステップと、
    過去のフレーム映像データと現在のフレーム映像データとに基づいて、前記オブジェクト探索手段で探索されたオブジェクトの現在の座標位置を検出するステップと、
    前記探索されたオブジェクトの座標位置と、前記オブジェクト追従手段で追従された座標位置との中で、重複する座標位置を削除して、
    オブジェクトの座標位置を特定するステップと、
    を備えるオブジェクト探索方法。
JP2011189531A 2011-08-31 2011-08-31 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法 Expired - Fee Related JP5095850B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011189531A JP5095850B1 (ja) 2011-08-31 2011-08-31 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
CN2012101193553A CN102970557A (zh) 2011-08-31 2012-04-20 对象搜索装置、视频显示装置及对象搜索方法
US13/468,746 US20130050446A1 (en) 2011-08-31 2012-05-10 Object search device, video display device, and object search method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011189531A JP5095850B1 (ja) 2011-08-31 2011-08-31 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法

Publications (2)

Publication Number Publication Date
JP5095850B1 true JP5095850B1 (ja) 2012-12-12
JP2013050912A JP2013050912A (ja) 2013-03-14

Family

ID=47469515

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011189531A Expired - Fee Related JP5095850B1 (ja) 2011-08-31 2011-08-31 オブジェクト探索装置、映像表示装置およびオブジェクト探索方法

Country Status (3)

Country Link
US (1) US20130050446A1 (ja)
JP (1) JP5095850B1 (ja)
CN (1) CN102970557A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2944949A1 (en) 2014-05-13 2015-11-18 ARKRAY, Inc. Measurement apparatus, and method for operating measurement apparatus
US10234414B2 (en) 2014-05-13 2019-03-19 Arkray, Inc. Measurement apparatus, and method for operating measurement apparatus

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104463906B (zh) * 2014-11-11 2018-09-28 广东中星电子有限公司 一种物体跟踪装置及其跟踪方法
JP6562648B2 (ja) * 2015-02-16 2019-08-21 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2019015553A (ja) * 2017-07-05 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および個体撮像装置
KR20230007571A (ko) * 2018-06-29 2023-01-12 구글 엘엘씨 검열된 미디어 코퍼스에의 통합을 위한 미디어 소스 측정
JP7328011B2 (ja) * 2019-06-03 2023-08-16 Jx金属株式会社 電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法
JP7328012B2 (ja) * 2019-06-03 2023-08-16 Jx金属株式会社 電子・電気機器部品屑の組成解析方法、電子・電気機器部品屑の組成解析装置、及び電子・電気機器部品屑の処理方法
CN112417208A (zh) * 2020-11-20 2021-02-26 百度在线网络技术(北京)有限公司 目标搜索方法、装置、电子设备和计算机可读存储介质
WO2023007770A1 (ja) * 2021-07-29 2023-02-02 新明和工業株式会社 航空機の乗降部を検出するための検出システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001039512A1 (en) * 1999-11-26 2001-05-31 Sanyo Electric Co., Ltd. Device and method for converting two-dimensional video to three-dimensional video
JP2007501974A (ja) * 2003-08-07 2007-02-01 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像対象処理
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
JP4507129B2 (ja) * 2008-06-06 2010-07-21 ソニー株式会社 追尾点検出装置および方法、プログラム、並びに記録媒体
JP5077164B2 (ja) * 2008-09-16 2012-11-21 オムロン株式会社 追跡装置及び追跡方法
CN101706576A (zh) * 2009-11-13 2010-05-12 山东大学 基于雷达图像的运动目标形态检测及跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2944949A1 (en) 2014-05-13 2015-11-18 ARKRAY, Inc. Measurement apparatus, and method for operating measurement apparatus
US10234414B2 (en) 2014-05-13 2019-03-19 Arkray, Inc. Measurement apparatus, and method for operating measurement apparatus

Also Published As

Publication number Publication date
CN102970557A (zh) 2013-03-13
US20130050446A1 (en) 2013-02-28
JP2013050912A (ja) 2013-03-14

Similar Documents

Publication Publication Date Title
JP5095850B1 (ja) オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
KR101615111B1 (ko) 다시점 영상 표시 장치 및 방법
US9210398B2 (en) Method and apparatus for temporally interpolating three-dimensional depth image
CN100544403C (zh) 图像稳定化系统及方法
US8606043B2 (en) Method and apparatus for generating 3D image data
KR101066550B1 (ko) 가상시점 영상 생성방법 및 그 장치
US8803947B2 (en) Apparatus and method for generating extrapolated view
KR20140037425A (ko) 중간 시점 영상 합성 장치 및 방법과 이에 관한 기록매체
US20170374256A1 (en) Method and apparatus for rolling shutter compensation
EP2966616B1 (en) Method and apparatus for tracking superpixels between related images
EP2161687B1 (en) Video signal processing device, video signal processing method, and video signal processing program
US20130293533A1 (en) Image processing apparatus and image processing method
CN104349155A (zh) 模拟立体图像显示方法及显示设备
CN102985949A (zh) 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法
US20120308080A1 (en) Image processing apparatus, image processing method, and program
US6924836B2 (en) Image processing apparatus, image processing method, recording medium, and program
JP2012113362A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
US20140125778A1 (en) System for producing stereoscopic images with a hole filling algorithm and method thereof
KR101682137B1 (ko) 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치
WO2012153378A1 (ja) 立体視画像生成装置、立体視画像生成方法、立体視画像生成プログラム
JP5174223B2 (ja) オブジェクト探索装置、映像表示装置およびオブジェクト探索方法
JP5323222B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
EP2711894A2 (en) Image processing device, image processing method and image processing program
JP4272902B2 (ja) 認証用画像生成装置、画像処理装置、プログラムおよび記録媒体
JP2017220810A (ja) 画像処理装置、方法およびプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120919

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150928

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees