JP5436142B2 - 画像処理装置、画像処理システムおよび画像処理装置の制御方法 - Google Patents

画像処理装置、画像処理システムおよび画像処理装置の制御方法 Download PDF

Info

Publication number
JP5436142B2
JP5436142B2 JP2009241881A JP2009241881A JP5436142B2 JP 5436142 B2 JP5436142 B2 JP 5436142B2 JP 2009241881 A JP2009241881 A JP 2009241881A JP 2009241881 A JP2009241881 A JP 2009241881A JP 5436142 B2 JP5436142 B2 JP 5436142B2
Authority
JP
Japan
Prior art keywords
recognition
image processing
recognition dictionary
processing apparatus
communication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009241881A
Other languages
English (en)
Other versions
JP2011090410A (ja
JP2011090410A5 (ja
Inventor
康男 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2009241881A priority Critical patent/JP5436142B2/ja
Priority to US12/903,477 priority patent/US8526673B2/en
Publication of JP2011090410A publication Critical patent/JP2011090410A/ja
Publication of JP2011090410A5 publication Critical patent/JP2011090410A5/ja
Application granted granted Critical
Publication of JP5436142B2 publication Critical patent/JP5436142B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明はデジタルデータ処理方式に関する。特にデジタルデータ中に含まれる特定信号の認識装置、より詳細には、デジタル画像データ中から特定被写体を検出する装置、およびこれに関連したシステム、方法に関する。
昨今、デジタルカメラ、ビデオ、またあるいは携帯電話におけるデジタルカメラ機能の普及により、デジタル画像データの作成が容易になってきた。例えば、デジタル画像データから顔を検出する技術が一般に知られている。この顔検出技術は、例えばデジタルカメラでの撮影時に、露出、合焦位置、あるいはストロボ発光の際の調光などを行うのに応用されている。また、画像印刷時などに画像中の顔を検出し、その検出した顔領域の明るさや色味が適切になるように、画像全体の明るさや色調を調整することに応用されている。そして、これらの機能は製品にもり込まれ、市場に投入されている。
この顔検出技術の別の応用として、例えば画像を人物画像と風景画像に粗分類することがある。このように分類することで、この技術は画像の書誌情報(メタデータ)の自動付与手段として用いることができる。すなわち、各画像に対して顔検出技術を適用することで、「画像中のどこにどれくらいの大きさの顔が幾つあるか」という情報を得て、それに基づき各画像を分類あるいは検索する。
画像から特定の被写体パターンを自動的に検出するための画像処理方法は非常に有用であり、例えば人間の顔の判定に利用することができる。通信会議、マン・マシン・インタフェース、セキュリティ、人間の顔を追跡するためのモニタ・システム、画像圧縮などの多くの分野で、このような画像処理方法を使用することができる。
例えば、非特許文献1に、画像中から顔を検出する技術についての各種方式が記載されている。その中には、いくつかの顕著な特徴(2つの目、口、鼻など)とその特徴間の固有の幾何学的位置関係とを利用するか、あるいは人間の顔の対称的特徴、人間の顔色の特徴、テンプレート・マッチング、ニューラル・ネットワークなどを利用することによって、人間の顔を検出する方式が示されている。
非特許文献2で提案されている方式は、ニューラル・ネットワークにより画像中の顔パターンを検出する方法である。以下、非特許文献2による顔検出の方法について簡単に説明する。
まず、顔の検出を対象とする画像データをメモリに読み込み、顔と照合する所定の領域を読み込んだ画像中から切り出す。そして切り出した領域の画素値の分布を入力して、ニューラル・ネットワークによる演算で一つの出力を得る。このとき、ニューラル・ネットワークの重み、閾値が膨大な顔画像パターンと非顔画像パターンによりあらかじめ学習されている。例えば、ニューラル・ネットワークの出力が0以上なら顔、それ以外は非顔であると判別する。そして、ニューラル・ネットワークの入力である顔と照合する画像パターンの切り出し位置を、画像全域から縦横順次に走査していくことにより、画像中から顔を検出する。また、様々な大きさの顔の検出に対応するため、読み込んだ画像を所定の割合で順次縮小し、それに対して前述した顔検出の走査を行うようにしている。
更に、処理の高速化に着目した例としては、非特許文献3がある。この報告の中ではAdaBoostを使って多くの弱判別器を有効に組合せて顔判別の精度を向上させる。また他方では、夫々の弱判別器をHaarタイプの矩形特徴量で構成し、しかも積分画像を利用して矩形特徴量の算出を高速に行っている。また、AdaBoost学習によって得た判別器を直列に繋ぐことにより、カスケード型の顔検出器を構成するようにしている。このカスケード型の顔検出器は、まず前段の単純な(すなわち計算量のより少ない)判別器を使って明らかに顔でないパターンの候補をその場で除去する。そして、残った候補に対してのみ、より高い識別性能を持つ後段の複雑な(すなわち計算量のより多い)判別器を使って顔かどうかの判定を行うので、すべての候補に対して複雑な判定を行う必要がないため処理は高速である。
しかしながら、以上の公知例は、いずれも静止画に対して顔の検出を適用したものであり、動画像からの検出に適用してはいない。
また、特許文献1では、動画像に対して顔の検出を実時間に行うために、時間的に変化していない領域の判定を行い、その変化しない領域を顔検出処理から除外する方法がとられている。この方法は、高速化には効果的ではあるが、非特許文献5で示されているような複数フレームにおける顔の判別結果の統合は行われていないので、精度の向上は望めない。
非特許文献2におけるニューラル・ネットワークの重みや閾値、あるいは非特許文献3における弱判別器が参照する矩形特徴量を定義するためのパラメータや、矩形特徴量から判別処理を行うための演算係数および閾値などは、一般に認識辞書と呼ばれる。この認識辞書は、通常数十KBから数百KBの容量規模のデータになる。
メタデータの付与方法は、特許文献2に開示されている。この方式は、撮影場所に設置されたデータサーバから撮影場所の名称情報及び画像情報をブルートゥースによりカメラに送信し、カメラでは場所情報と対応付けて画像を保存するというものである。
写真画像やホームビデオにおいて、人物の顔というものは確かに重要な被写体であるが、それゆえに例えば画像群の9割が顔を含む画像であるといった場合、顔がある、あるいは顔がないということは、書誌情報として十分でないことは容易に理解できる。また、風景写真(映像)の撮影を好む人の場合、そもそも人がいるかいないかということは問題ではないので、やはり他の情報と区別する情報として十分でないことが理解できる。
したがって、認識の対象は、顔や人体だけでなく様々なもの、例えば犬、猫、自動車等々に拡大していくことが考えられる。
しかしながら、このように認識の対象を拡大していった場合、従来の顔のみの検出に比べ、「想定される認識対象物の数」により乗算しただけの処理負荷がかかる。
この問題を解決するために、認識対象の種類の増加にあわせて構成を増やす、あるいは性能を向上させることも考えられる。しかしその結果、構成が大きくなり機器が高価になる。
一方、構成をそのままにして処理を行うことも考えられるが、処理時間が認識対象物の種類の増加に従って大きくなる。特に先に例示したデジタルカメラやビデオの処理応答性は低下するので、使い勝手が悪くなる。
また、別の観点で、この認識装置をバッテリーで駆動する携帯機器として構成した場合、処理負荷の増加に比して消費電力も増加するという課題も発生する。すなわち、消費電力が増加すると機器の駆動時間が短くなるので、それを回避するためにバッテリーを大容量化することも考えられる。しかし、装置全体としての重量が増加して可搬性が低下する。
特許文献1は、撮影場所に設置されたデータサーバから、撮影場所の名称情報及び画像情報をブルートゥースでカメラに送信し、カメラでは場所情報と対応付けて画像を保存することを開示している。しかし記録されるのは撮影を行った場所であって、実際に画像に何が写っているかということについては対応できない。
特開2005-174352号公報 特開2004-221753号公報
Yang et al, "Detecting Faces in Images: A Survey", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.24 , NO.1, JANUARY 2002 Rowley et al, "Neural network-based face detection", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL.20 , NO.1, JANUARY 1998 Viola and Jones, "Rapid Object Detection using Boosted Cascade of Simple Features", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR'01)
以上の課題に鑑み、本発明はデジタル画像データの中から特定被写体を検出するデータ処理の負荷を軽減できるデータ処理装置を提供することを目的とする。
上記課題を解決するために、本発明の画像処理装置は、
複数のサーバ装置と通信可能で持ち運び可能な画像処理装置であって、
前記複数のサーバ装置のうち前記画像処理装置が現在存在する場所に対応する1つと通信を確立することにより、前記場所に存在する認識対象を認識するための認識辞書を前記通信を確立したサーバ装置から受信する通信手段と、
前記場所において認識対象を含む画像データを撮影する撮影手段と、
前記受信した認識辞書を用いて前記画像データに含まれる認識対象を認識する認識手段とを備えることを特徴とする。
デジタル画像データの中から特定被写体を検出するデータ処理処理の負荷を軽減可能なデータ処理装置を提供できる。
画像処理方式を実現可能なデータ処理装置の一例を示すブロック図。 認識処理の概略を示す図。 データ処理装置を用いたシステムの構成例を示す図。 データ処理装置を用いたシステムの構成例を示す図。 認識辞書の構成例を示す図。 データ処理装置の認識辞書情報受信処理の流れを示す流れ図。 データ処理装置の認識処理の流れを示す流れ図。 データ処理装置の認識処理の流れを示す流れ図。 認識辞書確認工程の処理の流れを示す流れ図。 認識辞書の構成例を示す図。 認識結果の表示例を示す図。 認識結果の別の表示例を示す図。 データ処理装置を用いたシステムの構成例を示す図。
<実施形態1>
図1は、実施形態1による画像処理方式を実現するデータ処理装置の構成例を示すブロック図である。
データ入力部101は、画像データを入力する部分であり、公知のCCDやCMOSなどのセンサー装置で構成される。データ入力部101より入力したデータは、後述するRAM106や、データ保存部102に格納される。
データ保存部102は、画像データを保持する部分で、ハードディスク、フロッピー(登録商標)ディスク、CD−ROM、CD−R、DVD、メモリーカード、CFカード、スマートメディア、SDカード、メモリスティック、xDピクチャーカード、USBメモリ等で構成される。データ保存部102には、画像データの他にも、プログラムやその他のデータを保存することも可能である。あるいは、後述するRAM106の一部をデータ保存部102として用いてもよい。また、後述する通信部107により接続した先の機器の記憶装置を、通信部107を介して利用することもできる。
表示部103は、画像処理前と画像処理後の画像を表示したり、GUI等の画像を表示したりする装置で、一般的にはCRTや液晶ディスプレイなどが用いられる。あるいは、表示部103はケーブル等で接続された装置外部のディスプレイ装置であっても構わない。
入力部108は、ユーザからの指示やデータを入力する装置で、キーボードやポインティング装置を含む。なお、ポインティング装置は、マウス、トラックボール、トラックパッド、タブレット等が該当する。また、例えば公知のデジタルカメラ装置やプリンタなどの機器に本発明を適用する場合には、ボタンやダイヤル等で構成されても良い。また、キーボードをソフトウェアで構成(ソフトウェアキーボード)し、ボタンやダイヤル、あるいは先に挙げたポインティングデバイスを操作して文字を入力するように構成しても良い。
また、あるいは公知のタッチスクリーン装置のように、表示部103と入力部108が同一装置であっても良い。その場合、入力部108の入力として、タッチスクリーンを用いて入力を行う。
CPU104は、上述した各構成の処理の全てに関わる。ROM105とRAM106は、その処理に必要なプログラム、データ、作業領域などをCPU104に提供する。また、後述する処理に必要な制御プログラムがデータ保存部102に格納されている場合や、ROM105に格納されている場合には、一旦RAM106に読み込まれてから実行される。また装置が、通信部107を経由してプログラムを受信する場合には、一旦データ保存部102に記録した後にRAM106に読み込まれるか、直接通信部107からRAM106に直接読み込まれてから、プログラムが実行される。
なお、図1においては、CPUが1つだけである構成であるが、これを複数設けるような構成にしても良い。
通信部107は、機器間の通信を行うためのI/F(インタフェース)である。これは例えば、公知のイーサネット(登録商標)、USB、IEEE1284、IEEE1394、電話回線などの有線による通信方式であってもよい。また、赤外線(IrDA)、IEEE802.11a, IEEE802.11b, IEEE802.11g, IEEE802.11n, Bluetooth, UWB(Ultra Wide Band)等の無線通信方式であっても良い。
認識処理部109は、画像データを認識する処理を実行する部分であり、入力部101が入力した画像データより認識対象物を検出する。この検出のアルゴリズムは、先に述べた非特許文献1〜2のいずれかに示されるアルゴリズムであってよい。この認識処理部109による認識処理の概略は後述する。
この時、認識処理部109が参照する認識辞書は、RAM106やデータ保存部102あるいはROM105に格納される。通信部107を介して認識辞書を受信した場合、認識辞書はRAM106やデータ保存部102に格納される。
なお、図1ではデータ入力部101、データ保存部102、表示部103、入力部108および認識処理部109が、全て1つの装置内に含まれるような構成をとっている。しかしこれらの部分は、公知の通信方式による通信路で個々に接続され、全体としてこのような構成となっていても構わない。
また、図1における認識処理部109の処理の一部、あるいは全部をソフトウェアで代替しても良い。その場合、認識処理部109の処理は、ROM105、RAM106、データ保存部102に格納されたプログラムをCPU104が実行することにより行われる。また、汎用信号処理部あるいは汎用画像処理部(不図示)を設け、上記ソフトウェアによる認識処理部の処理の一部をその汎用信号処理部あるいは汎用画像処理部で代替するよう構成することも可能である。
システム構成については、上記以外にも様々な構成要素が存在するが、本発明の主体部分ではないのでその説明を省略する。
図2は、実施形態1で用いる認識処理のアルゴリズム概略を説明する図である。本実施形態では、非特許文献3のように、弱判別器を直列に接続して認識処理を行うものとする。
図2において、認識対象となる画像データ200に設定された、ウィンドウ領域205が示されている。このウィンドウ領域の画素値を後述する認識処理210で参照することで、その領域に認識対象物が含まれるかどうかを判定する。
認識処理210は、内部に4つの弱判別器201〜204を弱判別器パラメータと直列に接続して、その出力結果を持っている。弱判別器201〜204は、参照する弱判別器パラメータ(後述)が異なるだけで、同一の構成にすることができる。
弱判別器パラメータ221〜224の各々の出力に対して、認識処理210で受ける必要があるので、認識処理210にはそのパラメータと同じ数の弱判別器が用意される。弱判別器パラメータ221〜224は、参照領域定義、演算係数、閾値といったパラメータから構成される。
また弱判別器201〜204の出力は、例えば判定結果の真偽を表す数値である。例えば、この数値の出力は、前の弱判別器の真偽値と自身の真偽値との論理和の出力となるように構成する。この場合、前の弱判別器の出力が偽値であれば、自身の判定結果の結果に依らず偽値を出力することになるので、自身の処理を省略するようにも構成できる。また、各弱判別器の真値の数を合計して出力するように構成しても良い。
更に、真偽の2値ではなく、尤もらしさを表す値(尤度)を出力するように構成することも可能である。この場合、前の弱判別器が出力した尤度に、自身の判定結果算出した尤度を加算演算することで自身の出力尤度とするように構成することが考えられる。この演算は、単純には加算である。しかし、その他重みづけ平均や、乗算等他の演算を含むように構成しても良い。また、真偽値と尤度を組み合わせ、対にして出力するような構成しても良い。
図2における判定結果230は、この出力結果を表すデータで、先に述べたような真偽値や尤度といった値である。図2では、弱判別器201〜204の全ての処理を行って判定結果230を得るような形になっているが、弱判別器201〜203において、認識対象物ではないという判定が可能であれば、その時点で処理を打ち切るように構成しても良い。
以上説明した1ウィンドウ領域に対する処理を、検出されたウィンドウ領域205を画像データ200内で移動させながら繰り返し行うことで、画像中の様々な位置に写った対象物を検出することが可能となる。
また、入力画像に対して様々な解像度に変倍した画像を与えると、認識対象の画像データ200の中で様々な大きさの対象物となり、その対象物を検出することが可能となる。
図2にはアルゴリズムの処理の流れを示しており、必ずしも弱判別器を201〜204のように複数個持つ必要はない。例えば、単一の弱判別器を用いて処理を反復するように構成し、弱判別器パラメータ221〜224を切り替えながら処理を行うように構成しても良い。その場合、必要に応じて認識辞書220は、内部に持つ弱判別器パラメータの数を保持するように構成する。
なお、認識辞書220が含む弱判別器パラメータの数を4つとしているのは、あくまでも一例である。従って、この弱判別器の数は任意の数であって構わない。またこの構成によれば、認識辞書220を別の認識辞書に変更することにより、新たな対象物を検出することが可能となる。
図3は、本発明によるデータ処理装置を利用したシステムの一例を示す図である。図3において、データ処理装置320は、サーバ装置300または310と接続可能である。また、サーバ装置300または310は、記憶装置301または311と接続される。サーバ装置300は記憶装置301を管理する。記憶装置301または311は、認識辞書302〜304または312〜314を持つ。またサーバ装置300または310は、通信路305または310を介して、データ処理装置320と通信可能である。
以上のように、サーバ装置310、記憶装置311および通信路315の構成は、サーバ装置300、記憶装置301および通信路305の構成と同様である。しかし、記憶装置311が、記憶装置301の認識辞書と異なる認識辞書312〜314を保持している点が異なる。
通信路305および通信路315は、データ処理装置320と接続可能であれば任意の通信経路であって良い。例えば公知のイーサネット(登録商標)、USB、IEEE1284、IEEE1394、電話回線などの有線による通信方式の通信路でもよい。また、図3において通信路を太線で表現したのは、概念上の通信路を示したからであり、通信手段は有線方式に限定されず、例えば赤外線(IrDA)、IEEE802.11a、 IEEE802.11b、 IEEE802.11g、 IEEE802.11n、 Bluetooth, UWB(Ultra Wide Band)等の無線通信方式であっても良い。
通信路305と通信路315は、それぞれがデータ処理装置320と接続可能であれば良く、また同一の通信方式による通信路でなくても構わない。
図3は、サーバ装置と通信路とデータ処理装置とで構成される画像処理システムの例を示す。サーバ装置300が持つ通信路305は、動物園の敷地内もしくは近隣に設置されており、サーバ装置310が持つ通信路315は遊園地の敷地内もしくは近隣に設置されているとする。好ましくは、サーバ装置300自身も動物園の敷地内もしくは近隣に設置する。同様に、好ましくはサーバ装置310自身も遊園地の敷地内もしくは近隣に設置する。
動物園には、象306、ゴリラ307、キリン308がいるとする。また、遊園地には、キャラクター(316)、キャラクター317がおり、パビリオン318が建っているとする。認識辞書302〜304、312〜314は、それぞれ動物園、遊園地に偏在する被写体306〜308および316〜318に対応するように構成する。例えば、
認識辞書302: 象306の認識辞書
認識辞書303: ゴリラ307の認識辞書
認識辞書304: キリン308の認識辞書
認識辞書312: キャラクター316の認識辞書
認識辞書313: キャラクター317の認識辞書
認識辞書314: パビリオン(建物)318の認識辞書
というように構成する。
ユーザがデータ処理装置320を持って動物園に行った場合、ユーザは、動物園の敷地内もしくは近隣に設置された通信路305を介してデータ処理装置320をサーバ装置300と接続する。この接続は、有線のケーブルかもしくは無線による接続でも良い。この接続により、データ処理装置320とサーバ装置との間の通信が確立される。これによって、データ処理装置320は、サーバ装置300が管理する記憶装置301が保持している認識辞書302〜304のデータを受信する。このとき通信手順(プロトコル等)は任意のものであって構わない。この場合のデータ処理装置320側の詳細な処理の流れについては、後述する。
データ処理装置320は、動物園内で、象306、ゴリラ307、キリン308を撮影する。それとともに、データ処理装置320は、認識辞書302〜304を用いて撮影した画像を認識し、その認識結果を撮影した画像や映像と関連付けて保存する。つまり認識結果は、データ処理装置320内部の、例えば図1におけるデータ保存部102などに保存される。
同様に、ユーザがデータ処理装置320を持って遊園地に行った場合、遊園地の敷地内もしくは近隣の設置された通信路315を介してデータ処理装置320をサーバ装置310に接続する。それとともに、データ処理装置320は、サーバ装置310が管理する記憶装置311が保持している認識辞書312〜314のデータを受信し、遊園地内でキャラクター316、キャラクター317、あるいはパビリオン318を撮影する。それとともに、データ処理装置320は、認識辞書312〜314を用いて撮影した画像を認識し、その認識結果を撮影した画像や映像と関連付けて保存する。
図3の全体でいえば、認識対象は動物園と遊園地全体で象306、ゴリラ307、キリン308、キャラクター316、キャラクター317、パビリオン318と6種類あるのに対し、本発明の構成によれば、認識辞書は動物園で3種類、遊園地で3種類とそれぞれその場で適切な辞書に絞り込むことができる。したがって、6種類の認識辞書の全てを用いて認識処理を行うのに対して、処理の削減ができるという効果がある。
図5は本実施形態の認識辞書の構成を示す概念図である。
図5において、認識辞書500は、認識対象情報501および認識パラメータ502を含んでいる。
認識パラメータ502は、図1における認識処理部109の処理に用いるパラメータで、例えば非特許文献2におけるニューラル・ネットワークの重みよ閾値である。また、非特許文献3における弱判別器が参照する矩形特徴量を定義するためのパラメータや矩形特徴量から判別処理を行うための演算係数、閾値などでもある。これらの認識パラメータ502は、認識処理部109が解釈可能な形式で格納される。
認識対象情報501は、認識パラメータ502を用いて検出可能な被写体を識別するための情報である。例えば、認識辞書500の具体例を示す図3の認識辞書302〜304、312〜314では、
認識辞書302が含む認識対象情報501:象306を表す情報
認識辞書303が含む認識対象情報501:ゴリラ307を表す情報
認識辞書304が含む認識対象情報501:キリン308を表す情報
認識辞書312が含む認識対象情報501:キャラクター316を表す情報
認識辞書313が含む認識対象情報501:キャラクター317を表す情報
認識辞書314が含む認識対象情報501:パビリオン318を表す情報
が格納されている。
先に説明した認識結果には、この認識対象情報501から作成された被写体のメタデータが含まれ、撮影した画像、映像と関連づけられて保存される。この認識対象情報501は、後で被写体のメタデータを生成するのに十分な情報であれば任意で良い。
例えば、被写体のメタデータは文字列データとして認識対象情報501に格納される。またはメタデータは、被写体を表す一意の識別子(ID)を用いても構わない。この場合、ユーザに提示する際には、別途IDと被写体を表す文字列の対応表を用意し、IDから被写体を表す文字列に変換し、変換した結果の文字列を提示することが望ましい。
図5の認識辞書500は任意の書式であって構わない。図5において、認識辞書500が認識対象情報501と認識パラメータ502とを内包している。これは、概念的な構成、すなわち認識対象情報501とそれに対応した認識パラメータ502の対による構成により認識辞書500とする、ということを示しているに過ぎない。したがって、認識対象情報501と認識パラメータ502は必ずしも同一のファイルに格納される必要はない。つまり、認識対象情報501とそれに対応する認識パラメータ502の対応付けができていれば、別々のファイルに格納されているのでも構わない。また、公知のデータベース手段などに格納されていても構わない。
また、図5においては、認識辞書500は、認識対象情報501と認識パラメータ502だけを含んでいるが、それは本実施形態における最小構成を示している。したがってこの他に必要に応じて他のデータを含むように構成しても良い。
(データ処理装置内部の処理)
図6は、本発明によるデータ処理装置が認識辞書情報を受信する際の処理の流れを示す流れ図である。図6による処理は、例えば図3において、データ処理装置320が通信路305または通信路315と接続することにより通信開始のトリガが発生し、そのトリガにより処理が開始されるように構成する。しかしユーザがデータ処理装置320の図1における入力部108を操作することで、処理の開始を指示するように構成しても構わない。
ステップS601の認識辞書情報受信工程では、データ処理装置320の入力部108は、サーバ装置より認識辞書に関する指定情報を受信する。本実施形態では、例えば通信路305を介してサーバ装置300と接続した場合、サーバ装置300は、自身が管理する認識辞書302〜304のデータをデータ処理装置320に送信する。データ処理装置320は、これらの認識辞書302〜304のデータを受信して、その受信データをデータ保存部102、あるいはRAM106に格納する。また同様に、通信路315を介してサーバ装置310と接続した場合、サーバ装置310は、認識辞書312〜314のデータを送信し、データ処理装置320は、その受信データをデータ保存部102あるいはRAM106に格納する。
ステップS602の認識辞書準備工程では、データ処理装置320のCPU104は、受信じた辞書のデータを用いて認識処理を行うのに必要な処理を行う。CPU104は、後述する撮影処理の準備などのために、データ処理装置320の内部に格納してある認識辞書の数を調べ、その数をNumOfActiveDicという変数に設定し、その変数をデータ保存部102に保持する。もし格納部が不揮発性のRAM106で構成されている場合は、RAM106でも構わない。このNumOfActiveDicの変数は、後述する撮影処理の中で参照する。またCPU104は、認識辞書のリストを作成する。これも、後述する撮影処理の中で参照する。もしこの他にも後述する撮影処理の準備に必要な処理があれば、CPU104は必要な処理をこの工程で実行する。認識辞書準備工程S602が終了により、図6における処理を終了する。
図7を参照して、撮影処理について説明を行う。まず、ステップS701は処理の終了判定である。この処理は、撮影モードの終了指示を判定する処理である。例えば、ユーザが入力部108を操作して撮影モードを終了して再生モードに移行するよう指示した場合に、この撮影処理を終了するための判定である。ユーザのモード移行指定は、図7で説明する処理とは非同期で構成することが望ましい。非同期の場合、例えばCPU104は、ユーザの指示に応じて終了を指示するフラグを立ててRAM106にそのフラグを保持し、このステップS701ではそのフラグを参照して、撮影モードの終了を判断するように構成する。このステップS701の判定の結果が真であった場合(ユーザからのモード移行指示があった場合)処理は終了する。偽であった場合には、処理はステップS702に移行する。
ステップS702では、データ入力部101を介して画像データの入力が行われる。CPU104は、データ入力部101に入力されたデータを、RAM106やデータ保存部102に保存する。
ステップS703では、続くステップS704〜S7066の反復処理の初期化処理を行うため、CPU104は、ループカウンタ変数であるIを初期化し0にする。
ステップS704では、反復処理の終了判定処理が行われる。NumOfActiveDicは、データ処理装置320の内部に保持されている有効な辞書の数を表す変数である。本実施形態では、NumOfActiveDicは、図6で既に説明したS601〜603の処理の中で設定される。
ステップS705では、認識処理工程が実行される。この認識処理は、ステップS702でデータ入力部101を介して入力され、RAM106に格納した画像データを入力とする。図6の流れ図で説明した処理により、CPU104は、受信した認識辞書のリストからi番目の辞書を特定し、特定した認識辞書を用いて、認識処理部109が入力された画像データ中の被写体の認識処理を行う。
このステップS705の認識処理工程における認識結果を、CPU104は、どの認識辞書で検出したかがわかる形式で、RAM106あるいはデータ保存部102に格納する。最小構成として、その辞書に対応する認識対象を検出したか否かの情報であれば、本発明を構成するには十分である。しかし、何個の認識対象を検出したか、またその認識対象それぞれの画像中の位置に関する情報を、認識対象別に格納することが望ましい。ステップS706では、CPU104は、ループカウンタ変数Iを1増加させて、ステップS704へ戻る。
以上の反復処理を、データ処理装置320の内部に保持されている有効な辞書の数だけ繰り返す。ステップS704の判定が偽となると、CPU104はステップS707の処理に移行する。
ステップS707では、CPU104は、ユーザから本撮影の指示があったかどうかの判定を行う。ユーザからの本撮影の指示は、ユーザの好みのタイミングで行えるよう構成することが望ましい。したがって、ユーザからの本撮影の指示受付と図7によるデータ処理装置内部の処理とは非同期で構成する。つまり、ユーザからの本撮影の指示受付処理がユーザからの指示に応じて、撮影指示があったことを表すフラグを立ててRAM106あるいはデータ保存部102に保持するように構成する。また、本ステップでは、CPU104は、そのフラグを参照して本撮影の指示があったかを判断するように構成する。このフラグは、撮影結果を保存する工程でリセットされるよう構成する必要がある。したがって本実施形態においては、後述するステップS709の処理の中でリセットするように構成する。
ステップS707の判定が真(ユーザからの本撮影指示があった)である場合、CPU104は、ステップS709の処理に移行し、偽であった場合はステップS708の処理に移行する。
ステップS708は、本撮影ではない場合の処理である。この場合、ユーザの撮影の補助となるべく、表示部103に仮撮影画像(プレビュー画像)を出力するよう構成するのが望ましい。この場合、データ処理装置320のCPU104は、このステップS708で、先のステップS704〜S706の反復処理で実行した認識処理結果を表示部103へ表示するように構成する。
図11は、この認識結果の表示例を示す図である。図11に、表示部103の表示画像1101が示されている。ゴリラ/キリンの文字列1102は、認識結果を表す文字列の表示である。CPU104は、認識辞書に格納された認識対象情報501に基づいてこの文字列1102を生成する。
図12に、認識結果の別の表示例を示す。図12に、表示部103の表示画像1201が示され、認識被写体表示1202はゴリラの検出位置を、また認識被写体表示1203はキリンの検出位置を示している。この場合、先のステップS705では、被写体の検出位置を記録するように構成しておく。
ステップS708の処理が終了すると、CPU104は、ステップS701の処理に戻る。ステップS709は、ユーザが本撮影を指示した場合の処理である。本撮影では、CPU104は、データ入力部101を介して入力した画像データを所定のフォーマットに従ってデータ保存部102に格納する。本実施形態では、先のステップS704〜706の反復処理による認識結果からメタデータを生成し、生成したメタデータと撮影した画像データとを関連付けて保存する。
メタデータと画像データの関連付けの方法は、画像データからそれに対応するメタデータに到達することができれば任意の方法で良い。一例として、画像データを格納するファイルフォーマット規格に従い、画像データファイル中にメタデータを格納する。例えば画像データを格納するファイルフォーマットが公知のExif規格の場合、メタデータはメーカーノートタグなどに格納される。あるいは、メタデータは、画像データを格納するファイルとは別のファイルに格納されても良い。更に、画像データファイルとメタデータファイルとを対応付けるデータをファイル化し、そのファイルをデータ保存部102に格納しても良い。
また、画像データファイル名の一部とメタデータファイル名の一部(例えば、拡張子を除いたファイル名)を共通にすることで、画像データファイル名からメタデータファイル名を容易に生成できるようにしても良い。更に、公知のデータベース手段などを設けて、そのデータベース手段にメタデータなどを格納するように構成しても良い。
以上のように、本実施形態では、データ処理装置がデータ入力する場所において、必要な認識辞書をサーバ装置からデータ処理装置に配布し、その配布された認識辞書を用いて画像データ入力時に認識するよう構成した。これにより、データ処理装置が認識処理に用いる認識辞書の数を抑制することができ、またデータ処理装置の処理負荷の軽減を実現できる。つまり、この構成により、処理時間の削減やあるいは認識処理部分の回路規模を削減できるといった効果がある。また、認識辞書を格納するための記憶領域の削減も図れるという効果もある。
<実施形態2>
実施形態1においては、サーバ装置から認識辞書を受信するのみの例を示したが、実施形態2では、受信した認識辞書を条件に応じて無効化判定を行い削除する処理を行う例について説明する。
図8は、実施形態2の処理の流れを示す図である。図8において、図7の実施形態1で説明したと同じ部分は、図7と同じ符号を付与し、説明は省略する。
図8において、ステップS701の処理フローの前に、ステップS801の認識辞書確認工程の処理が行われる。この認識辞書確認工程の処理は、図9の流れ図を参照して説明を行う。
ステップS901では、CPU104は、データ処理装置320の内部にある各認識辞書について、無効化判定条件に対する判定処理を行う。無効化条件として、例えば以下のようなものが考えられる。
a)認識辞書を受信後、規定時間が経過した場合に無効とする。
b)認識辞書を受信後、規定撮影枚数に達した場合に無効とする。
c)図3の通信路305もしくは通信路315が無線通信の場合、認識辞書を配布したサーバの通信路との通信が無線通信圏外になった場合に無効とする。
d)図3の通信路305もしくは通信路315が無線通信の場合、認識辞書を配布したサーバの通信路と通信が通信圏外になって、規定時間が経過した場合に無効とするか、あるいは規定撮影枚数に達した場合に無効とする。
上記a)の無効化判定条件の場合、図1の構成に時刻を管理する時刻管理部(不図示)を設けるように構成する。また、辞書の受信時刻がわかるように構成する必要がある。従って、図6の認識辞書情報受信工程S601あるいは認識辞書準備工程S602において、CPU104は、認識辞書を受信した時刻を時刻管理部より取得し、取得した時刻を辞書と関連付けて保存するように構成する。この場合、ステップS901では、時刻管理部から現在の時刻を取得するとともに、認識辞書の受信時刻を取得して、規定時間が経過したかどうかを判定する。規定時間は、例えば24時間など予め定めておけば良い。
上記b)の「認識辞書を受信後、規定撮影枚数に達した場合に無効とする」場合、撮影枚数を計数するための変数を内部に用意し、CPU104はその変数をRAM106もしくはデータ保存部102に格納する。この場合、図6の認識辞書情報受信工程S601あるいは認識辞書準備工程S602において、これらの変数を初期化する。そして、図8の認識結果保存工程S709で撮影枚数を計数するための変数を更新するように構成する。この場合、ステップS901では、CPU104は、この撮影枚数を計数するための変数を取得して、規定枚数撮影したかどうかを判定する。規定枚数は、例えば200枚など予め定めておけば良い。
上記C)の「無線通信において、認識辞書を配布したサーバの通信路との通信が通信圏外になった場合に無効とする」場合、ステップS901においては、通信部107における無線通信の受信レベルの状態をチェックするように構成する。CPU104は、受信レベルをチェックし、受信レベルが所定の値より小さく、無線通信の圏外にあるかどうかを判断する。つまり、ステップS902では、受信レベルが所定の値より小さければ判定は真に、そうでなければ偽となるように構成する。
上記d)の「無線通信において、認識辞書を配布したサーバの通信路と通信が通信圏外になって、規定時間が経過した場合に無効とするか、あるいは規定撮影枚数に達した場合に無効とする」場合、ステップS901において、CPU104は、無線通信の状態をチェックするとともに時刻や撮影枚数に関する変数をリセットするように構成する。時間により無効条件を判定する場合は、a)の場合と同様に、図1の構成に時刻管理部を設けるように構成する。また、撮影枚数で無効化を判定する場合は、撮影枚数を計数するための変数を用意する。そしてステップS901では、CPU104は、時間もしくは撮影枚数についての無効化判定条件について判定する。そして続くステップS902では、CPU104は、無効化が成立したかに応じて、処理の分岐を行う。無効化条件が成立した場合には、処理はステップS903移行し、そうでない場合は、図9の処理を終了する。
ステップS903では、有効であった認識辞書を無効化する。本実施形態では、ステップS602で受信した認識辞書のリストを作成し、ステップS704〜S706(図8)の処理を実行する。従って、この辞書のリストから無効となった辞書を除外するとともに、有効な辞書の総数を表す変数NumOfActiveDicを1減じて更新する。
またこの時、必要に応じて、認識辞書のデータそのものを削除するように構成する。
以上のように、本実施形態によれば、データ処理装置がデータ入力する場所において必要な認識辞書をサーバ装置からデータ処理装置に配布するだけでなく、予め定められた条件に基づき辞書を自動的に削除することが可能となる。実施形態1においては、ユーザがGUIを操作するなどして指定して認識辞書を削除する必要があった。しかし実施形態2では、所定の無効化条件に基づいて認識辞書が無効であるかどうかが判定され、無効と判断された認識辞書はユーザの手を借りずに削除されるので、実施形態1と比べさらに使い勝手が向上する。
<実施形態3>
実施形態3では、サーバ装置が複数種類の認識辞書を有し、その無効化条件を制御する。図10は、実施形態3で用いる認識辞書の構成を示す図である。図5と同じ部分については同じ番号を付与し説明を省略する。
実施形態1では、画像処理装置がサーバ装置に接続されると、接続された通信路に応じて認識辞書に関する指定情報がサーバから送られたが、実施形態3においては、指定する認識辞書のデータ自身がサーバから送られる。従って、画像処理装置は、複数の認識辞書を格納する必要がないので、格納のためのデータ保存部が少なくて済む。
また、実施形態2でおこなわれた認識辞書の無効化が、実施形態3でも行われるが、この場合、無効化を行うのはサーバ側である。この実施形態3においても、例えば実施形態2で行ったように、画像処理装置が認識辞書を受信してから所定時間経過いる場合や、認識辞書を受信してからの所定の撮影回数に達している場合などに、その認識辞書を無効化し、画像処理装置に送信しないようにすることができる。つまり、認識辞書を提供する側であるサーバ装置が所望する条件に従って認識辞書の使用を制御することが可能となる。
図10には、無効化条件を記述する領域1001が示されている。この部分に、実施形態2で用いた規定値を記述し、ステップS901(図9)ではその規定値を参照して無効化について判定するように構成する。
各認識辞書において無効化条件は一様である必要はなく、認識辞書によって無効化条件が異なるようにしても構わない。その場合、データ処理装置は、実施形態2で挙げた幾つかの無効化条件のいずれにも対応可能なように構成する。
無効化条件を記述する領域1001のデータ形式は任意のものであっても良い。一般的には、公知のXMLなどの構造化データ形式を用いて記述する。
以上のように、本実施形態によれば、画像処理装置側が予め定められた条件を有する必要はない。
この場合、認識辞書の全体もしくは一部を公知の暗号化手段などにより暗号化を行う場合でも、本発明を適用できる。特に、サーバ装置と無線通信により接続している場合、公知の公開鍵暗号化方式により認識辞書を暗号化する。そして、一定間隔毎にサーバ装置から暗号鍵を取得して復号可能なように構成すれば、サーバ装置と画像処理装置との通信が通信圏外になった後に暗号鍵を廃棄することで認識辞書を無効化することも可能である。
<実施形態4>
実施形態4においては、認識辞書を予めデータ処理装置が保持している場合の例について説明する。
図4は、本実施形態によるデータ処理装置を用いたシステムを示す図である。図4において、実施形態1の図3と同じ部分については図3と同じ番号を付与している。
図4において、サーバ装置300は、記憶装置301内に認識辞書指定情報401を保持し、同様にサーバ装置310は、記憶装置311内に認識辞書指定情報411を保持している。そして、サーバ装置300は、認識辞書指定情報411を参照し、接続された通信路(305または315)に対応した認識辞書を指定する指定情報生成を行う。
また、データ処理装置320は、装置に内蔵もしくは接続した記憶部421に、予め認識辞書302〜304、312〜314を保持している。記憶部421は、図1のデータ保存部102やあるいはRAM106、ROM105で構成する。
認識辞書指定情報411は、認識辞書302〜304の3つの認識辞書を特定する情報が列記されている。例えばファイルで格納されている場合には、認識辞書302〜304に対応する識別子(ファイル名等)を用意すればよいが、好ましくは、図5における認識対象情報501を、認識辞書を特定する情報として列記する。
認識辞書指定情報411を受信したデータ処理装置320は、認識辞書指定情報411を参照し、そこに列記されている情報に基づき、記憶部421から認識辞書302〜304を特定し、これら3つの辞書を用いて撮影画像に対する認識処理を行う。
同様に、認識辞書指定情報411には、認識辞書312〜314の3つの認識辞書を特定する情報が列記されている。データ処理装置320は認識辞書指定情報411を受信した場合には、記憶部421より認識辞書312〜314を特定し、特定した認識辞書を用いて認識処理を行う。
以上説明したように、本実施形態では、その場、状況に応じた認識辞書指定情報を通信することで、その場、状況に応じた認識対象を制限することが可能となり、処理の負荷を軽減することができる。
本実施形態による方式においては、予めデータ処理装置に認識辞書のセットを用意しておく必要があるが、それは例えばROMカートリッジのような形態で予め配布しておいても良い。また、公知のSDカード等の大容量メモリーカードに格納しておくようにしておいても良い。
一般に、認識辞書1つあたり数KB〜数十KBのデータを転送する必要があるのに対し、認識辞書1つを識別する情報は、せいぜい数〜数百Byte程度もあれば十分なので、本実施形態による方式は、実施形態1に比べ、サーバ装置とデータ処理装置との間の通信量を削減できるという効果がある。このことは、単なる通信時間の短縮に限らない。すなわち、本実施形態のデータ処理装置が携帯機器に適用可能であることを考えると、通信部の稼働時間を減らすことができ、その結果、機器のバッテリー電力消費を軽減できるという効果もある。
<実施形態5>
図13は、実施形態5によるシステム示す図である。図13において、実施形態3の図3と同じものについては同じ番号を付与する。図13の例においては、通信路315の他、サーバ装置には通信路1301が備わっており、通信路1301は遊園地設備の外など通信路315と異なる条件の場所でデータ処理装置320と通信可能となっている。
実施形態5では、通信路315を介した接続の場合と、通信路1301を介した接続の場合とで、認識辞書の配布に際して異なる条件を設定する。
具体的には、目的の施設内もしくは近傍に設置した通信路315を介してデータ処理装置320に認識辞書を配布する場合はその使用料金を無償とするが、通信路1301を介してデータ処理装置320に辞書を配布する場合は、有償とし課金するように構成する。課金方式については、公知の任意の方式であって良い。
このように構成することで、ユーザが施設(図13の場合、遊園地)に足を運ぶ、ということに価値を与えることができる。なお、本実施形態の図13において、サーバ装置310は単体のサーバとして説明を行った。しかしそれは概念上のものに過ぎず、同じ認識辞書を配布する複数のサーバ装置で構成しても、本発明の目的とするところは同じである。
以上のように、本実施形態によれば、同一のサーバから複数の経路を介して認識辞書を配布可能なシステムにおいて、経路に応じて異なった課金情報を設定することで、その認識辞書が必要とされる場を訪れることに対して付加価値を高めることが可能となる。
<実施形態6>
実施形態5では、図13の通信路315と通信路1301を介する認識辞書が同一であるとしたが、本実施形態によるシステムでは、各通信路315と1301は、認識対象が同一であれば辞書データそのものを同一にする必要はない。したがって、例えば実施形態2と実施形態3の例で言及した無効化条件が異なるようになる構成にすることができる。この場合、通信路1301を介した場合よりも通信路315を介して受信した場合に有利になるように、無効化条件を緩和する。
また、認識パラメータによる認識精度が異なるように構成することも可能である。この場合、例えば通信路1301を介した場合よりも通信路315を介して受信した場合に有利になるように、より認識精度が高くするか、あるいは処理を軽くする。処理を軽くするための手段の一例としては、図2で説明したように、弱判別器の数を減らしてことで処理負荷を軽減することが考えられる。
このような異なる構成にするのに、認識辞書の配布時に必要なデータを書き換えるように構成しても良いし、予め変換した認識辞書を記憶装置に用意しておき経路に応じて振り分けるように構成しても良い。
以上のように、本実施形態によれば、同一のサーバから複数の経路を介して認識辞書を配布可能なシステムにおいて、経路に応じて異なった使用条件や認識精度や処理量を設定することが可能となる。このようにすることで、認識辞書が必要とされる場をユーザが直接訪れることに対して、付加価値を与えることが可能となる。
<その他の実施形態>
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (10)

  1. 複数のサーバ装置と通信可能で持ち運び可能な画像処理装置であって、
    前記複数のサーバ装置うち前記画像処理装置が現在存在する場所に対応する1つと通信を確立することにより、前記場所に存在する認識対象を認識するための認識辞書を前記通信を確立したサーバ装置から受信する通信手段と、
    前記場所において認識対象を含む画像データを撮影する撮影手段と、
    前記受信した認識辞書を用いて前記画像データに含まれる認識対象を認識する認識手段と
    を備えることを特徴とする画像処理装置。
  2. 更に、前記認識手段により認識された認識結果の情報を前記画像データと関連付けて表示する表示手段を備えることを特徴とする請求項に記載の画像処理装置。
  3. さらに、サーバ装置から受信した認識辞書を無効にするか否かを判定する無効化判定条件を満たすか否かについて前記認識辞書を判定し、前記無効化判定条件を満たす場合には、前記認識辞書を無効化する無効化判定手段を備えることを特徴とする、請求項に記載の画像処理装置。
  4. 前記無効化判定手段の前記無効化判定条件は、前記通信手段が前記認識辞書を受信してから所定時間経過しているか否かであることを特徴とする請求項に記載の画像処理装置。
  5. 前記無効化判定手段の前記無効化判定条件は、前記通信手段が前記認識辞書を受信してからの所定の撮影回数に達しているか否かであることを特徴とする請求項に記載の画像処理装置。
  6. 前記無効化判定手段の前記無効化判定条件は、前記サーバ装置と無線通信圏外か否かであることを特徴とする請求項に記載の画像処理装置。
  7. 持ち運び可能な画像処理装置と複数のサーバ装置とを有する画像処理システムであって、
    前記画像処理装置は、
    前記複数のサーバ装置うち前記画像処理装置が現在存在する場所に対応する1つと通信を確立する通信手段と
    前記場所において認識対象を含む画像データを撮影する撮影手段とを備え、
    前記通信を確立したサーバ装置は、
    前記通信が確立された前記画像処理装置に、前記場所に存在する認識対象を認識するための認識辞書を送信する送信手段を備え、
    前記画像処理装置は、前記サーバ装置からの認識辞書を受信し、前記受信した認識辞書を用いて前記画像データに含まれる認識対象を認識することを特徴とする画像処理システム。
  8. 前記認識辞書の使用に際して、該使用された認識辞書に応じて異なる課金が設定されていることを特徴とする請求項に記載の画像処理装置。
  9. 複数のサーバ装置と通信可能で持ち運び可能な画像処理装置の制御方法であって、
    通信手段が、前記複数のサーバ装置うち前記画像処理装置が現在存在する場所に対応する1つと通信を確立することにより、前記場所に存在する認識対象を認識するための認識辞書を前記通信を確立したサーバ装置から受信する通信工程と、
    撮影手段が、前記場所において認識対象を含む画像データを撮影する撮影工程と、
    認識手段が、前記受信した認識辞書を用いて前記画像データに含まれる認識対象を認識する認識工程と
    を備えることを特徴とする方法。
  10. 請求項に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2009241881A 2009-10-20 2009-10-20 画像処理装置、画像処理システムおよび画像処理装置の制御方法 Expired - Fee Related JP5436142B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009241881A JP5436142B2 (ja) 2009-10-20 2009-10-20 画像処理装置、画像処理システムおよび画像処理装置の制御方法
US12/903,477 US8526673B2 (en) 2009-10-20 2010-10-13 Apparatus, system and method for recognizing objects in images using transmitted dictionary data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009241881A JP5436142B2 (ja) 2009-10-20 2009-10-20 画像処理装置、画像処理システムおよび画像処理装置の制御方法

Publications (3)

Publication Number Publication Date
JP2011090410A JP2011090410A (ja) 2011-05-06
JP2011090410A5 JP2011090410A5 (ja) 2012-12-06
JP5436142B2 true JP5436142B2 (ja) 2014-03-05

Family

ID=43879315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009241881A Expired - Fee Related JP5436142B2 (ja) 2009-10-20 2009-10-20 画像処理装置、画像処理システムおよび画像処理装置の制御方法

Country Status (2)

Country Link
US (1) US8526673B2 (ja)
JP (1) JP5436142B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9607015B2 (en) 2013-12-20 2017-03-28 Qualcomm Incorporated Systems, methods, and apparatus for encoding object formations
CN107968742B (zh) * 2017-12-04 2021-01-22 北京小米移动软件有限公司 影像显示方法、装置及计算机可读存储介质
JP2020010204A (ja) * 2018-07-09 2020-01-16 株式会社東芝 センシングシステム、保守端末装置、データ配布方法、および画像センサ
JP7532329B2 (ja) * 2021-10-14 2024-08-13 キヤノン株式会社 撮像システム、撮像装置、撮像方法、及びコンピュータプログラム
JP7543328B2 (ja) * 2022-01-28 2024-09-02 キヤノン株式会社 撮像システム、撮像装置、情報処理サーバー、撮像方法、情報処理方法、及びコンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1091634A (ja) * 1996-08-15 1998-04-10 Hewlett Packard Co <Hp> 写真画像検索システム
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
JP2004221753A (ja) 2003-01-10 2004-08-05 Funai Electric Co Ltd デジタルカメラ、撮影装置、データサーバ及び場所情報提供システム
JP2004363871A (ja) * 2003-06-04 2004-12-24 Nippon Telegr & Teleph Corp <Ntt> データ保存装置とその方法、及びそのプログラムとそのプログラムを記録した記録媒体
JP2005018407A (ja) * 2003-06-26 2005-01-20 Ricoh Co Ltd 画像検索装置
JP2005044075A (ja) * 2003-07-25 2005-02-17 Sharp Corp 情報処理装置、情報処理方法、情報処理プログラム、およびその情報処理プログラムを記憶したコンピュータ読取可能な記録媒体
JP3880553B2 (ja) 2003-07-31 2007-02-14 キヤノン株式会社 画像処理方法および装置
GB2409030A (en) 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
JP4498902B2 (ja) * 2004-11-30 2010-07-07 三菱電機株式会社 音声認識装置
JP2007058532A (ja) * 2005-08-24 2007-03-08 Sony Corp 情報処理システム、情報処理装置および方法、プログラム、並びに、記録媒体
JP4350741B2 (ja) 2006-12-05 2009-10-21 キヤノン株式会社 画像処理方法およびその装置
US20080271112A1 (en) * 2007-04-30 2008-10-30 Waker Philip M Automatic file transfer

Also Published As

Publication number Publication date
JP2011090410A (ja) 2011-05-06
US20110091072A1 (en) 2011-04-21
US8526673B2 (en) 2013-09-03

Similar Documents

Publication Publication Date Title
WO2019128507A1 (zh) 图像处理方法、装置、存储介质及电子设备
JP6134825B2 (ja) コンテクストデータを使用して端末によって画像キャプチャの確率を自動的に決定する方法
JP2009531873A (ja) デジタルイメージの転送
JP2008165700A (ja) 画像処理装置、電子機器、画像処理システム、画像処理方法、および、プログラム
JP2005312018A (ja) 監視システム、撮像制御装置、撮像設定装置、制御方法、及びプログラム
JP5671224B2 (ja) 画像処理装置、画像処理方法
JP5436142B2 (ja) 画像処理装置、画像処理システムおよび画像処理装置の制御方法
US11710347B2 (en) Information processing apparatus, information processing method, and program
WO2020111776A1 (en) Electronic device for focus tracking photographing and method thereof
CN106815803B (zh) 图片的处理方法及装置
JP2024045460A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2006293720A (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
US12046075B2 (en) Information processing apparatus, information processing method, and program
JP7182893B2 (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム
JP2022058833A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2005352727A (ja) 人物画像検索装置
JP7371806B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6744536B1 (ja) 目線撮像方法及び目線撮像システム
US20240205379A1 (en) Systems and Methods for Predictive Streaming of Image Data for Spatial Computing
JP5582924B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10148884B2 (en) Facilitating capturing a digital image

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130920

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131210

R151 Written notification of patent or utility model registration

Ref document number: 5436142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees