JP2024518453A - ペットの識別のためのオブジェクトを撮影するための方法及び電子装置 - Google Patents

Abstract

本発明は、ペットの識別のためのオブジェクトの画像品質を向上させることができる方法及び電子装置を提供する。本発明によるペットの識別のためのオブジェクトを撮影するための方法は、前記ペットの含まれた画像を取得するステップと、前記画像から前記ペットの識別のためのオブジェクトを検出するステップと、前記検出されたオブジェクトの位置に焦点を設定した状態で次の画像を撮影するステップと、を含む。本発明によれば、撮影された画像からペットの識別のためのオブジェクトを検出し、当該オブジェクトの位置に持続的に焦点が位置するようにすることで、より鮮明な品質のオブジェクト識別用イメージが取得され、それにより、人工知能に基づく学習又は識別に使用可能なペットのオブジェクト識別用イメージを蓄積することができる。
【選択図】図３

Description

本発明は、ペットの識別のためのオブジェクトを撮影するための方法及び電子装置に関し、より具体的には、人工知能に基づく学習又は識別に適したペットの識別用オブジェクトのイメージを取得するための方法及び電子装置に関する。

現代社会において人と共に生活しながら情緒的に頼ることができるペットへの需要が高まっている。これにより、ペットに対する健康管理などのために多様なペットについての情報をデータベース化して管理する必要性が増加している。ペットを管理するために、人の指紋のようにペットの識別情報が必要であり、ペットに応じて使用できるオブジェクトがそれぞれ定義できる。例えば、イヌの場合、鼻紋（鼻のシワの形状）がそれぞれ異なるので、イヌ毎に鼻紋を識別情報として使用することができる。

図１の（ａ）に示すように、鼻紋を登録する方法は、人の指紋又は顔面を登録するのと同様に、ペットの鼻を含む顔面を撮影し（Ｓ１１０）、及び鼻紋を含むイメージをデータベースに格納及び登録する過程（Ｓ１２０）によって行われる。また、鼻紋を照会する方法は、図１の（ｂ）に示すように、ペットの鼻紋を撮影し（Ｓ１３０）、撮影された鼻紋と一致する鼻紋及びこれに関連する情報を探索し（Ｓ１４０）、及び撮影された鼻紋と一致する情報を出力する過程（Ｓ１５０）によって行われ得る。図１に示すように、ペットの鼻紋を登録し照会する過程によって各ペットを識別し、当該ペットの情報を管理することができる。ペットの鼻紋情報は、データベースに格納され、ＡＩに基づく学習又は識別のためのデータとして使用できる。

しかし、ペットの鼻紋を取得し格納する際に、幾つかの問題点が存在する。

まず、写真は、撮影角度、焦点、距離、サイズ、環境などによって認識が難しいことがある。人の顔面認識技術を鼻紋認識に適用しようとする試みがあったが、人の顔面情報は、十分なデータが蓄積されたのに対し、ペットの鼻紋情報は十分なデータが確保されないため、認識率が低いという問題点がある。具体的には、ＡＩに基づく認識が行われるためには、機械が学習することが可能な形態に加工された学習データが必要であるが、ペットの鼻紋は十分なデータが蓄積されないため、鼻紋の認識に困難がある。

また、ペットの鼻紋認識のためには、鮮明な鼻のシワを有するイメージが要求されるが、人間とは異なり、ペットはしばらく動作を止めるような行為を行うことができないため、鮮明な鼻のシワのイメージを取得することが容易ではない。例えば、イヌは、顔面を動き続けたり舌をペロペロしたりするため、所望の品質の鼻紋イメージを取得することが非常に難しい。例えば、鼻紋認識のために鼻のシワが鮮明に撮影された画像が要求されるが、実際に撮影されたイメージはほとんど揺れなどにより鼻のシワが鮮明に撮影されない場合が多い。かかる問題を解決するために、イヌの鼻を強制的に固定させた状態で撮影する方法が考慮されているが、ペットに強制的な行為を行うようにするため不適切であると評価されている。

本発明は、ペットの識別のためのオブジェクトの画像品質を向上させることができる方法及び電子装置を提供する。

本発明の解決課題は、上述したものに限定されず、上述していない他の解決課題は、以降の記載から当業者に明確に理解できるであろう。

本発明によるペットの識別のためのオブジェクトを撮影するための方法は、前記ペットの含まれた画像を取得するステップと、前記画像から前記ペットの識別のためのオブジェクトを検出するステップと、前記検出されたオブジェクトの位置に焦点を設定した状態で次の画像を撮影するステップと、を含む。

本発明によれば、ペットの含まれた画像を取得するステップは、以前のフレームに撮影されたイメージから検出された前記オブジェクトの位置に焦点が設定された状態で前記ペットを撮影して前記画像を生成するステップを含むことができる。

本発明によれば、前記画像から前記ペットの識別のためのオブジェクトを検出するステップは、前記画像から前記ペットの種を決定するための第１特徴領域を設定するステップと、前記第１特徴領域内で前記ペットの種に応じて前記ペットの識別のためのオブジェクトを含む第２特徴領域を設定するステップと、を含むことができる。

本発明によれば、前記第２特徴領域を設定するステップは、前記ペットの識別のためのオブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断するステップを含むことができる。

本発明によれば、前記オブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断するステップは、前記オブジェクトのイメージの品質が基準条件を満足するか否かを判断するステップと、前記品質が基準条件を満足する場合、前記オブジェクトのイメージをサーバに伝送するステップと、前記品質が基準条件を満足しない場合、前記オブジェクトのイメージを捨て、次の画像に対する撮影を行うステップと、を含むことができる。

本発明によるペットの識別のためのオブジェクトを撮影するための方法は、前記ペットの含まれた画像を取得するステップと、前記画像から前記ペットの識別のためのオブジェクトを検出するステップと、前記オブジェクトの位置に焦点を設定するステップと、前記焦点が設定されたオブジェクトの位置にオブジェクト検出状態を示すグラフィックエレメントがオーバーレイされた前記画像を出力するステップと、を含む。

本発明によれば、前記画像を出力するステップは、前記オブジェクトのイメージの品質が基準条件を満足するか否かを判断するステップと、前記オブジェクトのイメージの品質が基準条件を満足する場合、良好品質状態を示す第１グラフィックエレメントを前記オブジェクトにオーバーレイするステップと、前記オブジェクトの品質が基準条件を満足しない場合、不良品質状態を示す第２グラフィックエレメントを前記オブジェクトにオーバーレイするステップと、を含むことができる。

本発明によれば、前記画像を出力するステップは、前記画像において前記オブジェクトの撮影品質状態を示すスコア情報を出力するステップを含むことができる。

本発明によれば、前記ペットの識別のためのオブジェクトを撮影する方法では、前記画像を出力するステップは、前記オブジェクトのイメージの品質状態に応じて良好なオブジェクトイメージが撮影されるようにユーザにフィードバックを提供するステップをさらに含むことができる。

本発明によれば、前記ペットの含まれた画像を取得するステップは、以前のフレームに撮影されたイメージから検出された前記オブジェクトの位置に焦点が設定された状態で前記ペットを撮影して前記画像を生成するステップを含むことができる。

本発明によるペットの識別のためのオブジェクトを撮影するための電子装置は、前記ペットの含まれた原本画像を生成するカメラと、前記画像から前記ペットの識別のためのオブジェクトを検出し、前記検出されたオブジェクトの位置に焦点を設定した状態で次の画像を撮影するように前記カメラを制御するプロセッサと、を含む。

本発明によれば、前記プロセッサがペットの含まれた画像を取得するステップは、以前のフレームに撮影されたイメージから検出された前記オブジェクトの位置に焦点が設定された状態で前記ペットを撮影して前記画像を生成するように前記カメラを制御することができる。

本発明によれば、前記プロセッサは、前記画像から前記ペットの種を決定するための第１特徴領域を設定し、前記第１特徴領域内で前記ペットの識別のためのオブジェクトを含む第２特徴領域を設定することができる。

本発明によれば、前記プロセッサは、前記ペットの識別のためのオブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断することができる。

本発明によれば、前記プロセッサは、前記オブジェクトのイメージの品質が基準条件を満足するか否かを判断し、前記品質が基準条件を満足する場合、前記オブジェクトのイメージをサーバに伝送し、前記品質が基準条件を満足しない場合、前記オブジェクトのイメージを捨て、次の画像に対する撮影を行うように前記カメラを制御することができる。

本発明によるペットの識別のためのオブジェクトを撮影するための電子装置は、前記撮影中のペットの画像を出力するディスプレイをさらに含むことができる。

本発明によれば、前記プロセッサは、前記検出されたオブジェクトの位置にオブジェクト検出状態を示すグラフィックエレメントがオーバーレイされた前記画像をディスプレイに出力することができる。

本発明によれば、前記プロセッサは、前記オブジェクトのイメージの品質が基準条件を満足するか否かを判断し、前記オブジェクトのイメージの品質が基準条件を満足する場合、良好品質状態を示す第１グラフィックエレメントを前記オブジェクトにオーバーレイし、前記オブジェクトの品質が基準条件を満足しない場合、不良品質状態を示す第２グラフィックエレメントを前記オブジェクトにオーバーレイすることができる。

本発明によれば、前記プロセッサは、前記画像において前記オブジェクトの撮影品質状態を示すスコア情報を前記ディスプレイを介して出力することができる。

本発明によれば、前記プロセッサは、前記オブジェクトのイメージの品質状態に応じて良好なオブジェクトイメージが撮影されるようにユーザにフィードバックを提供することができる。

本発明によれば、撮影された画像からペットの識別のためのオブジェクトを検出し、当該オブジェクトの位置に持続的に焦点が位置するようにすることで、より鮮明な品質のオブジェクト識別用イメージが取得され、それにより、人工知能に基づく学習又は識別に使用可能なペットのオブジェクト識別用イメージ（鼻紋イメージ）を蓄積することができる。

本発明の効果は、上述したものに限定されず、上述していない他の効果は、以降の記載から当業者に明確に理解できるであろう。

ＡＩに基づくペットの管理のための概略的な手順を示す。 本発明による学習又は識別用オブジェクトイメージの適合度判断が適用されたＡＩに基づくペットの鼻紋管理のための手順を示す。 本発明によるペットの管理システムでペットの識別のためのオブジェクトを検出するための手順を示す図である。 本発明が適用されたペットの識別オブジェクトを検出するためのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面の例を示す。 本発明によるペットの識別のためのオブジェクトを検出する過程を示す。 本発明による特徴領域を設定するための過程を示す。 本発明による焦点位置調節を介してペットを識別するためのオブジェクトを撮影する過程を示す。 本発明によるペットの識別のためのオブジェクトを撮影する方法のフローチャートである。 本発明によるペットの識別のためのオブジェクトを撮影する方法のフローチャートである。 本発明による電子装置のブロック図である。

以下、添付図面を参照して、本発明の実施形態について、本発明の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。本発明は、種々の異なる形態で実現でき、ここで説明する実施形態に限定されない。

本発明を明確に説明するために、説明と関係のない部分は省略し、明細書全体にわたり、同一又は類似の構成要素に対しては同一の参照符号を付す。

また、幾つかの実施形態において、同一の構成を有する構成要素については、同一の符号を用いて代表的な実施形態でのみ説明し、それ以外の他の実施形態では、代表的な実施形態とは異なる構成についてのみ説明する。

明細書全体において、ある部分が他の部分と「連結（又は結合）」されているとするとき、これは、「直接的に連結（又は結合）」されている場合だけでなく、別の部材を挟んで「間接的に連結（又は結合）」されている場合も含む。また、ある部分がある構成要素を「含む」とするとき、これは、特に反対の記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに含むことができることを意味する。

他に定義されない限り、技術的又は科学的用語を含んでここで使用されるすべての用語は、本発明の属する技術分野における通常の知識を有する者によって一般に理解されるのと同じ意味を持っている。一般的に使用される辞書に定義されている用語は、関連技術の文脈上の意味と一致する意味を有すると解釈されるべきであり、本出願において明確に定義しない限り、理想的又は過度に形式的な意味で解釈されない。

本文書では、イヌの鼻のシワの形状（鼻紋）を活用して識別情報を抽出する内容を中心に説明するが、本発明において、ペットの範囲はイヌに限定されず、また、識別情報として使用される特徴として、鼻紋に限定されず、様々なペットの身体的特徴が使用できる。

前述したように、ＡＩに基づく学習又は識別に適したペットの鼻紋イメージが十分ではなく、ペットの鼻紋イメージはその品質が低い可能性が大きいため、ＡＩに基づく学習又は識別のために鼻紋イメージを選別的にデータベースに格納する必要がある。

図２は、本発明による学習又は識別用鼻紋イメージの適合度判断が適用されたＡＩに基づくペットの鼻紋管理のための手順を示す。本発明は、ペットの鼻紋を撮影した後、撮影された鼻紋イメージがＡＩに基づく学習又は識別のためのデータとして適するか否かを先に判断し、適すると判断された場合、ＡＩに基づく学習又は認識のためのサーバに伝送及び格納して以後の学習又は識別のためのデータとして使用する。

図２に示すように、本発明による鼻紋管理手順は、鼻紋取得手順と鼻紋認識手順とを含む

本発明によれば、新規にペットの鼻紋を登録するとき、ペットの含まれた画像を撮影した後、ペットの顔領域から鼻紋イメージを抽出し、特に、当該鼻紋イメージが当該ペットの識別又は学習のために適するか否かを先に判断する。撮影されたイメージが識別又は学習に適すると判断された場合、当該イメージがサーバ（人工知能ニューラルネットワーク）へ伝送されてデータベースに格納される。

鼻紋を介してペットの識別情報を照会する場合、同様に、ペットの含まれた画像を撮影した後、ペットの顔領域から鼻紋イメージを抽出し、特に、当該鼻紋イメージが当該ペットの識別又は学習に適するか否かを先に判断する。撮影されたイメージが識別又は学習に適すると判断された場合、当該イメージがサーバに伝送され、予め格納された鼻紋イメージとのマッチングを介して当該ペットの識別情報を抽出する。

鼻紋登録手続の場合、図２の（ａ）に示すように、ペットを撮影し（Ｓ２０５）、撮影されたペットのイメージから先ず顔領域（以後、第１特徴領域として説明される）を検出し（Ｓ２１０）、顔領域内で鼻が占める領域（以後、第２特徴領域として説明される）を検出し、撮影されたイメージが学習又は識別用に適するかに対する品質検査を介して鼻紋イメージを出力し（Ｓ２１５）、出力されたイメージが人工ニューラルネットワークを構成するサーバに伝送されて格納及び登録される（Ｓ２２０）。

鼻紋照会手順の場合、図２の（ｂ）に示すように、ペットを撮影し（Ｓ２３０）、ペットのイメージから顔領域を検出し（Ｓ２３５）、顔領域内で鼻が占める領域を検出し、撮影されたイメージが学習又は識別用に適するかに対する品質検査を介して鼻紋イメージを出力するが（Ｓ２４０）、これは、鼻紋登録手順と類似している。以後の手順は、出力された鼻紋イメージを予め格納及び学習された鼻紋イメージと比較して一致する情報を探索する過程（Ｓ２４５）と、探索結果に対する出力過程（Ｓ２５０）が行われる。

図３は、本発明によるペットの鼻紋管理システムでペットの鼻に対応するオブジェクトを検出するための手順を示す。

図３を参照すると、まず、ペットを撮影して初期イメージが生成され（Ｓ３０５）、初期イメージから顔領域を検出するステップが先に行われる（Ｓ３１０）。その後、顔領域内でペットの種を考慮して鼻領域を検出するステップが行われる（Ｓ３１５）。１次的に顔領域を先に検出し、２次的に鼻領域を検出することは、階段式（ｃａｓｃａｄｅｄ）検出によってすべての種を考慮して鼻領域を検出することよりも演算複雑度を低めることができ、検出正確度も向上させることができるためである。その後、検出された鼻領域のイメージが今後の鼻紋の識別又は学習に適するか否かを検査するための品質検査が行われ（Ｓ３２０）、品質検査結果、適したイメージと判断された場合、当該イメージをサーバに伝送して鼻紋の識別に使用されるか、或いは今後の学習又は識別のために格納されることができる（Ｓ３２５）。

また、本発明によれば、イヌの鼻のシワ（鼻紋）のようにペットの識別のためのオブジェクトのイメージがぼやけて撮影されないよう、検出された鼻領域に焦点が合わせられるようにカメラを制御することができる（Ｓ３３０）。これは、カメラの焦点が鼻領域に合うようにすることで、鼻の焦点がずれることによりイメージの品質が低下することを防止するためである。

図４は、本発明が適用されたペットの鼻紋イメージを取得するためのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面の例を示す。図４は、様々なペットのうちイヌの鼻紋を取得するための場合を示す。

図４を参照すると、撮影中の画像からペットの種を識別して、現在撮影中のペットがイヌであるか否かを判断する。撮影中のペットがイヌでない場合、図４の（ａ）のように「イヌを見つけることができません」のような文章を出力し、撮影中のペットがイヌである場合、イヌの鼻紋を取得するための手順を行う。撮影中のペットがイヌであるか否かを判断するために、画像に含まれたペットの顔領域を先に抽出し、顔領域に含まれたイメージを既存の学習されたデータと比較して当該ペットの種（ｓｐｅｃｉｅｓ）を決定することができる。

以後、図４の（ｂ）乃至（ｅ）のように、イヌの顔においてイヌの鼻に該当する領域を設定した後、鼻に該当する領域に焦点を合わせて撮影が行われることができる。すなわち、ペットの識別のためのオブジェクトに該当する領域の位置（中心点）に焦点が合わせられるようにカメラを制御することができる。また、ユーザに現在追跡中のオブジェクト（例：鼻）に焦点が合わせられて撮影されていることをフィードバックするために、追跡中のオブジェクトの位置にグラフィックエレメントをオーバーレイ（ｏｖｅｒｌａｙ）することができる。追跡中のオブジェクトの位置に当該オブジェクトの検出状態を示すグラフィックエレメントを表示することにより、現在撮影中のペットでオブジェクト認識が行われていることがユーザに認知できる。

図４の（ｂ）乃至（ｅ）に示すように、現在撮影中のオブジェクトのイメージ品質が良好な場合（オブジェクトのイメージの品質が基準条件を満足する場合）、良好品質状態を示す第１グラフィックエレメント４１０ａ（例：笑うアイコン又は緑色アイコン）をオブジェクトにオーバーレイして出力することができる。現在撮影中のオブジェクトのイメージ品質が不良である場合（オブジェクトのイメージの品質が基準条件を満足しない場合）、不良品質状態を示す第２グラフィックエレメント４１０ｂ（例えば、泣くアイコン又は赤色アイコン）をオブジェクトにオーバーレイして出力することができる。

図４に示すように、イヌが持続的に動く場合にも、イヌの鼻を追跡しながら鼻に焦点を合わせて撮影が行われることができる。このとき、各撮影された画像において、イヌの鼻紋イメージがペットの識別又は学習のために適するか否かを判断し、適合性に対する程度が出力されてもよい。

例えば、撮影されたイヌの鼻紋イメージがペットの識別又は学習のために適するかに対する程度が数値として計算でき、適合度に対する数値に応じて、適合度が低いほど「Ｂａｄ」方向に、適合度が高いほど「Ｇｏｏｄ」方向にゲージが満たされる形態のスコア情報４２０が出力され得る。すなわち、画像においてオブジェクトの撮影品質を示すスコア情報４２０が出力されることができる。

また、現在撮影されている鼻紋のイメージに対する品質評価（サイズ、明るさ、鮮明度など）を行い、人工知能に基づく識別又は学習に適した鼻紋イメージが撮影されるようにユーザにフィードバックが提供されることができる。ユーザフィードバックとして、ユーザにペットのオブジェクトが適切に撮影されるように案内するメッセージ４３０を出力することができる。例えば、イヌの鼻紋イメージのサイズが基準値より小さい場合、より大きいサイズの鼻紋イメージが撮影されるように、図４の（ｃ）に示すように、「イヌの鼻の距離を合わせてください」のようなメッセージを出力することができる。ペットの識別のためのオブジェクト（例：イヌの鼻紋）を撮影する過程で、ユーザに画像が適切に撮影されるようにユーザに案内するフィードバックとして、音声メッセージ（例：「イヌの鼻の距離を合わせてください」）がスピーカを介して出力されることができる。或いは、ペットの識別のためのオブジェクトが適切に撮影されるようにハプティックモジュールは振動を発生させることにより、ユーザにフィードバックを提供することができる。例えば、カメラ１０１０からのペットの距離があまり遠く或いは近くなった場合、ハプティックモジュールは振動を発生させることにより、ユーザに適切な距離が合わせられるようにすることができる

また、ペットの識別のために適した品質を有するオブジェクトのイメージが取得される進行程度を示す進行率情報４４０が出力されることができる。例えば、適した品質を有する鼻紋イメージが５枚必要であり、現在までに適したイメージが１枚取得された場合、図４の如く、進行率が２５％であることを示す進行率情報４４０が出力されることができる。

イヌの鼻紋イメージが十分に取得された場合、撮影を終了し、当該イヌの鼻紋イメージと共に識別情報をデータベースに格納するか、或いは当該イヌの識別情報を出力することができる。

本発明において、ペットの顔領域を先に検出した後、顔領域内で鼻領域を検出する。これは、演算複雑度を低減させながらオブジェクト検出難易度を下げるためである。画像を撮影する過程で検出しようとするオブジェクト以外の物体、又は不要であるか或いは誤った情報が画像に含まれることができる。したがって、本発明は、撮影中の画像に所望のオブジェクト（ペットの鼻）が存在するか否かを先に判断する。

また、ペットの鼻紋を識別するためには、一定水準以上の解像度を有する画像が要求されるが、画像の解像度が高くなるほど画像の処理のための演算量が増加するという問題がある。また、ペットの種類が増加するにつれて、各ペットの種類別に学習方法が異なるため、人工知能の演算難易度がさらに増加するという問題がある。特に、類似した種類の動物は、類似した形状を有するため（例：イヌの鼻とオオカミの鼻とは類似する）、類似した動物に対して動物の種類と共に鼻を分類することは非常に高い演算難易度を有することができる。

したがって、本発明は、このような演算複雑度を低減させるために、階段式（ｃａｓｃａｄｅｄ）オブジェクト検出方法を使用する。例えば、ペットを撮影しながらペットの顔領域を先に検出した後、ペットの種類を識別し、検出されたペットの顔領域と識別されたペットの種類に基づいて当該ペットの鼻領域を検出する。これは、相対的に演算複雑度の低い低解像度でペットの種類を識別する過程を先に行い、ペットの種類によって決定されたオブジェクト検出方法を適用してペットの顔領域で高解像度を維持し、鼻領域検出を行うのである。したがって、本発明は、相対的に演算複雑度を低減させながらも効果的にペットの鼻領域を検出することができる。

図５は、本発明によるペットの識別のための全般的な画像処理過程を示す。図５に示すように、本発明による入力画像を処理する方法は、カメラから入力画像を受け取るステップ（Ｓ５０５）と、入力画像のサイズを調整して１次処理画像を生成する第１前処理ステップ（Ｓ５１０）と、第１前処理ステップで生成された処理画像から動物の位置と動物の種を検出する第１特徴領域検出ステップ（Ｓ５１５）と、第１特徴領域検出ステップの結果物から動物画像の第１特徴値を抽出する第１後処理ステップ（Ｓ５２０）と、第１後処理ステップを介して処理された画像からペットの種に応じてペットの識別のためのオブジェクト（例：鼻）を検出するための検出器を決定するステップ（Ｓ５２５）と、ペットの識別のための画像処理のために画像のサイズを調節する第２前処理ステップ（Ｓ５３０）と、第１特徴検出ステップで検出することが可能な動物の種にそれぞれ対応する少なくとも１つの第２特徴領域検出ステップ（Ｓ５３５）と、それぞれの第２特徴領域検出ステップに対応して動物画像の第２特徴値を抽出する第２後処理ステップ（Ｓ５４０）と、を含む。

第１前処理ステップ

原本画像に対する第１前処理を適用するステップ（Ｓ５１０）は、原本画像のサイズ、比率、方向などを調節してオブジェクトの検出に適した形態に画像を変換するステップである。

カメラ技術の発達に伴い、入力画像は、大部分が数百万乃至数千万の画素で構成され、このように大きい画像を直接処理することは好ましくない。オブジェクト検出が効率よく作動するためには、入力画像の処理に適するように前処理過程を行わなければならない。このような過程は、数学的には座標系変換で行われる。

入力画像内の任意の４点を処理画像の４つの頂点に対応させ、任意の座標系変換過程を経ることにより、任意の処理画像を生成することができるのは明白である。ところが、座標系変換過程において任意の非線形変換関数を使用する場合、特徴領域検出器の結果として取得した境界ボックスから入力画像の特徴領域を得る逆変換が可能でなければならない。例えば、入力画像の任意の４点を処理画像の４つの頂点に対応させて線形変換するアフィン変換（Ａｆｆｉｎｅ Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を使用すると、容易にその逆変換過程を得ることができるので、これを使用することが好ましい。

入力画像内の任意の４点を決定する方法の一例として、入力画像の４つの頂点をそのまま使用する方法が考えられる。或いは、横長さと縦長さが同じ比率で変換されるように、入力画像に余白を付加するか、或いは入力画像の一部を切り取る方法を使用することができる。或いは、入力画像のサイズを縮小させるために、多様な補間方法を適用することができる。

第１特徴領域検出ステップ

本ステップは、前処理された画像内でペットが存在する領域とその動物の種を先に検出することにより、後述する第２特徴領域検出ステップで使用できる第１特徴領域を設定し、併せて各ペットの種に最適化された第２特徴領域検出器を選択することにより、最終的な特徴点検出性能を上げることを目的とする。

本過程において、オブジェクト検出及び分類方法は、関連分野における通常の知識を有する者であれば、どれでも容易に結合することができる。しかし、従来の方法に比べて、人工ニューラルネットワークに基づく方法が性能に優れていることが知られているので、できる限り人工ニューラルネットワークに基づく特徴検出技法を使用することが好ましい。例えば、人工ニューラルネットワークに一枚のイメージに対して様々なサイズの物体を検出するアルゴリズムであるＳＳＤ（Ｓｉｎｇｌｅ Ｖｉｓｉｏｎ－Ｓｈｏｔ Ｍｕｌｔｉｂｏｘ Ｄｅｔｅｃｔｉｏｎ）方式の特徴検出器が使用できる。

上述した前処理器によって正規化された入力画像は、人工ニューラルネットワークによって階層的に第１特徴画像乃至第ｎ特徴画像を構成する。このとき、階層ごとに特徴画像を抽出する方法は、人工ニューラルネットワークの学習ステップで機械的に学習できる。

このように抽出された階層的特徴画像は、階層ごとに対応する予め定義されたボックス（Ｐｒｉｏｒｉ Ｂｏｘ）リストと結合されて境界ボックス、個体種類、及び信頼度値リストを生成する。このような演算過程も、人工ニューラルネットワークの学習ステップで機械的に学習できる。例えば、その結果値は、下記表１のような形式で返還される。この時、ニューラルネットワークが判断することが可能な種の個数は、ニューラルネットワーク設計ステップで決定され、暗黙的にオブジェクトが存在しない場合、すなわち「背景」が定義される。

このような結果ボックスは、ＮＭＳ（Ｎｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎ）ステップによって重畳する結果ボックスを併合して、最終的に画像内に存在するオブジェクト検出結果として返還される。ＮＭＳは、複数個の特徴領域候補から最終的な特徴領域を導き出す過程であって、特徴領域候補は、図６のような手順によって表１の確率値を考慮して生成できる。

次に、この過程を詳細に説明する。

１．背景を除いたそれぞれの種に対してそれぞれ次の過程を行う。

Ａ．境界ボックスリストにおいて、当該種である確率が特定の閾値よりも低いボックスを除外する。残ったボックスがなければ、結果なしで終了する

Ｂ．前記境界ボックスリストにおいて、当該種である確率の最も高いボックスを第１ボックス（第１境界領域）として指定し、境界ボックスリストから除外する。

Ｃ．残りの境界ボックスリストに対して、確率の高い順に従ってそれぞれ次の過程を行う。

ｉ．第１ボックスとのＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ、積集合対和集合の面積比)を演算する。

ｉｉ．ＩｏＵが特定閾値よりも高ければ、このボックスは第１ボックスと重畳するボックスである。第１ボックスと併合する。

Ｄ．第１ボックスを結果ボックスリストに追加する。

Ｅ．境界ボックスリストにボックスが残っていると、残ったボックスを対象として再びＣステップから繰り返し行う。

２つのボックスＡとＢに対して、ＩｏＵは、下記数式１のように効果的に演算することができる。

次に、前記過程で第１ボックスと重畳するボックスを併合する方法について説明する。例えば、第１ボックスはそのまま維持し、第２ボックスは境界ボックスリストから削除する方法で併合することができる（Ｈａｒｄ ＮＭＳ）。又は、第１ボックスはそのまま維持し、第２ボックスが特定の種である確率を（０，１）の間の値だけ重み付けて減少させ、減衰された結果値が特定の閾値よりも小さければ、初めて境界ボックスリストから削除する方法で併合することができる（Ｓｏｆｔ ＮＭＳ）。

最後に、このように決定された一つ又は複数の境界ボックスに対して、前処理ステップで使用した任意の変換過程に対する逆変換過程を経ることにより、原本画像における特徴領域を得ることができるのは当たり前である。構成によっては、原本画像における特徴領域に一定量の余白を付加することにより、後述する第２検出ステップをよく行うことができるように調整することができる。

第１後処理ステップ

前述した第１特徴領域設定ステップ（Ｓ５１５）で取得された入力画像の各特徴領域に対して、追加的な後処理ステップを行うことにより、第１特徴値を生成することができる。例えば、入力画像の第１特徴領域に対する明るさ情報（第１特徴値）を取得するために、下記数式２のような演算を行うことができる。

このとき、ＬはＢＴ．６０１標準によるＬｕｍａ値であり、ＶはＨＳＶ色空間で定義する明度値である。Ｍ、Ｎは対象特徴領域の横幅と縦高さである。

このように追加的に生成した第１特徴値を用いて、第１特徴領域検出ステップ（Ｓ５１５）で取得した第１特徴領域が本特許と結合される応用分野で使用するのに適するかを予測することができる。追加的に生成される第１特徴値は、応用分野に応じて適切に設計されなければならないのは自明である。応用分野で定義する第１特徴値の条件を満たさない場合、選択的に後述する第２特徴領域設定及びオブジェクト検出ステップを省略するようにシステムを構成することができる。

第２特徴領域検出ステップ

本ステップは、動物が存在する領域から、具体的に応用分野で必要とする特徴領域を抽出することを目的とする。例えば、動物の顔領域から目、鼻、口、耳の位置を検出する応用分野を、例えば、第１特徴領域検出ステップでは動物の顔領域と動物の種情報を先ず区分し、第２特徴領域検出ステップでは動物の種に応じて目、鼻、口、耳の位置を検出することを目的とする。

この過程において、第２特徴領域検出ステップは、それぞれの動物の種に特化された互いに独立した複数個の特徴領域検出器で構成されることができる。例えば、第１特徴領域検出ステップで犬、猫、ハムスターを区分することができれば、３つの第２特徴領域検出器を備え、それぞれを犬、猫、ハムスターに対して特化されるように設計することが好ましい。こうすることにより、個別特徴領域検出器で学習すべき特徴の種類を減少させて学習複雑度を減少させることができ、かつ、学習データ収集の面でもより少ない数字のデータのみでもニューラルネットワーク学習が可能となるのは自明である。

それぞれの第２特徴領域検出器は、互いに独立して構成されるので、通常の知識を有する者であれば、独立した個別検出器を容易に構成することができる。それぞれの特徴領域検出器は、それぞれの種で検出しようとする特徴情報に合わせて個別的に構成することが好ましい。又は、システム構成の複雑度を減少させるために、一部又は全ての第２特徴領域検出器が同じ構造の特徴領域検出器を共有するが、学習パラメータ値を交替することにより、それぞれの種に適するようにシステムを構成する方法を使用することができる。さらに、第２特徴領域検出器として第１特徴領域検出ステップと同じ構造の特徴領域検出器を使用するが、学習パラメータ値とＮＭＳ方法のみを交替することにより、システム複雑度をさらに減少させる方法を考慮することもできる。

第１特徴領域検出ステップ及び第１後処理ステップを介して設定された１つ又は複数の特徴領域に対して、第１特徴領域検出ステップで検出した種情報を用いてどの第２特徴領域検出器を使用するか決定し、決定された第２特徴領域検出器を用いて第２特徴領域検出ステップを行う。

まず、前処理過程を行う。この時、座標を変換する過程で、逆変換が可能な変換過程を使用しなければならないのは自明である。第２前処理過程では、入力画像内で検出された第１特徴領域を第２特徴領域検出器の入力画像に変換しなければならないので、変換関数の設計に必要な４つの点は、第１特徴領域の４つの頂点と定義することが好ましい。

第２特徴領域検出器を介して取得した第２特徴領域は、第１特徴領域を用いて検出された値であるので、全体入力画像内で第２特徴領域を演算するときには、第１特徴領域を考慮しなければならない。

第２特徴領域検出器を介して取得した第２特徴領域に対して、第１後処理ステップと同様に追加的な後処理ステップを行うことにより、第２特徴値を生成することができる。例えば、画像の鮮明度を求めるために、ソーベルフィルタ（Ｓｏｂｅｌ ｆｉｌｔｅｒ）を適用するか、或いは特徴領域の間に検出の有無及び相対的な位置関係を用いて、検出しようとする動物の姿勢などの情報を求めることができる。

このように追加的に生成した第２特徴値を用いて、第２オブジェクト検出ステップで取得した特徴領域が本特許と結合される応用分野で使用するのに適するかを予測することができる。追加的に生成される第２特徴値は、応用分野に応じて適切に設計されなければならないのは自明である。応用分野で定義する第２特徴値の条件を満たさない場合、第２検出領域だけでなく、第１検出領域を検出結果から除外するなど、応用分野に適するようにデータを取得することができるように設計することが好ましい。

システム拡張

本発明では、２ステップの検出ステップを構成することにより、第１特徴位置検出ステップでは動物の位置と種を検出し、その結果に基づいて、第２特徴位置検出ステップで使用する検出器を選択するシステムと構成方法の例を挙げた。

このような階段式構成（ｃａｓｃａｄｅ ｃｏｎｆｉｇｕｒａｔｉｏｎ）は、容易に多層階段式の構成に拡張できる。例えば、第１特徴位置検出ステップでは動物の身体全体を検出し、第２特徴位置検出ステップでは動物の顔の位置と腕脚の位置を検出し、第３特徴位置検出ステップでは顔から目、鼻、口、耳の位置を検出するなどの応用構成が可能である。

このような多層階段式構成を使用することにより、同時に複数階層の特徴位置の取得が可能なシステムを容易に設計することができる。多層階段式システムを設計する際に、層数を決定するには、取得しようとする特徴位置の階層ドメイン、全体システムの動作時間及び複雑度、そしてそれぞれの個別特徴領域検出器を構成するのに必要なリソースなどを考慮すれば最適の階層構造を設計することができるのは自明である。

高品質のペットの識別用オブジェクトイメージ（例：鼻紋イメージ）を取得するために焦点位置を可変的に調節する過程について説明する。一般的なスマートフォンに、オブジェクトの位置に合わせて焦点を調節する技術が多く適用されているが、このような技術は、主に人間のように撮影時間の間動かないオブジェクトを対象とし、ペットを撮影するときは、識別用オブジェクト（例：鼻）が持続的に動くことにより焦点が合わせられない場合が多い。識別用オブジェクトに焦点が合わせられない場合、人工知能に基づく学習又は識別に適さないデータが生成されやすいので、ペットの識別用オブジェクトに焦点が合わせられるようにすることが好ましい。

よって、本発明は、ペットのオブジェクトを検出した後、検出されたオブジェクトの位置に合わせて持続的に焦点位置をオブジェクトの位置に設定する方法を提供する。

本発明によれば、ペットの含まれたイメージを取得し、ペットの種を決定するための領域（第１特徴領域、例：顔領域）を設定して第１特徴領域でのイメージを抽出する。その後、第１特徴領域でペットの種に応じてペットを識別するための領域（第２特徴領域、例：鼻領域）を設定し、第２特徴領域でのイメージ（例：鼻紋イメージ）が人工知能に基づく学習又は識別に適するか否かを検査する。第２特徴領域でのオブジェクトのイメージが学習又は識別に適した品質を有する場合、学習又は識別のためのニューラルネットワーク（例：サーバ）に伝達されて格納され、適さない場合、当該イメージは捨てられる。

その後、Ｎ＋１番目のフレームの画像を撮影するとき、Ｎ番目のフレームで検出されたオブジェクトの位置に焦点が位置するようにカメラを調節し、それにより、人工知能に基づく学習又は識別に適するようにペットの識別用オブジェクトイメージ（鼻紋イメージ）が取得され得る。

図７は、本発明による焦点位置調節によってペットを識別するためのオブジェクトを撮影する過程を示す。図７を参照すると、ペットを撮影しながら持続的にペットの識別のためのオブジェクト（例：鼻）が追跡され、特定のフレームでのペット撮影のための焦点の位置は、以前のフレームで設定されたオブジェクトの位置に設定される。本発明によれば、フレームごとに階段式オブジェクトの検出が行われるが、図５を参照して説明したように、１次的に動物の種を決定するために第１特徴領域を設定し、２次的に動物の種を考慮して第１特徴領域内で識別用オブジェクト（例：鼻）が位置する第２特徴領域を導出する。オブジェクトの検出が完了すれば、当該フレームのイメージが学習又は識別のために適するか否かを判断するための後処理（第２後処理）が行われ、適したイメージが取得されると、以後の学習又は識別のために当該フレームのイメージは格納される。

ペットの識別のためのオブジェクトイメージ（例：鼻紋イメージ）を取得するために次のフレームの画像撮影が持続されるが、ここで、撮影時の焦点の位置は、以前のフレームで決定されたオブジェクトの位置である。以前のフレームで検出されたオブジェクトの位置に合わせて焦点の位置を変更することにより、ペットがじっとしておらずに動く場合にも、持続的に識別用オブジェクトに従って焦点を移動することができる。このような過程によって焦点がずれる可能性を下げ、高い品質のオブジェクトイメージを取得することができる。このような過程が繰り返し行われ、カメラ焦点の移動を介してより学習又は識別に適したオブジェクトイメージを取得する可能性を高めることができる。

図８は、本発明によるペットの鼻紋管理システムでペットの鼻に対応するオブジェクトを撮影するための方法のフローチャートである。

本発明によるペットの識別のためのオブジェクトを撮影するための方法は、ペットの含まれた画像を取得するステップ（Ｓ８１０）と、画像からペットの識別のためのオブジェクトを検出するステップ（Ｓ８２０）と、検出されたオブジェクトの位置に焦点を設定した状態で次の画像を撮影するステップ（Ｓ８３０）と、を含む。以後、次の画像（フレーム）に対するオブジェクト検出及び焦点位置変更が繰り返し行われることができる。

本発明によれば、ペットの含まれた画像を取得するステップ（Ｓ８１０）は、以前のフレームに撮影されたイメージから検出された前記オブジェクトの位置に焦点が設定された状態でペットを撮影して画像を生成するステップを含むことができる。

本発明によれば、次の画像を撮影するステップ（Ｓ８３０）は、次の画像からオブジェクトの変更された位置を検出するステップと、次の画像で位置が変更されたオブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断するステップと、変更された位置に焦点を設定した状態で次の撮影を行うステップと、を含むことができる。

図７に示すように、現在フレームのイメージに対して識別用オブジェクト（例：ペットの鼻）を検出し、当該オブジェクトのイメージ（鼻紋イメージ）が人工知能に基づく学習又は識別に適するか否かを判断し、現在フレームのイメージから検出されたオブジェクトの位置が次のフレームのイメージの撮影時に焦点の位置として設定され得る。本発明のように、以前のフレームのオブジェクト位置を参考して現在フレームの焦点を調節することにより、ペットの識別のためのオブジェクトに焦点が合わせられるように維持することができ、学習又は識別可能な程度の品質を有する識別用オブジェクトのイメージ（鼻紋イメージ）を取得することができる。

本発明によれば、画像からペットの識別のためのオブジェクトを検出するステップは、画像からペットの種を決定するための第１特徴領域を設定するステップと、第１特徴領域内で前記ペットの種に応じて前記ペットの識別のためのオブジェクトを含む第２特徴領域を設定するステップと、を含むことができる。本発明は、イメージからペットの種とペットの識別用オブジェクトを同時に検出する代わりに、優先的に低い解像度で容易に処理することができるペットの種の検出を先に行い、後でペットの種を考慮してペットの識別用オブジェクトを検出することにより、演算複雑度を減少させながら効果的にオブジェクト識別用イメージ（鼻紋イメージ）を取得することができる。

本発明によれば、第２特徴領域を設定するステップは、ペットの識別のためのオブジェクトのイメージ（例：鼻紋イメージ）が人工知能に基づく学習又は識別に適するか否かを判断するステップを含む。ペットを撮影した後、全てのイメージを格納するのではなく、ペットの識別用オブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを先に判断し、適したオブジェクトイメージのみをサーバ、又は学習或いは識別用ニューラルネットワークに格納することにより、不要なデータが格納されることを防止することができる。

本発明によれば、前記オブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断するステップは、オブジェクトのイメージの品質が基準条件を満足するか否かを判断するステップと、品質が基準条件を満足する場合、オブジェクトのイメージを学習又は識別用サーバに伝送するステップと、品質が基準条件を満足しない場合、オブジェクトのイメージを捨て、次の画像に対する撮影を行うステップと、を含むことができる。オブジェクトのイメージの品質は、前述した第１品質値及び第２品質値で表現でき、第１品質値及び第２品質値が基準値よりも大きければ、当該オブジェクトイメージが学習又は識別に適した品質を有すると判断できる。

図９は、本発明によるオブジェクト追跡によってペットを識別するためのオブジェクトを撮影する過程を示す。本発明によるペットを識別するためのオブジェクトを撮影する方法は、ペットの含まれた画像を取得するステップ（Ｓ９１０）と、画像からペットの識別のためのオブジェクトを検出するステップ（Ｓ９２０）と、オブジェクトの位置に焦点を設定するステップ（Ｓ９３０）と、焦点が設定されたオブジェクトの位置にオブジェクト検出状態を示すグラフィックエレメントがオーバーレイされた画像を出力するステップ（Ｓ９４０）と、を含む。例えば、図４に示すように、撮影中の画像からペットの識別のためのオブジェクト（鼻）を検出し、当該オブジェクトの位置に焦点を設定して撮影しながら、当該オブジェクトの検出状態を示すグラフィックエレメント４１０Ａ、４１０Ｂがオーバーレイされて出力されることができる。フレーム毎に検出されるオブジェクトをグラフィックエレメントが追跡するようにすることにより、ユーザは、オブジェクトが正しく追跡されるか否かを認識することができ、現在撮影されているオブジェクトのイメージ品質が適するか否かを確認することができる。

本発明の実施形態によれば、画像を出力するステップ（Ｓ９４０）は、オブジェクトのイメージの品質が基準条件を満足するか否かを判断するステップと、前記オブジェクトのイメージの品質が基準条件を満足する場合、良好品質状態を示す第１グラフィックエレメント４１０Ａを前記オブジェクトにオーバーレイするステップと、オブジェクトの品質が基準条件を満足しない場合、不良品質状態を示す第２グラフィックエレメント４１０Ｂを前記オブジェクトにオーバーレイするステップと、を含むことができる。

本発明の実施形態によれば、画像を出力するステップ（Ｓ９４０）は、画像で前記オブジェクトの撮影品質状態を示すスコア情報４２０を出力するステップを含むことができる。図４に示すように、撮影されたイヌの鼻紋イメージがペットの識別又は学習のために適するかに対する程度が数値として計算されることができ、適合度に対する数値に基づいて、適合度が低いほど「ＢＡＤ」方向に、適合度が高いほど「ＧＯＯＤ」方向にゲージが満たされる形態のスコア情報４２０が出力されることができる。

本発明の実施形態によれば、ペットを識別するためのオブジェクトを撮影する方法は、オブジェクトのイメージの品質状態に応じて良好なオブジェクトイメージが撮影されるようにユーザにフィードバックを提供するステップをさらに含むことができる。フィードバックは、画像と共に出力されるメッセージ、スピーカを介して出力される音声メッセージ、又は振動を介して出力されるハプティックフィードバックのうちの一つを含むことができる。例えば、イヌの鼻紋イメージのサイズが基準値よりも小さい場合、より大きいサイズの鼻紋イメージが撮影されるように、図４の（ｃ）に示すように、「イヌの鼻の距離を合わせてください」のようなメッセージを出力することができる。例えば、ペットの識別のためのオブジェクト（例：イヌの鼻の紋）を撮影する過程で、ユーザに画像が適切に撮影されるようにユーザに案内するフィードバックとして、音声メッセージ（例えば、「イヌの鼻の距離を合わせてください」）がスピーカを介して出力されることができる。或いは、ペットの識別のためのオブジェクトが適切に撮影されるように、ハプティックモジュールは振動を発生させることにより、ユーザにフィードバックを提供することができる。例えば、カメラ１０１０からのペットの距離があまり遠く或いは近くなった場合、ハプティックモジュールは、振動を発生させることにより、ユーザに適切な距離が合わせられるようにすることができる。

本発明の実施形態によれば、ペットの含まれた画像を取得するステップ（Ｓ９１０）は、以前のフレームに撮影されたイメージから検出された前記オブジェクトの位置に焦点が設定された状態で前記ペットを撮影して前記画像を生成するステップを含むことができる。

図１０は、本発明による電子装置１０００のブロック図である。本発明による電子装置１０００は、ペットの含まれた原本画像を生成するカメラ１０１０と、画像からペットの識別のためのオブジェクトを検出し、検出されたオブジェクトの位置に焦点を設定した状態で、次の画像を撮影するようにカメラ１０１０を制御するプロセッサ１０２０と、を含む。

カメラ１０１０は、レンズなどの光学モジュールと入力された光から画像信号を生成するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を含むことができ、画像撮影を介して画像データを生成してプロセッサ１０２０に提供することができる。

プロセッサ１０２０は、電子装置１０００の各モジュールを制御し、画像処理のために必要な演算を行う。プロセッサ１０２０は、その機能によって複数のマイクロプロセッサ（プロセッシング回路）で構成されることができる。プロセッサ１０２０は、前述したように、ペット（例：イヌ）の識別のためのオブジェクト（例：鼻）を検出し、当該オブジェクトに対するイメージの有効性判断を行うことができる。例えば、プロセッサ１０２０は、撮影された画像からペットのオブジェクトの識別のためのオブジェクト（例：鼻）を検出し、当該オブジェクトに焦点が合わせられるようにカメラ１０１０のレンズ距離を調節することができる。また、プロセッサ１０２０は、検出されたオブジェクトの位置が追跡されていることを示すグラフィックエレメントをオーバーレイして出力するか、或いはオブジェクトイメージの品質状態を示すスコア情報、及びユーザにフィードバックを提供するメッセージをディスプレイ１０５０に出力することができる。

通 信モジュール１０３０は、有線／無線ネットワークを介して外部の個体（ｅｎｔｉｔｙ）とデータを送信又は受信することができる。特に、通信モジュール１０３０は、学習又は識別のためにサーバとの通信を介して人工知能に基づく処理のためのデータを交換することができる。

さらに、電子装置１０００は、画像データ及び画像処理のために必要な情報を格納するメモリ１０４０と、ユーザに画面を出力するディスプレイ１０５０と、を含んで、用途に応じて多様なモジュールを含むことができる。ディスプレイ１０５０は、撮影中のペットの画像及びペットのインターフェース画面を出力することができる また、図示してはいないが、電子装置１０００は、音響信号を出力するスピーカ及び振動を介してユーザにハプティックフィードバックを提供するハプティックモジュールを含むことができる。例えば、ペットの識別のためのオブジェクト（例：イヌの鼻紋）を撮影する過程で、ユーザに画像が適切に撮影されるようにユーザに案内するフィードバックとして、音声メッセージ（例えば、「イヌの鼻の距離を合わせてください」）がスピーカを介して出力されることができる。又は、ペットの識別のためのオブジェクトが適切に撮影されるように、ハプティックモジュールは、振動を発生させることにより、ユーザにフィードバックを提供することができる。例えば、カメラ１０１０からのペットの距離があまり遠く或いは近くなった場合、ハプティックモジュールは、振動を発生させることにより、ユーザに適切な距離が合わせられるようにすることができる。

本発明によれば、プロセッサ１０２０は、以前のフレームに撮影されたイメージから検出された前記オブジェクトの位置に焦点が設定された状態で前記ペットを撮影して前記画像を生成するようにカメラ１０１０を制御することができる。

本発明によれば、プロセッサ１０２０は、次の画像でオブジェクトの変更された位置を検出し、次の画像で位置が変更されたオブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断し、変更された位置に焦点を設定した状態で次の撮影を行うようにカメラ１０１０を制御することができる。

本発明によれば、プロセッサ１０２０は、画像からペットの種を決定するための第１特徴領域を設定し、第１特徴領域内でペットの識別のためのオブジェクトを含む第２特徴領域を設定することができる。

本発明によれば、プロセッサ１０２０は、ペットの識別のためのオブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断することができる。

本発明によれば、プロセッサ１０２０は、オブジェクトのイメージの品質が基準条件を満足するか否かを判断し、品質が基準条件を満足する場合、オブジェクトのイメージを学習又は識別用サーバに伝送し、品質が基準条件を満足しない場合、オブジェクトのイメージを捨て、次の画像に対する撮影を行うようにカメラ１０１０を制御することができる。

本発明によれば、プロセッサ１０２０は、検出されたオブジェクトの位置にオブジェクト検出状態を示すグラフィックエレメントがオーバーレイされた画像をディスプレイ１０５０に出力することができる。

本発明によれば、プロセッサ１０２０は、オブジェクトのイメージの品質が基準条件を満足するか否かを判断し、オブジェクトのイメージの品質が基準条件を満足する場合、良好品質状態を示す第１グラフィックエレメント４１０Ａをオブジェクトにオーバーレイしてディスプレイ１０５０を介して出力し、オブジェクトの品質が基準条件を満足しない場合、不良品質状態を示す第２グラフィックエレメント４１０ｂを前記オブジェクトにオーバーレイしてディスプレイ１０５０を介して出力することができる。

本発明によれば、プロセッサ１０２０は、画像においてオブジェクトの撮影品質状態を示すスコア情報４２０をディスプレイ１０５０に出力することができる。

本発明によれば、プロセッサ１０２０は、オブジェクトのイメージの品質状態に応じて良好なオブジェクトイメージが撮影されるように、ユーザにフィードバックを提供するメッセージ４３０をディスプレイ１０５０に出力することができる。

本実施形態及び本明細書に添付された図面は、本発明に含まれる技術的思想の一部を明確に示しているものに過ぎず、本発明の明細書及び図面に含まれている技術的思想の範囲内で当業者が容易に類推することが可能な変形例及び具体的な実施形態はいずれも、本発明の権利範囲に含まれることが自明であるといえる。

したがって、本発明の思想は、説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等又は等価的変形がある全てのものは、本発明の思想の範疇に属するというべきである。

Claims (20)

1. ペットの識別のためのオブジェクトを撮影するための方法であって、
   前記ペットの含まれた画像を取得するステップと、
   前記画像から前記ペットの識別のためのオブジェクトを検出するステップと、
   前記検出されたオブジェクトの位置に焦点を設定した状態で次の画像を撮影するステップと、を含む方法。
2. 前記ペットの含まれた画像を取得するステップは、以前のフレームに撮影されたイメージから検出された前記オブジェクトの位置に焦点が設定された状態で前記ペットを撮影して前記画像を生成するステップを含む、請求項１に記載の方法。
3. 前記画像から前記ペットの識別のためのオブジェクトを検出するステップは、
   前記画像から前記ペットの種を決定するための第１特徴領域を設定するステップと、
   前記第１特徴領域内で前記ペットの種に応じて前記ペットの識別のためのオブジェクトを含む第２特徴領域を設定するステップと、を含む、請求項１に記載の方法。
4. 前記第２特徴領域を設定するステップは、前記ペットの識別のためのオブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断するステップを含む、請求項３に記載の方法。
5. 前記オブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断するステップは、
   前記オブジェクトのイメージの品質が基準条件を満足するか否かを判断するステップと、
   前記品質が基準条件を満足する場合、前記オブジェクトのイメージをサーバに伝送するステップと、
   前記品質が基準条件を満足しない場合、前記オブジェクトのイメージを捨て、次の画像に対する撮影を行うステップと、を含む、請求項４に記載の方法。
6. ペットの識別のためのオブジェクトを撮影するための方法であって、
   前記ペットの含まれた画像を取得するステップと、
   前記画像から前記ペットの識別のためのオブジェクトを検出するステップと、
   前記オブジェクトの位置に焦点を設定するステップと、
   前記焦点の設定されたオブジェクトの位置にオブジェクト検出状態を示すグラフィックエレメントがオーバーレイされた前記画像を出力するステップと、を含む方法。
7. 前記画像を出力するステップは、
   前記オブジェクトのイメージの品質が基準条件を満足するか否かを判断するステップと、
   前記オブジェクトのイメージの品質が基準条件を満足する場合、良好品質状態を示す第１グラフィックエレメントを前記オブジェクトにオーバーレイするステップと、
   前記オブジェクトの品質が基準条件を満足しない場合、不良品質状態を示す第２グラフィックエレメントを前記オブジェクトにオーバーレイするステップと、を含む、請求項６に記載の方法。
8. 前記画像を出力するステップは、前記画像において前記オブジェクトの撮影品質状態を示すスコア情報を出力するステップを含む、請求項６に記載の方法。
9. 前記オブジェクトのイメージの品質状態に応じて良好なオブジェクトイメージが撮影されるようにユーザにフィードバックを提供するステップをさらに含む、請求項６に記載の方法。
10. 前記ペットの含まれた画像を取得するステップは、以前のフレームに撮影されたイメージから検出された前記オブジェクトの位置に焦点が設定された状態で前記ペットを撮影して前記画像を生成するステップを含む、請求項６に記載の方法。
11. ペットの識別のためのオブジェクトを撮影するための電子装置であって、
    前記ペットの含まれた原本画像を生成するカメラと、
    前記画像から前記ペットの識別のためのオブジェクトを検出し、前記検出されたオブジェクトの位置に焦点を設定した状態で次の画像を撮影するように前記カメラを制御するプロセッサと、を含む電子装置。
12. 前記プロセッサは、
    以前のフレームに撮影されたイメージから検出された前記オブジェクトの位置に焦点が設定された状態で前記ペットを撮影して前記画像を生成するように前記カメラを制御する、請求項６に記載の電子装置。
13. 前記プロセッサは、
    前記画像から前記ペットの種を決定するための第１特徴領域を設定し、
    前記第１特徴領域内で前記ペットの識別のためのオブジェクトを含む第２特徴領域を設定する、請求項１１に記載の電子装置。
14. 前記プロセッサは、前記ペットの識別のためのオブジェクトのイメージが人工知能に基づく学習又は識別に適するか否かを判断する、請求項１３に記載の電子装置。
15. 前記プロセッサは、
    前記オブジェクトのイメージの品質が基準条件を満足するか否かを判断し、
    前記品質が基準条件を満足する場合、前記オブジェクトのイメージをサーバに伝送し、
    前記品質が基準条件を満足しない場合、前記オブジェクトのイメージを捨て、次の画像に対する撮影を行うように前記カメラを制御する、請求項１４に記載の電子装置。
16. 前記撮影中のペットの画像を出力するディスプレイをさらに含む、請求項１１に記載の電子装置。
17. 前記プロセッサは、前記検出されたオブジェクトの位置にオブジェクト検出状態を示すグラフィックエレメントがオーバーレイされた前記画像をディスプレイに出力する、請求項１６に記載の電子装置。
18. 前記プロセッサは、
    前記オブジェクトのイメージの品質が基準条件を満足するか否かを判断し、
    前記オブジェクトのイメージの品質が基準条件を満足する場合、良好品質状態を示す第１グラフィックエレメントを前記オブジェクトにオーバーレイし、
    前記オブジェクトの品質が基準条件を満足しない場合、不良品質状態を示す第２グラフィックエレメントを前記オブジェクトにオーバーレイする、請求項１７に記載の電子装置。
19. 前記プロセッサは、前記画像において前記オブジェクトの撮影品質状態を示すスコア情報を前記ディスプレイを介して出力する、請求項１６に記載の電子装置。
20. 前記プロセッサは、前記オブジェクトのイメージの品質状態に応じて良好なオブジェクトイメージが撮影されるようにユーザにフィードバックを提供する、請求項１１に記載の電子装置。