JP7369288B2 - 画像処理方法、画像処理用コマンドの生成方法および装置 - Google Patents

画像処理方法、画像処理用コマンドの生成方法および装置 Download PDF

Info

Publication number
JP7369288B2
JP7369288B2 JP2022520212A JP2022520212A JP7369288B2 JP 7369288 B2 JP7369288 B2 JP 7369288B2 JP 2022520212 A JP2022520212 A JP 2022520212A JP 2022520212 A JP2022520212 A JP 2022520212A JP 7369288 B2 JP7369288 B2 JP 7369288B2
Authority
JP
Japan
Prior art keywords
image
dimension
roi
division
dimensions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022520212A
Other languages
English (en)
Other versions
JP2022551249A (ja
Inventor
シェン、ジュンジー
ワン、ジェンジャン
リー、ジェンジュン
Original Assignee
地平▲線▼（上海）人工智能技▲術▼有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 地平▲線▼（上海）人工智能技▲術▼有限公司 filed Critical 地平▲線▼（上海）人工智能技▲術▼有限公司
Publication of JP2022551249A publication Critical patent/JP2022551249A/ja
Application granted granted Critical
Publication of JP7369288B2 publication Critical patent/JP7369288B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本開示は、２０２０年０７月３１日に中国特許庁に提出された、出願番号がＣＮ２０２０１０７６５２４２．５であり、発明の名称が「画像処理方法、画像処理用コマンドの生成方法および装置」である中国特許出願の優先権を主張し、その内容の全ては援用により本開示に組み込まれる。
本開示は、画像処理の技術分野に関し、特に、画像処理方法、画像処理用コマンドの生成方法および装置に関する。
視覚的画像処理技術を用いる場合、全画像検出が終わると、特定のタスクに対する関心領域（Ｒｅｇｉｏｎｏｆ Ｉｎｔｅｒｅｓｔ、ＲＯＩ）画像が生成され、その後、画像変倍モジュールによってＲＯＩ画像に対して画像変倍を行い、変倍によって取得された画像を画像処理モデルに入力して処理することができる。多くの場合、画像変倍モジュールの出力に限界があるため、画像変倍モジュールは、ＲＯＩ画像の一部に対しては変倍処理を行わず、エラープロンプトを出力するだけであり、これにより、視覚的画像処理技術に関連する後続のプロセスが正常的に実行できなくなる。
本開示は、上記の技術的課題を解決するためになされたものである。本開示の実施例は、画像処理方法、画像処理用コマンドの生成方法および装置を提供する。
本開示の実施例の一態様に係る画像処理方法は、
ＲＯＩ画像を取得した場合、画像処理モデルがサポートする第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて分割して複数の画像ブロックを取得し、前記第１の画像寸法を前記第１の分割データに基づいて分割して取得された複数の画像寸法の各々が、いずれも画像変倍モジュールのハードウェア出力寸法とマッチングされるようにするステップと、
前記複数の画像ブロックの各々に対して画像変倍を行って、複数の変倍画像ブロックを取得し、前記複数の変倍画像ブロックの複数の画像寸法と前記第１の画像寸法を前記第１の分割データに基づいて分割して取得された複数の画像寸法とが、１対１に対応してマッチングされるようにするステップと、
前記複数の変倍画像ブロックを前記画像処理モデルに順次入力するステップと、を含む。
本開示の実施例の別の態様に係る画像処理用コマンドの生成方法は、
画像変倍モジュールのハードウェア出力寸法が、画像処理モデルがサポートする第１の画像寸法とマッチングしていない場合、前記ハードウェア出力寸法および前記第１の画像寸法に基づいて、前記第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定し、前記分割方式情報は、前記テンプレート画像を複数の画像ブロックに分割するために用いられ、前記複数の画像ブロックの各々の画像寸法が、いずれも前記ハードウェア出力寸法とマッチングされるようにするステップと、
前記分割方式情報に基づいて、第１の分割データを取得するステップと、
前記第１の分割データに基づいて、上記画像処理方法を実行するための画像処理用コマンドを生成するステップと、を含む。
本開示の実施例の別の態様に係る画像処理装置は、
ＲＯＩ画像を取得した場合、画像処理モデルがサポートする第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて分割して複数の画像ブロックを取得し、前記第１の画像寸法を前記第１の分割データに基づいて分割して取得された複数の画像寸法の各々が、いずれも画像変倍モジュールのハードウェア出力寸法とマッチングされるようにする分割モジュールと、
前記分割モジュールによって取得された前記複数の画像ブロックの各々に対して画像変倍をそれぞれ行って複数の変倍画像ブロックを取得し、前記複数の変倍画像ブロックの複数の画像寸法と前記第１の画像寸法を前記第１の分割データに基づいて分割して取得された複数の画像寸法とが、１対１に対応してマッチングされるようにする画像変倍モジュールと、
前記画像変倍モジュールによって取得された前記複数の変倍画像ブロックを前記画像処理モデルに順次入力する入力モジュールと、を含む。
本開示の実施例の別の態様に係る画像処理用コマンドの生成装置は、
画像変倍モジュールのハードウェア出力寸法が、画像処理モデルがサポートする第１の画像寸法とマッチングしていない場合、前記ハードウェア出力寸法および前記第１の画像寸法に基づいて、前記第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定し、前記分割方式情報は、前記テンプレート画像を複数の画像ブロックに分割するために用いられ、前記複数の画像ブロックの各々の画像寸法が、いずれも前記ハードウェア出力寸法とマッチングされるようにする決定モジュールと、
前記決定モジュールによって決定された前記分割方式情報に基づいて、第１の分割データを取得する取得モジュールと、
前記取得モジュールによって取得された前記第１の分割データに基づいて、上記画像処理方法を実行するための画像処理用コマンドを生成する生成モジュールと、を含む。
本開示の実施例の別の態様に係る、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体は、前記コンピュータプログラムが、上記画像処理方法、または、上記画像処理用コマンドの生成方法を実行する。
本開示の実施例の別の態様に係る電子機器は、
プロセッサと、
前記プロセッサが実行可能なコマンドを記憶するメモリと、を含み、
前記プロセッサは、前記メモリから前記実行可能なコマンドを読み取って、前記コマンドを実行して、上記画像処理方法を実行するか、または、上記画像処理用コマンドの生成方法を実行する。
本開示の上記実施例に係る画像処理方法、画像処理用コマンドの生成方法、装置、コンピュータ読み取り可能な記憶媒体および電子機器によれば、ＲＯＩ画像を取得した場合、画像処理モデルがサポートする第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて分割して複数の画像ブロックを取得することができる。その後、複数の画像ブロックの各々に対して画像変倍を行って複数の変倍画像ブロックを取得することができる。複数の変倍画像ブロックの複数の画像寸法と第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法とが、１対１に対応してマッチングされるため、複数の変倍画像ブロックの各々の画像寸法がいずれもハードウェア出力寸法とマッチングされ、各変倍画像ブロックは、いずれも画像変倍モジュールから正常的に出力されることができ、その後、複数の変倍画像ブロックを画像処理モデルに正常的に順次入力すればよい。これから分かるように、本開示の実施例では、画像変倍モジュールの出力に限界があっても、第１の分割データの利用に、画像分割操作及び画像変倍操作を組み合わせて、画像変倍モジュールから複数の変倍画像ブロックを正常的に出力させ、複数の変倍画像ブロックを画像処理モデルに提供して正常的な処理を行うことができることにより、視覚的画像処理技術に関連する後続のプロセスの正常的な実行を確保することができる。
以下では、図面および実施例により、本開示の技術的解決手段についてより詳細に説明する。
本開示の上記および他の目的、特徴や利点は、本開示の実施例についての図面を併せてのより詳細な説明によって明らかになる。図面は、本開示の実施例に対するさらなる理解を提供するために用いられるとともに、本明細書の一部を構成し、本開示の実施例と共に本開示を解釈するために用いられものであり、本開示を限定するものではない。図面において、同じ参照符号は一般的に同じ部材やステップを示す。
本開示の実施例の総体的原理図である。 本開示の例示的な実施例に係る画像処理方法の概略フローチャートである。 本開示の実施例における動作段階の分割の概略図である。 本開示の別の例示的な実施例に係る画像処理方法の概略フローチャートである。 関連技術における視覚的画像処理技術を実現するためのシステムのワークフローチャートである。 本開示の実施例における視覚的画像処理技術を実現するためのシステムのワークフローチャートである。 本開示の例示的な実施例に係る画像処理用コマンドの生成方法の概略フローチャートである。 本開示の別の例示的な実施例に係る画像処理用コマンドの生成方法の概略フローチャートである。 本開示の実施例の別の総体的原理図である。 本開示の例示的な実施例に係る画像処理装置の概略構成図である。 本開示の別の例示的な実施例に係る画像処理装置の概略構成図である。 本開示の例示的な実施例に係る画像処理用コマンドの生成装置の概略構成図である。 本開示の別の例示的な実施例に係る画像処理用コマンドの生成装置の概略構成図である。 本開示の例示的な実施例に係る電子機器の構成図である。
以下、添付図面を参照しながら、本開示の例示的な実施例について詳細に説明する。説明された実施例は本開示の実施例の一部に過ぎず、本開示のすべての実施例ではなく、本開示は例示的な実施例に限定されるものではない。
なお、特に特定的な説明がない限り、これらの実施例に記載された部材およびステップの相対配置、数式および値は本開示の範囲を限定するものではない。
当業者であれば、本開示の実施例における「第１」、「第２」などの用語は、異なるステップ、機器やモジュールなどを区別するために用いられるのであり、いかなる特定の技術的意味を表すものでもなく、それらの間の必然的な論理的順序を表すものでもないことを理解できる。「複数」とは、２つ以上を意味し、「少なくとも１つ」とは、１つ、２つまたは２つ以上を意味する。
本開示の実施例に言及されるいずれか１つの部材、データや構造は、明確な限定がないかまたは文脈において逆の示唆が与えられる場合、一般に、１つまたは複数と理解され得ることも理解されたい。
また、本開示において「および／または」という用語は、関連オブジェクトの関連関係を説明するためのものにすぎず、三種類の関係が存在することを表し、たとえば、Ａおよび／またはＢは、Ａのみが単独で存在する場合、ＡとＢとが同時に存在する場合、Ｂのみが単独で存在する場合との３つの場合を表すことができる。本開示において、符号「／」は、一般に、前後関連するオブジェクトが「または」の関係であることを示す。
本開示の各実施例に対する説明は、各実施例間の相違点を強調し、その同一または類似の点は互いに参照することができ、簡潔にするために、詳細な説明を省略したことも理解されたい。また、図面に示されている各部分の寸法は、説明の便宜上、実際の比例関係に従って描かれたものではない。
以下、少なくとも１つの例示的な実施例に対する説明は、実際には例示的なものに過ぎず、本開示およびその応用または使用に対するいかなる限定ではない。当業者に知られている技術、方法および機器について詳細な説明を行わないが、適切な場合、当該技術、方法および機器は明細書の一部と見なされ得る。
なお、以下の図面において、同様の符号および文字は同様の項目を表しており、ある項目が１つの図面において一旦定義されると、それ以降の図面においては更なる説明を要しない。
本開示の実施例は、多くの他の汎用または専用のコンピューティングシステム環境または構成と共に操作可能な端末機器、コンピュータシステム、サーバなどの電子機器に適用されることができる。端末機器、コンピュータシステム、サーバなどの電子機器と共に使用されるのに適した周知の端末機器、コンピューティングシステム、環境および／または構成の例として、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、シッククライアント、ハンドヘルドまたはラップトップ機器、マイクロプロセッサベースに基づくシステム、セットトップボックス、プログラム可能な家電機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステム、および上記いずれか１つのシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
端末機器、コンピュータシステム、サーバなどの電子機器は、コンピュータシステムによって実行されるコンピュータシステム実行可能なコマンド（プログラムモジュールなど）の一般的なコンテキストで記載されることができる。一般に、プログラムモジュールは、特定のタスクを実行するか、または特定の抽象データタイプを実現するルーチン、プログラム、目標プログラム、コンポーネント、論理、データ構造などを含むことができる。コンピュータシステム／サーバは、分散型クラウドコンピューティング環境において実施されることができ、タスクは、分散型クラウドコンピューティング環境において、通信ネットワークを介して接続された遠隔処理機器によって実行される。プログラムモジュールは、分散型クラウドコンピューティング環境において、記憶機器を含むローカルまたは遠隔コンピューティングシステムの記憶媒体上に配置されてもよい。
［出願の概要］
視覚的画像処理技術は、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）視覚的画像処理システムによって実現されることができ、当該システムによって実行される操作は、画像取得、画像信号処理（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＩＳＰ）、画像ピラミッド生成、全画像検出、ＲＯＩ処理、後処理、結果出力などを含むことができる。
全画像検出が終わると、特定のタスクに対するＲＯＩ画像が生成され、例えば、顔検出のタスクに対するＲＯＩ画像（全画像から検出された顔画像）、歩行者検出のタスクに対するＲＯＩ画像などが生成され、全画像検出により生成されたＲＯＩ画像は、ＲＯＩ処理が画像処理モデルによって実行されるように、画像処理モデルに提供される必要があり、ここで、画像処理モデルは、畳み込みニューラルネットワークモデル（ＣＮＮ）であることができる。
全画像検出により生成されたＲＯＩ画像は、システムの動作中に生成されるため、事前に位置及び寸法を予測することはできず、モデル設計者の設定により、画像処理モデルは、一般に入力される画像に対して要求（例えば、入力される画像に対する寸法の要求）があるため、全画像検出により生成されたＲＯＩ画像を当該寸法の要求と一致するように変倍する必要がある。具体的には、ＲＯＩ画像の変倍は、画像変倍モジュールまたはＲｅｓｉｚｅｒモジュールと称されるハードウェアモジュールによって実現されることができる。理論的に、画像変倍モジュールの入力寸法は、全画像検出により生成されたＲＯＩ画像の寸法であり、画像変倍モジュールの出力寸法は、画像処理モデルが入力される画像に対する寸法の要求と一致する。
なお、実際の状況では、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ －Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、グラフィックスプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）または特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）のうちのどれから構成されるＡＩ視覚的画像処理システムにおいても、画像変倍モジュールのハードウェアリソースは有限的であり、画像変倍モジュールの出力に限界があり、この場合、画像変倍モジュールは、一部のＲＯＩ画像に対しては変倍処理を行わず、エラープロンプトを出力するだけであり、これにより、視覚的画像処理技術に関連する後続のプロセスを正常的に実行できなくなる。
［例示的なシステム］
図１に示すように、本開示の実施例は、主に、コンパイル段階および動作段階との２つの段階を含む。コンパイル段階では、本開示の実施例に係る画像処理方法を実行するためのコマンドを生成するように、本開示の実施例に係る画像処理用コマンドの生成方法を実行することができ、動作段階では、画像変倍モジュールの出力に限界があるため、視覚的画像処理技術に関連する後続のプロセスが正常的に実行できなくなるという問題を解決するように、全画像検出によって取得された任意のＲＯＩ画像に対して、コンパイル段階で生成されたコマンドに基づいて、本開示の実施例に係る画像処理方法を実行することができる。
［例示的な方法］
図２は、本開示の例示的な実施例に係る画像処理方法の概略フローチャートである。図２に示す方法は、ステップ２０１、ステップ２０２、およびステップ２０３を含み、以下、各ステップについてそれぞれ説明する。
ステップ２０１：ＲＯＩ画像を取得した場合、画像処理モデルがサポートする第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて分割して複数の画像ブロックを取得し、第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法の各々が、いずれも画像変倍モジュールのハードウェア出力寸法とマッチングされるようにする。
ステップ２０１では、まず、全画像検出によってＲＯＩ画像を取得することができる。具体的には、図３の左側に示す全画像に対して検出を行うことにより、図３の高さ寸法がｈである画像を取得することができる。
ＲＯＩ画像を取得した後、画像処理モデルがサポートする第１の画像寸法、およびコンパイル段階で決定された第１の分割データを取得することができ、第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法の各々は、いずれも画像変倍モジュールのハードウェア出力寸法とマッチングする。
なお、画像処理モデルがサポートする第１の画像寸法は、画像処理モデルの入力画像に対する寸法要求を表し、画像処理モデルがサポートする第１の画像寸法は、２４４×２４４であることができる。画像変倍モジュールのハードウェア出力寸法は、画像変倍モジュールによって出力可能な最大画像寸法を表し、画像変倍モジュールのハードウェア出力寸法は、１２８×７２であることができる。いずれか１つの画像寸法が画像変倍モジュールのハードウェア出力寸法とマッチングするということは、当該画像寸法が画像変倍モジュールのハードウェア出力寸法よりも小さいこと（たとえば、画像変倍モジュールのハードウェア出力寸法が１２８×７２であることに対し、当該画像寸法が７６×７６であること）を意味する。
具体的な例において、第１の画像寸法は、図３の右側に示す高さ寸法がＨの画像の画像寸法であり、第１の分割データは、第１の画像寸法を、ＲＯＩ０ ″の画像寸法、ＲＯＩ１ ″の画像寸法、ＲＯＩ２ ″の画像寸法、ＲＯＩ３ ″の画像寸法、ＲＯＩ４ ″の画像寸法、ＲＯＩ５ ″の画像寸法と６つの画像寸法に分割するために用いられる。画像変倍モジュールのハードウェア出力寸法が１２８×７２である場合、ＲＯＩ０ ″からＲＯＩ５ ″の画像寸法は、いずれも１２８×７２よりも小さい必要がある。
第１の画像寸法および第１の分割データを取得した後、第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて、分割オブジェクトと、分割オブジェクトをどのように分割するかとを決定し、この決定結果に基づいて実際の分割を行って複数の画像ブロックを取得することができる。第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法がＮ個の画像寸法であると、実際の分割によって取得された複数の画像ブロックは、Ｎ個の画像ブロックであることができ、Ｎ個の画像寸法とＮ個の画像ブロックとの間は、１対１に対応することができる。
ステップ２０２：複数の画像ブロックの各々に対して画像変倍を行って複数の変倍画像ブロックを取得し、複数の変倍画像ブロックの複数の画像寸法と第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法とが、１対１に対応して一致されるようにする。
ステップ２０２では、画像変倍モジュールを呼び出して、複数の画像ブロックの各々に対して画像変倍を行うことができ、変倍時、いずれか１つの画像ブロックの変倍によって取得された変倍画像ブロックの画像寸法と、第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法とが、当該画像ブロックと対応性を有する画像寸法と一致するように確保する必要がある。
再度図３を例にすると、第１の分割データは、第１の画像寸法をＲＯＩ０ ″からＲＯＩ５ ″の６つの画像寸法に分割するために用いられ、ステップ２０１で分割して取得された複数の画像ブロックは、ＲＯＩ００ ″からＲＯＩ０５ ″であり、画像変倍モジュールを呼び出して、ＲＯＩ００ ″をＲＯＩ０ ″の画像寸法に、ＲＯＩ０１ ″をＲＯＩ１ ″の画像寸法に、ＲＯＩ０２ ″をＲＯＩ２ ″の画像寸法に、ＲＯＩ０３ ″をＲＯＩ３ ″の画像寸法に、ＲＯＩ０４ ″をＲＯＩ４ ″の画像寸法に、およびＲＯＩ０５ ″をＲＯＩ５ ″の画像寸法に変倍することができ、それにより、ＲＯＩ００ ″からＲＯＩ０５ ″の各々に対応する変倍画像ブロックを取得し、このように、合計６つの変倍画像ブロックを取得ることができる。
ステップ２０３：複数の変倍画像ブロックを画像処理モデルに順次入力する。
ステップ２０３では、複数の変倍画像ブロックを画像処理モデルに順次入力することができ、画像処理モデルは、各変倍画像ブロックをそれぞれ処理して、各変倍画像ブロックの処理結果を取得することができ、例えば、顔検出処理または歩行者検出処理などを行うことができ、各変倍画像ブロックの処理結果は、最終的な処理結果を構成することができる。複数の変倍画像ブロックの複数の画像寸法は、第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法と１対１に対応して一致するため、最終的な処理結果は、画像処理モデルがある第１の画像寸法の画像を処理した結果に相当し、最終的な処理結果は、後続の視覚的画像処理技術に関連する他のプロセスに使用されることができる。
本開示の実施例では、ＲＯＩ画像を取得した場合、画像処理モデルがサポートする第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて分割して複数の画像ブロックを取得することができる。その後、複数の画像ブロックの各々に対して画像変倍をそれぞれ行うことにより、複数の変倍画像ブロックを取得することができる。複数の変倍画像ブロックの複数の画像寸法は、第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法と１対１に対応して一致するため、複数の変倍画像ブロックの各々の画像寸法は、いずれもハードウェア出力寸法とマッチングし、各変倍画像ブロックは、いずれも画像変倍モジュールから正常的に出力されることができ、その後、複数の変倍画像ブロックを画像処理モデルに正常的に順次入力させればよい。よって、本開示の実施例では、画像変倍モジュールの出力に限界があっても、第１の分割データの利用に画像分割操作及び画像変倍操作を組み合わせて、画像変倍モジュールから複数の変倍画像ブロックを正常的に出力させ、複数の変倍画像ブロックを画像処理モデルに提供して正常的な処理を行うことができることにより、視覚的画像処理技術に関する後続のフローの正常的な実行を確保することができる。
図４に示すように、上記図２に示す実施例に加えて、ステップ２０１は、ステップ２０１１、ステップ２０２２およびステップ２０２３を含む。
ステップ２０１１：取得されたＲＯＩ画像が指定の画像アライメント条件を満たす場合、取得されたＲＯＩ画像を分割対象のＲＯＩ画像とし、そうでない場合、取得されたＲＯＩ画像に基づいて画像調整を行って、指定の画像アライメント条件を満たす分割対象のＲＯＩ画像を取得する。
ここで、ＲＯＩ画像を取得した後、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすか否かを決定することができ、以下、具体的な決定方法について例を挙げて紹介する。
具体的な一実施形態では、当該方法は、
画像変倍モジュールによって指定された、プリセット方向の寸法の値の約数と、第１の画像寸法におけるプリセット方向の寸法の値とに基づいて決定される第１の目標値を取得するステップと、
取得されたＲＯＩ画像のプリセット方向の寸法の値が第１の目標値の整数倍であるか否かを判断して第１の判断結果を取得するステップと、
第１の判断結果に基づいて、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすか否かを決定するステップと、をさらに含む。
なお、第１の目標値は、コンパイル段階で、画像変倍モジュールによって指定された、プリセット方向の寸法の値の約数と、第１の画像寸法におけるプリセット方向の寸法の値とに基づいて決定される値であることができ、当該値は、ユーザアライメント要求（区別の便宜上、以下、それを第１のユーザアライメント要求と称し、第１のユーザアライメント要求を寸法アライメント要求と見なすことができる）を表すために用いられ、ここで、ユーザアライメントは、ｕｓｅｒ＿ａｌｉｇｎｍｅｎｔと称することもできる。第１の目標値の具体的な決定プロセスは、以下のコンパイル段階での対応する部分の説明を参照すればよく、ここでは詳しく説明しない。
ここで、プリセット方向には、幅方向および高さ方向のうちの少なくとも１つが含まれることができ、幅方向および高さ方向に対する演算処理プロセスは、類似しているため、本開示の実施例では、プリセット方向が高さ方向である場合についてのみ説明し、この場合、プリセット方向の寸法は、具体的には、高さ寸法である。
このような実施形態では、ランタイムアプリケーションプログラムインタフェース（Ｒｕｎｔｉｍｅ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ、Ｒｕｎｔｉｍｅ ＡＰＩ）を呼び出してコンパイル段階で決定された第１の目標値を取得し、取得されたＲＯＩ画像の高さ寸法が第１の目標値の整数倍であるか否かを判断して第１の判断結果を取得することができる。第１の判断結果が、取得されたＲＯＩ画像の高さ寸法が第１の目標値の整数倍であることを特徴付ける場合、取得されたＲＯＩ画像が第１のユーザアライメント要求を満たすと見なすことができ、実際に分割時、取得されたＲＯＩ画像が正確に分割されるため、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすと判断することができ、そうでない場合、取得されたＲＯＩ画像が指定の画像アライメント条件を満たさないと判断することができる。
このような実施形態では、第１の目標値に基づいて、取得されたＲＯＩ画像が第１のユーザアライメント条件を満たすか否かを正確に評価することができ、それにより、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすか否かを確実に決定することができる。
具体的な別の実施形態では、当該方法は、
取得されたＲＯＩ画像上のプリセット位置の座標を取得するステップと、
プリセット位置の座標が画像変倍モジュールによって指定された座標属性を所持しているか否かを判断して第２の判断結果を取得するステップと、
第２の判断結果に基づいて、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすか否かを決定するステップと、をさらに含む。
なお、画像変倍モジュールによって指定された座標属性は、別のユーザアライメント要求（区別の便宜上、以下、それを第２のユーザアライメント要求と称し、第２のユーザアライメント要求は、寸法アライメント要求と見なすことができる）を表すことができる。選択的に、画像変倍モジュールによって指定される座標属性は、プリセット位置の座標が偶数であることができ、ここで、プリセット位置は、左上隅位置、右上隅位置、または他の位置であることができる。
このような実施形態では、取得されたＲＯＩ画像上のプリセット位置の座標を取得した後、プリセット位置の座標が画像変倍モジュールによって指定された座標属性を所持しているか否かを判断して第２の判断結果を取得することができる。第２の判断結果が、プリセット位置の座標が画像変倍モジュールによって指定された座標属性を所持していることを特徴付ける場合、取得されたＲＯＩ画像が第２のユーザアライメント条件を満たすと見なすことができ、取得されたＲＯＩ画像が画像変倍モジュールによって正常的に処理されるため、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすと判断することができ、そうでない場合、取得されたＲＯＩ画像が指定の画像アライメント条件を満たさないと判断することができる。
このような実施形態では、取得されたＲＯＩ画像上のプリセット位置の座標に基づいて、取得されたＲＯＩ画像が第２のユーザアライメント条件を満たすか否かを正確に評価することができ、それにより、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすか否かを確実に決定することができる。
なお、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすか否かを決定する上記２つの実施形態は、互いに組み合わされてもよく、たとえば、取得されたＲＯＩ画像の高さ寸法が第１の目標値の整数倍でありかつ取得されたＲＯＩ画像が画像変倍モジュールによって指定された座標属性を所持している場合、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすと決定することができ、そうでない場合、取得されたＲＯＩ画像が指定の画像アライメント条件を満たさないと決定することができる。
取得されたＲＯＩ画像が指定の画像アライメント条件を満たすと決定した後、決定結果が「はい」である場合、取得されたＲＯＩ画像を分割対象のＲＯＩ画像とすることができ、決定結果が「いいえ」である場合、取得されたＲＯＩ画像を基に画像調整を行って、指定の画像アライメント条件を満たす分割対象のＲＯＩ画像を取得することができる。決定結果が「いいえ」である場合については、取得されたＲＯＩ画像の全画像での位置に対して、全画像から新たなＲＯＩ画像を取って分割対象のＲＯＩ画像としてもよいし、取得されたＲＯＩ画像を少々トリミングし、トリミングされたＲＯＩ画像を分割対象のＲＯＩ画像としてもよい。
ステップ２０１２：第１の画像寸法、第１の分割データおよび分割対象のＲＯＩ画像の第２の画像寸法に基づいて、第２の分割データを決定する。
具体的な一実施形態では、ステップ２０１２は、
第１の分割データに基づいて、第１の画像寸法を有するテンプレート画像のプリセット方向での各分割位置を決定するステップと、
分割対象のＲＯＩ画像の第２の画像寸法におけるプリセット方向の寸法と、第１の画像寸法におけるプリセット方向の寸法との比例関係を決定するステップと、
比例関係と、テンプレート画像のプリセット方向での各分割位置とに基づいて、分割対象のＲＯＩ画像のプリセット方向での各分割位置を決定するステップと、
分割対象のＲＯＩ画像のプリセット方向での各分割位置に基づいて、第２の分割データを決定するステップと、を含む。
ここで、第１の分割データには、高さ方向での各分割位置の座標情報が含まれてもよく、および／または、第１の分割データには、高さ方向に分割された各寸法区間の比例関係（たとえば、３：３：２、３：４：３など）が含まれてもよい。このように、第１の分割データに基づいて、第１の画像寸法を有するテンプレート画像の高さ方向での各分割位置を容易かつ確実に決定することができる。
ここで、分割対象のＲＯＩ画像の高さ寸法と、第１の画像寸法における高さ寸法との比例関係を決定することもできる。分割対象のＲＯＩ画像は、図３の左側に示す高さ寸法がｈである画像であり、第１の画像寸法を有するテンプレート画像は、図３の右側に示す高さ寸法がＨである画像であると仮定すると、決定された比例関係は、ｈ／Ｈとなる。
テンプレート画像の高さ方向での各分割位置、および分割対象のＲＯＩ画像の高さ寸法と第１の画像寸法における高さ寸法との比例関係を決定した後、決定された比例関係に従って、テンプレート画像の高さ方向での各分割位置を分割対象のＲＯＩ画像にマッピングして、分割対象のＲＯＩ画像の高さ方向におけるマッピング位置を取得し、取得された各マッピング位置をそれぞれ分割対象のＲＯＩ画像の高さ方向での分割位置とすることができる。
再度図３を例にすると、テンプレート画像の高さ方向での分割位置は２つであり、それぞれ位置Ｐ１１および位置Ｐ１２であると、位置Ｐ１１を分割対象のＲＯＩ画像にマッピングし、対応するマッピング位置が位置Ｐ２１であり、位置Ｐ１２を分割対象のＲＯＩ画像にマッピングし、対応するマッピング位置が位置Ｐ２２であることができる。なお、位置Ｐ１１および位置Ｐ１２によって、ＨがＨ１、Ｈ２、Ｈ－Ｈ１－Ｈ２という３つの区間に分割され、位置Ｐ１１および位置Ｐ１２によって、ｈがｈ１、ｈ２、ｈ－ｈ１－ｈ２という３つの区間に分割され、比例関係に従ってマッピングするため、ｈ１とｈ２は、ｈ１＝Ｈ１ｈ／Ｈ、ｈ２＝Ｈ２ｈ／Ｈを満たす。
分割対象のＲＯＩ画像の高さ方向での各分割位置を決定した後、これに基づいて第２の分割データを決定することができる。選択的に、第２の分割データには、各分割位置の分割対象のＲＯＩ画像の高さ方向での分割位置座標情報が含まれてもよく、および／または、第２の分割データには、分割対象のＲＯＩ画像の高さ方向に分割された各寸法区間の比例関係（たとえば、ｈ１：ｈ２：ｈ－ｈ１－ｈ２）が含まれてもよい。
このような実施形態では、第１の分割データに基づいて、第１の画像寸法を有するテンプレート画像上の分割位置を正確かつ確実に特定することができ、さらに分割対象のＲＯＩ画像と第１の画像寸法との比例関係と組み合わせて、分割対象のＲＯＩ画像上の分割位置を正確かつ確実に特定し、それに基づいて第２の分割データを取得することができる。
ステップ２０１３：第２の分割データに従って、分割対象のＲＯＩ画像を分割して複数の画像ブロックを取得する。
分割対象のＲＯＩ画像の高さ方向での各分割位置は、第２の分割データと密接に関連しているため、第２の分割データに従って、高さ方向での各分割位置で分割することができ、同様の方式に従って、幅方向についても分割することができるため、高さ方向および幅方向の分割に基づいて、複数の画像ブロックを取得することができる。
本開示の実施例では、まず、取得されたＲＯＩ画像に基づいて、指定の画像アライメント条件を満たす分割対象のＲＯＩ画像を取得し、その後どのように分割するかを指示するための第２の分割データを決定し、その後、第２の分割データに従って、分割対象のＲＯＩ画像を実際に分割することができ、このように、分割対象は、ユーザアライメント条件を満たすものであり、実際に分割する際に利用される分割データは、分割対象に適合しているため、分割操作が正確かつ効率的に実行されることを確保することができる。
なお、関連技術では、図５Ａに示すように、ＡＩ視覚的画像処理システムのワークフローは、次のとおりである。まず、画像収集、ＩＳＰ、画像ピラミッドの生成および全画像検出を順次行って特定のタスクに対するＲＯＩ画像を生成し、次に、全画像検出により生成されたＲＯＩ画像を画像変倍モジュールに提供する前に、全画像検出により生成されたＲＯＩ画像を画像変倍モジュールで変倍して取得される変倍画像（ＲＯＩ′で示されると仮定する）が限界を満たすか否かを予測し、限界を満たす場合、全画像検出により生成されたＲＯＩ画像を画像変倍モジュールに送信して変倍操作を実行してＲＯＩ′を取得し、画像処理モデルがＲＯＩ′の処理を行い、その後、後処理および結果出力などの操作が実行され、限界を満たさない場合、エラーメッセージ、告知信号または警告信号等のエラープロンプトを出力する。関連技術において、画像変倍モジュールの出力に限界がある状況に対し、プロンプト信号を出力するだけであり、効果的な解決手段を採用していない。
関連技術に比べ、本開示の実施例では、図５Ｂに示すように、ＡＩ視覚的画像処理システムのワークフローには、相違点があり、具体的には、次のとおりである。ＲＯＩ′が限界を満たさないと予測された場合、アライメント処理（上述したユーザアライメント条件を満たすように）、および分割処理（たとえば、画像変倍モジュールが出力可能な寸法に複数個分割する）を実行することができる。従って、本開示の実施例では、画像変倍モジュールの出力に限界がある場合に、視覚的画像処理技術に関する後続のフローの正常的な実行を確保することができる。
本開示の実施例に係るいずれか１つの画像処理方法は、データ処理能力を所持している任意の適切な機器によって実行されることができ、端末装置およびサーバなどを含むが、これらに限定されない。または、本開示の実施例に係るいずれか１つの画像処理方法は、プロセッサによって実行されることができ、たとえば、プロセッサは、メモリに記憶されている対応するコマンドを呼び出して、本開示の実施例において言及されるいずれか１つの画像処理方法を実行する。以下では、その説明を省略する。
図６は、本開示の一例示的な実施例に係る画像処理用コマンドの生成方法の概略フローチャートである。図６に示す方法は、ステップ６０１、ステップ６０２、およびステップ６０３を含み、以下、各ステップについてそれぞれ説明する。
ステップ６０１：画像変倍モジュールのハードウェア出力寸法が、画像処理モデルがサポートする第１の画像寸法とマッチングしていない場合、ハードウェア出力寸法および第１の画像寸法に基づいて、第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定し、分割方式情報は、テンプレート画像を複数の画像ブロックに分割するために用いられ、複数の画像ブロックの各画像寸法が、いずれもハードウェア出力寸法とマッチングされるようにする。
なお、画像変倍モジュールのハードウェア出力寸法は、画像変倍モジュールによって出力可能な最大の画像寸法を表し、画像処理モデルがサポートする第１の画像寸法は、画像処理モデルの入力画像に対する寸法要求を表すことができ、画像変倍モジュールのハードウェア出力寸法と画像処理モデルがサポートする第１の画像寸法とがマッチングしていないということは、画像変倍モジュールのハードウェア出力寸法が画像処理モデルがサポートする第１の画像寸よりも小さいこと（たとえば、画像変倍モジュールのハードウェア出力寸法が１２８×７２であることに対し、画像処理モデルがサポートする第１の画像寸法が２４４×２４４であること）を意味し、いずれか１つの画像寸法と画像変倍モジュールのハードウェア出力寸法とがマッチングするということは、当該画像寸法が画像変倍モジュールのハードウェア出力寸法よりも小さいことを意味する。
画像変倍モジュールのハードウェア出力寸法と、画像処理モデルがサポートする第１の画像寸法とがマッチングしていていない場合、ハードウェア出力寸法および第１の画像寸法に基づいて、第１の画像寸法を有するテンプレート画像（たとえば図３の右側に示す高さ寸法Ｈの画像）をどのように分割するかを決定し、分割して取得された複数の画像ブロックの各画像寸法がいずれも画像拡大縮小モジュールのハードウェア出力寸法とマッチングすることを確保することができ、それにより対応する分割方式情報を取得する。
選択的に、分割方式情報には、幅方向の各分割位置座標情報と高さ方向での各分割位置座標情報とが含まれてもよく、および／または、分割方式情報には、幅方向に分割された各寸法区間の比例関係、および高さ方向に分割された各寸法区間の比例関係が含まれてもよい。
選択的に、分割方式情報を決定する際に、画像変倍モジュールのハードウェア出力寸法および画像処理モデルがサポートする第１の画像寸法に加えて、テンプレート画像を使用する特定のコマンドタイプ、テンプレート画像のメモリ内の記憶位置、実行時にコンパイラのメモリに対する割り当ておよび管理規則などの他の因子を参照してもよい。
ステップ６０２：分割方式情報に基づいて、第１の分割データを取得する。
ここで、分割方式情報に含まれているすべての情報のデータをそのまま第１の分割データとしてもよく、或いは、分割方式情報から一部の情報を抽出し、抽出された一部の情報を含むデータを第１の分割データとしてもよく、たとえば、分割方式情報に分割位置座標情報及び寸法区間の比例関係が同時に含まれている場合、分割方式情報から分割位置座標情報を抽出し、抽出された分割位置座標情報を含むデータを第１の分割データとしてもよい。
ステップ６０３：第１の分割データに基づいて、画像処理方法（具体的には、上記実施例に開示の画像処理方法）を実行するための画像処理用コマンドを生成する。
なお、ステップ６０１～ステップ６０３は、いずれもコンパイラによって実行されることができる。
本開示の実施例では、画像変倍モジュールのハードウェア出力寸法が、画像処理モデルがサポートする第１の画像寸法とマッチングしていない場合、ハードウェア出力寸法および第１の画像寸法に基づいて、第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定し、分割方式情報に基づいて第１の分割データを取得し、その後、第１の分割データに基づいて、上記画像処理方法を実行するための画像処理用コマンドを生成することができる。従って、画像変倍モジュールの出力に限界があっても、上記画像処理方法を実行することにより、第１の分割データ利用に画像分割操作及び画像変倍操作を組み合わせて、視覚的画像処理技術に関する後続のフローの正常的な実行を確保することができる。
図７示すように、上記図６に示す実施例に加えて、ステップ６０１は、ステップ６０１１、ステップ６０１２およびステップ６０１３を含む。
ステップ６０１１：画像変倍モジュールがプリセット方向での寸法の値の約数を指定した場合、約数と第１の画像寸法におけるプリセット方向の寸法の値との積である第１の積を計算する。
ここで、プリセット方向には、幅方向および高さ方向のうち少なくとも１つが含まれることができ、幅方向および高さ方向に対する演算処理プロセスは、類似しているため、本開示の実施例では、プリセット方向が高さ方向である場合のみについて説明し、この場合、プリセット方向での寸法は、具体的に高さ寸法である。
ここで、画像変倍モジュールが指定する高さ寸法の約数は、ｃで表されることができ、第１の画像寸法の値は、図３におけるＨで表されることができ、第１の積は、ｃＨで表されることができ、ここで、ｃは、画像変倍モジュールのハードウェアアライメント要求と見なすことができる。
ステップ６０１２：第１の積に基づいて、第１の画像寸法を有するテンプレート画像上の各分割位置を決定する。
具体的な一実施形態では、
ステップ６０１２は、
第１の目標値と第２の目標値との積と第１の積とがプリセット関係を満たすように、第１の積に基づいて、第１の目標値および第２の目標値を決定するステップと、
テンプレート画像のプリセット方向において、決定された各分割位置により分割される各寸法区間の寸法の値が、いずれも第２の目標値の整数倍となるように、第２の目標値に基づいて、第１の画像寸法を有するテンプレート画像上の各分割位置を決定するステップと、を含む。
当該方法は、
第１の目標値を記録するステップをさらに含む。
なお、いずれか１つの積と第１の積とがプリセット関係を満たすということは、いずれか１つの積と第１の積とが等しいことを意味する。
このような実施形態では、第１の積に基づいて第１の目標積および第２の目標積を決定した後、第１の目標データを記録することができ、これにより、動作段階で、記録された第１の目標値を取得し、第１の目標データに基づいて指定の画像アライメント条件関連の判断を行うことができる。また、第２の目標値に基づいて、第１の画像寸法を有するテンプレート画像上の各分割位置を決定し、決定の際に、テンプレート画像の高さ方向において、決定された各分割位置により分割された各寸法区間の寸法の値がいずれも第２の目標値の整数倍であることを確保する必要があり、たとえば、図３において、Ｈ１、Ｈ２、Ｈ－Ｈ１－Ｈ２は、いずれも第２の目標値の整数倍であることを確保する必要がある。
図３が以下の条件を満たすと仮定すると、
（１）Ｈ１およびＨ２がＡアライメントを満たす場合、Ｈ１＝ｎ１Ａ、Ｈ２＝ｎ２Ａ、すなわちＨ１およびＨ２が両方ともＡの整数倍であり、
（２）ｈがａアライメントを満たす場合、ｈ＝ｎ３ａ、すなわちｈはａの整数倍であり、
（３）ｈ１が少なくとも画像変倍モジュールのハードウェアアライメント要求を満たす場合、ｈ１＝ｎ４ｃ、すなわちｈ１はｃの整数倍であり、
（４）画像変倍モジュールは、左側に示す高さ寸法ｈの画像に対して等比変倍を行う。
このように、
が得られ、
さらに、
のように簡略化され、
ｎ１およびｎ３は、制御不能な正の整数であるため、ｈ１がｃアライメントを満たすことを確保するためには、ｎ４が正の整数であることを確保する必要があり、したがって、
が正の整数であることを確保しなければならず、アライメント要求が最も厳しい場合、ｎ１＝ｎ３＝ｎ４＝１であり、このようにすると、上記式をさらに簡略化してａＡ＝ｃＨを取得することができる。
なお、Ａは、コンパイラ分割点（分割位置に対応する点）の寸法アライメント値と見なすことができ、ａは、画像変倍モジュールに提供されるＲＯＩ画像（たとえば、上記分割対象のＲＯＩ画像）の寸法アライメント値と見なすことができ、上記式の逆推によって分かるように、コンパイラ分割点の寸法アライメント値Ａとユーザが画像変倍モジュールに提供するＲＯＩ画像の寸法アライメント値ａとの積が、画像変倍モジュールのハードウェアアライメント要求ｃと画像処理モデルがサポートする第１の画像寸法における対応する方向の寸法（ここで、具体的には高さ方向の寸法Ｈ）との積と等しい（当該積はｃＨで示され、当該積は上記の第１の積に相当する）と、テンプレート画像上の分割位置が分割対象のＲＯＩ画像にマッピングされたときに、分割対象のＲＯＩ画像上の分割位置が寸法アライメント要求を満たす（具体的にはａアライメントを満たす）ことを確保することができ、これにより、分割対象のＲＯＩ画像がａアライメントを満たすと、分割対象のＲＯＩ画像を正確かつ効率的に計算することができる。
これに鑑みて、ａを第１の目標値とし、Ａを第２の目標値とすることにより、動作段階で、分割対象のＲＯＩ画像が正確に分割され、分割された各画像ブロックが寸法アライメント要求を満たすこと、すなわち、分割された各画像ブロックの高さ寸法がいずれも第１の目標値とするａの整数倍であることを確保することができる。
ステップ６０１３：決定された各分割位置に基づいて、第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定する。
各分割位置が決定された後、対応する分割位置座標情報を取得し、取得された分割位置座標情報を含む分割方式情報を取得することができる。また、各寸法区間の比例関係を取得し、取得された比例関係を含む分割方式情報を取得することも勿論である。
本開示の実施例では、画像変倍モジュールがプリセット方向の寸法の値の約数を指定した場合、第１の積（すなわち、上記ｃＨ）の計算を行い、第１の積をアドバイス情報として、適切な第１の目標値および第２の目標値を決定することで、動作段階で画像の分割が正確に行えることを保するとともに、分割結果が寸法アライメント要求を満たすことを確保することができる。
選択的な例では、第１の積に基づいて、第１の目標値および第２の目標値を決定するステップは、
少なくとも１つの基準パラメータセットにおける各基準パラメータセットがいずれも２つの値を含み、いずれか１つの基準パラメータセットにおける２つの値の積と第１の積とがプリセット関係を満たすように、第１の積に基づいて、少なくとも１つの基準パラメータセットを決定するステップと、
少なくとも１つの基準パラメータセットから第１の基準パラメータセットを選択するステップと、
第１の基準パラメータセットにおける１つの値を第１の目標値とし、第１の基準パラメータセットにおける別の値を第２の目標値とするステップと、を含む。
ここで、まず、少なくとも１つの基準パラメータセットを決定することができ、各基準パラメータセットはいずれも２つの値を含み、いずれか１つの基準パラメータセットにおける２つの値の積と第１の積とが等しい。選択的に、少なくとも１つの基準パラメータセットは、第１の積を因数分解することによって取得される。
続いて、少なくとも１つの基準パラメータセットから第１の基準パラメータセットを選択することができる。選択的に、設定ルールに従って、少なくとも１つの基準パラメータセットから１つの基準パラメータセットを選択して第１の基準パラメータセットとすることができ、この場合、少なくとも１つの基準パラメータセットから第１の基準パラメータセットを選択するステップは、
少なくとも１つの基準パラメータセットにおける各基準パラメータセットの合計アライメントコスト値をそれぞれ計算するステップと、
対応する合計アライメントコスト値の最も小さい基準パラメータセットを選択して第１の基準パラメータセットとするステップと、を含む。
ここで、各基準パラメータセットの合計アライメントコスト値をそれぞれ計算することができ、合計アライメントコスト値は、コンパイラのアライメントコスト値およびユーザのアライメントコスト値を含むことができる。次に、各基準パラメータセットの合計アライメントコスト値の大きさを比較することで、対応する合計アライメントコスト値の最も小さい基準パラメータセットを選出することができ、その後、選出された基準パラメータセットを第１の基準パラメータセットとすればよい。
本実施形態では、合計アライメントコスト値の最も小さい基準パラメータセットを第１の基準パラメータセットとすることにより、コンパイラとユーザとの両方が対応するアライメント要求を満たす場合にコストを最小にすることを確保することができる。
第１の基準パラメータセットを選択する実施形態は、これに限定されず、たとえば、第少なくとも１つの基準パラメータセットから１つの基準パラメータセットをランダムに選択して１の基準パラメータセットとすることも勿論である。
第１の基準パラメータセットを選択した後、第１の目標値および第２の目標値を容易に決定することができる。第１の基準パラメータセットは、少なくとも１つの基準パラメータセットから選択され、少なくとも１つの基準パラメータセットは、積に基づいて決定されるため、コンパイラおよびユーザの両方が対応するアライメント要求を満たすことを確保することができる。
選択的な一例では、少なくとも１つの基準パラメータセットにおける各基準パラメータセットの合計アライメントコスト値をそれぞれ計算するステップは、
少なくとも１つの基準パラメータセットにおけるいずれか１つに含まれる２つの値のうちの大きい値に基づいて、テンプレート画像のプリセット方向での各分割位置を決定し、各分割位置のアライメントコスト値を計算するステップと、
計算によって取得された各アライメントコスト値の合計を計算して、いずれか１つの基準パラメータセットの合計アライメントコスト値を取得するステップと、を含む。
ここで、少なくとも１つの基準パラメータセットにおけるいずれか１つの基準パラメータセット（基準パラメータセットＳと仮定する）に対し、先にそれに含まれている２つの値のうちの大きい値（Ａ′と仮定する）を決定することができ、次に、Ａ′を利用してテンプレート画像の高さ方向での各分割位置を決定することができ、決定の際に、テンプレート画像の高さ方向において、決定された各分割位置により分割された各寸法区間の寸法の値がいずれもＡ′の整数倍であることを確保する必要があり、その後、テンプレート画像の高さ方向での各分割位置のアライメントコスト値を計算することができる。
具体的な一実施形態では、各分割位置のアライメントコスト値を計算するステップは、
いずれか１つの分割位置の座標におけるプリセット方向の座標を取得するステップと、
取得した座標といずれか１つの基準パラメータセットに含まれている２つの値のうちの大きい値との余り結果を計算するステップと、
第１の積といずれか１つの基準パラメータセットに含まれている２つの値のうちの大きい値との比率を計算するステップと、
比率とプリセット値との間の差分値を計算するステップと、
プリセット調整因子に基づいて、余り結果および差分値に対して加重合計を行って、いずれか１つの分割位置のアライメントコスト値を取得するステップと、を含む。
ここで、プリセット値は、１、２、３、またはその他の値であってもよく、プリセット調整因子は、ｐで示され得る。
引続き、いずれか１つの基準パラメータセットが基準パラメータセットＳであり、いずれか１つの基準パラメータセットに含まれている２つの値のうちの大きい値がＡ′である場合を例とし、Ａ′を用いて決定されたテンプレート画像の高さ方向において、ある分割位置の座標における高さ方向の座標がｙであると仮定すると、ｙとＡ′との余り結果を計算することができ、余り結果は、ｒｏｉ．ｙ％Ａ′で示され得る。また、第１の積ｃＨとＡ′との比率を計算し、比率とプリセット値（１と仮定する）との差分値を計算することができ、差分値が
で示され得る。その後、プリセット調整因子ｐに基づいて、余り結果ｒｏｉ．ｙ％Ａ′および差分値
に対して加重合計を行うことができ、具体的には、加重合計を行う時に、ｐを余り結果ｒｏｉ．ｙ％Ａ′の重みとし、ｐ－１を差分値
の重みとして、ある分割位置のアライメントコスト値を取得することができ、当該分割位置のアライメントコスト値は、ｆ（Ａ′）で示され得、当該分割位置のアライメントコスト値は、コスト関数
を用いて計算して取得することができる。
なお、上記コスト関数において、「＋」の前の演算項は、コンパイラのアライメントコスト値であり、「＋」の後の演算項は、理論上最悪の場合のユーザのアライメントコスト値であり、上記コスト関数を利用して、単一の分割位置のアライメントコスト値を正確かつ確実に決定することができる。
Ａ′を用いてテンプレート画像の高さ方向でのＧ個の分割位置を決定したと仮定すると、上記方式に従って、Ｇ個の分割位置の各分割位置のアライメントコスト値をそれぞれ計算して、Ｇ個のアライメントコスト値を取得することができ、その後、Ｇ個のアライメントコスト値の合計を計算し、当該合計を基準パラメータセットＳの合計アライメントコスト値とすることができる。なお、後続的に、各基準パラメータセットの合計アライメントコスト値を比較することができ、基準パラメータセットＳの合計アライメントコスト値が最小である場合、基準パラメータセットＳを第１の基準パラメータセットとし、この場合、Ａ′は、上記第２の目標値またはＡであり、
は、上記第２の目標値またはａであることができる。
本開示の実施例では、アライメントコスト値の合計を求めることにより、各基準パラメータセットの合計アライメントコスト値を容易かつ確実に取得することができ、それにより、合理的な第１の目標値と第２の目標値とを決定するに寄与する。
なお、コンパイラがアライメントのために過多のコストを払わないように、ヒューリスティック手法を使用して適切なＡを検索する試みも可能である。たとえば、４という値から始めて、順番に試み、それに基づいてテンプレート画像を分割する際に、コンパイラおよびユーザの両方が対応するアラインメント要求を満たすか否かを決定し、満たす場合、当該値を基に、８、１６、３２などと倍にして、比較的大きい値が対応するアラインメント要求を満たすことができるか否かを試み続け、３２以下でかつアラインメント要求を満たすことができる最大値を検索することができる。
具体的な一例では、画像処理モデルがサポートする第１の画像寸法が６６×６８であり、すなわち幅寸法が６６であり、高さ寸法が６８であり、一方、画像変倍モジュールは、入力画像の左上隅座標、高さ寸法、および幅寸法のすべてが偶数であることを要求し、分割の際に、コンパイラ分割点の寸法アライメント値Ａ、および画像変倍モジュールに提供されるＲＯＩ画像の寸法アライメント値ａは、ａＡ＝２＊６６＝１３２を満たすべきである。
コンパイラが２（すなわち、Ａの値＝２）アライメントを満たす場合、ユーザは、６６（すなわち、ａ＝６６）アライメントを満たす必要があり、コンパイラが４アライメントを満たす場合、ユーザは、３３アライメントを満たす必要があり、コンパイラが１２アライメントを満たす場合、ユーザは、１１アライメントを満たす必要があることが容易に分かる。選択的に、ヒューリスティック手法を使用して適切なＡを検索する場合、Ａは、具体的に４であることができ、すなわちコンパイラが４アライメントを満たし、ユーザが３３アライメントを満たす。
選択的な一例では、図８に示すように、コンパイル段階では、画像変倍モジュールが満たす必要のあるアライメント要求（たとえば、左上隅座標、高さ寸法、および幅寸法がいずれも偶数である要求など）、画像変倍モジュールのハードウェア出力寸法、および画像処理モデルがサポートする第１の画像寸法をコンパイラに提供する必要があり、コンパイラは、これらに基づいて、コンパイラが満たす必要のあるアライメントＡを計算するとともに、ユーザが満たす必要のあるアライメントａを計算してａを記録し、第１の画像寸法のテンプレート画像を分割して、第１の分割データを取得する。動作段階では、ユーザは、Ｒｕｎｔｉｍｅ ＡＰＩを介してａを取得することができ、次に、対応するアライメント処理を行って、分割対象のＲＯＩ画像を取得して後続処理を行うことができ、それにより、分割対象のＲＯＩ画像に対する正確かつ有効な分割を確保することができる。
以上によれば、本開示の実施例では、コンパイラは、画像変倍モジュールのハードウェア限界および画像処理モデルの入力要求を分析し、どのようにして比較的低いコストでハードウェア限界を満たすかを計算し、コンパイラは、分割およびアライメント戦略も提供して、合理的な分割およびアライメントを行うことができ、画像変倍モジュールのハードウェアリソースに限界がある状況で、ＡＩ視覚的画像処理システム全体が正確かつ効率的に動作することを確保して、ユーザの使用体験をより良く確保することができる。
本開示の実施例に係るいずれか１つの画像処理用コマンドの生成方法は、データ処理能力を所持している任意の適切な機器によって実行されることができ、端末装置およびサーバなどを含むが、これらに限定されない。または、本開示の実施例に係るいずれか１つの画像処理用コマンドの生成方法は、プロセッサによって実行されることができ、たとえば、プロセッサは、メモリに記憶されている対応するコマンドを呼び出して、本開示の実施例において言及されるいずれか１つの画像処理用コマンドの生成方法を実行する。以下では、その説明を省略する。
［例示的な装置］
図９は、本開示の別の例示的な実施例に係る画像処理装置の概略構成図である。図９に示す装置は、分割モジュール９０１と、画像変倍モジュール９０２と、入力モジュール９０３と、を含む。
分割モジュール９０１は、ＲＯＩ画像を取得した場合、画像処理モデルがサポートする第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて分割して複数の画像ブロックを取得し、第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法の各々が、いずれも画像変倍モジュール９０２のハードウェア出力寸法とマッチングされるようにする。
画像変倍モジュール９０２は、分割モジュール９０１によって取得された複数の画像ブロックの各々に対して画像変倍を行って複数の変倍画像ブロックを取得し、複数の変倍画像ブロックの複数の画像寸法と第１の画像寸法を第１の分割データに基づいて分割して取得された複数の画像寸法とが、１対１に対応して一致されるようにする。
入力モジュール９０３は、画像変倍モジュール９０２によって取得された複数の変倍画像ブロックを画像処理モデルに順次入力するために用いられる。
選択的な一例では、図１０に示すように、分割モジュール９０１は、
取得されたＲＯＩ画像が指定の画像アライメント条件を満たす場合、取得されたＲＯＩ画像を分割対象のＲＯＩ画像とし、そうでない場合、取得されたＲＯＩ画像に基づいて画像調整を行って、指定の画像アライメント条件を満たす分割対象のＲＯＩ画像を取得するための第１の取得サブモジュール９０１１と、
第１の画像寸法、第１の分割データおよび第１の取得サブモジュール９０１１によって取得された分割対象のＲＯＩ画像の第２の画像寸法に基づいて、第２の分割データを決定するための決定サブモジュール９０１２と、
決定サブモジュール９０１２によって決定された第２の分割データに従って、第１の取得サブモジュール９０１１によって取得された分割対象のＲＯＩ画像を分割して複数の画像ブロックを取得するための第２の取得サブモジュール９０１３と、を含む。
選択的な一例では、決定サブモジュール９０１２は、
第１の分割データに基づいて、第１の画像寸法を有するテンプレート画像のプリセット方向での各分割位置を決定するための第１の決定ユニットと、
分割対象のＲＯＩ画像の第２の画像寸法におけるプリセット方向の寸法と、第１の画像寸法におけるプリセット方向の寸法との比例関係を決定するための第２の決定ユニットと、
第２の決定ユニットによって決定された比例関係と、第１の決定ユニットによって決定されたテンプレート画像のプリセット方向での各分割位置とに基づいて、分割対象のＲＯＩ画像のプリセット方向での各分割位置を決定するための第３の決定ユニットと、
第３の決定ユニットによって決定された分割対象のＲＯＩ画像のプリセット方向での各分割位置に基づいて、第２の分割データを決定するための第４の決定ユニットと、を含む。
選択的な一例では、
図１０に示すように、当該装置は、
画像変倍モジュール９０２によって指定された、プリセット方向の寸法の値の約数と、第１の画像寸法におけるプリセット方向の寸法の値とに基づいて決定される第１の目標値を取得するための第１の取得モジュール９０４と、
取得されたＲＯＩ画像のプリセット方向の寸法の値が第１の取得モジュール９０４によって取得された第１の目標値の整数倍であるか否かを判断して第１の判断結果を取得するための第２の取得モジュール９０５と、
第２の取得モジュール９０５によって取得された第１の判断結果に基づいて、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすか否かを決定するための第１の決定モジュール９０６と、をさらに、含む。
図１０に示すように、当該装置は、
取得されたＲＯＩ画像上のプリセット位置の座標を取得するための第３の取得モジュール９０７と、
第３の取得モジュール９０７によって取得されたプリセット位置の座標が画像変倍モジュール９０２によって指定された座標属性を所持しているか否かを判断して第２の判断結果を取得するための第４の取得モジュール９０８と、
第４の取得モジュール９０８によって取得された第２の判断結果に基づいて、取得されたＲＯＩ画像が指定の画像アライメント条件を満たすか否かを決定するための第２の決定モジュール９０９と、をさらに含む。
図１１は、本開示の一例示的な実施例に係る画像処理用コマンドの生成装置の概略構成図である。図１１に示す装置は、決定モジュール１１０１と、取得モジュール１１０２と、生成モジュール１１０３と、を含む。
決定モジュール１１０１は、画像変倍モジュールのハードウェア出力寸法が、画像処理モデルがサポートする第１の画像寸法とマッチングしていない場合、ハードウェア出力寸法および第１の画像寸法に基づいて、第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定し、分割方式情報は、テンプレート画像を複数の画像ブロックに分割するために用いられ、複数の画像ブロックの各々の画像寸法が、いずれもハードウェア出力寸法とマッチングされるようにする。
取得モジュール１１０２は、決定モジュール１１０１によって決定された分割方式情報に基づいて、第１の分割データを取得するために用いられる。
生成モジュール１１０３は、取得モジュール１１０２によって取得された第１の分割データに基づいて、上記画像処理方法を実行するための画像処理用コマンドを生成するために用いられる。
選択的な一例では、図１２に示すように、決定モジュール１１０１は、
画像変倍モジュールがプリセット方向の寸法の値の約数を指定した場合、約数と第１の画像寸法におけるプリセット方向の寸法の値との積である第１の積を計算するための計算サブモジュール１１０１１と、
計算サブモジュール１１０１１によって計算された第１の積に基づいて、第１の画像寸法を有するテンプレート画像上の各分割位置を決定するための第１の決定サブモジュール１１０１２と、
第１の決定サブモジュール１１０１２によって決定された各分割位置に基づいて、第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定するための第２の決定サブモジュール１１０１３と、を含む。
選択的な一例では、
第１の決定サブモジュール１１０１２は、
第１の目標値と第２の目標値との積と第１の積とがプリセット関係を満たすように、第１の積に基づいて、第１の目標値および第２の目標値を決定するための第５の決定ユニットと、
テンプレート画像のプリセット方向において、決定された各分割位置により分割される各寸法区間の寸法の値が、いずれも第２の目標値の整数倍となるように、第５の決定ユニットによって決定された第２の目標値に基づいて、第１の画像寸法を有するテンプレート画像上の各分割位置を決定するための第６の決定ユニットと、を含む。
当該装置は、
第５の決定ユニットによって決定された第１の目標値を記録するための記録モジュールをさらに含む。
選択的な一例では、第５の決定ユニットは、
少なくとも１つの基準パラメータセットにおける各基準パラメータセットがいずれも２つの値を含み、いずれか１つの基準パラメータセットにおける２つの値の積と第１の積とがプリセット関係を満たすように、第１の積に基づいて、少なくとも１つの基準パラメータセットを決定するための第１の決定サブユニットと、
第１の決定サブユニットによって決定された少なくとも１つの基準パラメータセットから第１の基準パラメータセットを選択するための選択サブユニットと、
選択サブユニットによって選択された第１の基準パラメータセットにおける１つの値を第１の目標値とし、選択サブユニットによって選択された第１の基準パラメータセットにおける別の値を第２の目標値とするための第２の決定サブユニットと、を含む。
選択的な一例では、選択サブユニットは、具体的に、
少なくとも１つの基準パラメータセットにおける各基準パラメータセットの合計アライメントコスト値をそれぞれ計算し、対応する合計アライメントコスト値の最も小さい基準パラメータセットを選択して第１の基準パラメータセットとする。
選択的な一例では、選択サブユニットは、具体的に、
少なくとも１つの基準パラメータセットにおけるいずれか１つに含まれる２つの値のうちの大きい値に基づいて、テンプレート画像のプリセット方向での各分割位置を決定し、各分割位置のアライメントコスト値を計算し、取得された各アライメントコスト値の合計を計算して、いずれか１つの基準パラメータセットの合計アライメントコスト値を取得する。
選択的な一例では、選択サブユニットは、具体的に、
いずれか１つの分割位置の座標におけるプリセット方向の座標を取得し、取得した座標といずれか１つの基準パラメータセットに含まれている２つの値のうちの大きい値との余り結果とを計算し、第１の積といずれか１つの基準パラメータセットに含まれている２つの値のうちの大きい値との比率を計算し、比率とプリセット値との間の差分値を計算し、プリセット調整因子に基づいて、余り結果および差分値に対して加重合計を行って、いずれか１つの分割位置のアライメントコスト値を取得する。
［例示的な電子機器］
以下、図１３を参照しながら本開示の実施例に係る電子機器について説明する。当該電子機器は、第１の機器および第２の機器のいずれか一方または両方であってもよく、これらの機器とは独立したスタンドアロン機器であってもよく、当該スタンドアロン機器は、第１の機器および第２の機器と通信して、これらの機器から収集された入力信号を受信することができる。
図１３は、本開示の実施例に係る電子機器のブロック図を示す。
図１３に示すように、電子機器１３００は、１つまたは複数のプロセッサ１３０１と、メモリ１３０２と、を含む。
プロセッサ１３０１は、中央処理装置、またはデータ処理能力および／またはコマンド実行能力を所持している他の形態の処理装置であることができ、電子機器１３００内の他の構成を制御して、所望の機能を実行することができる。
メモリ１３０２は、揮発性メモリおよび／または不揮発性メモリなどの様々な形態のコンピュータ読み取り可能な記憶媒体を含む１つまたは複数のコンピュータプログラム製品を含むことができる。前記揮発性メモリは、ランダムアクセスメモリ（ＲＡＭ）および／またはキャッシュメモリ（ｃａｃｈｅ）を含むことができる。前記不揮発性メモリは、たとえば、読み取り専用メモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含むことができる。前記コンピュータ読み取り可能な記憶媒体には、１つまたは複数のコンピュータプログラムコマンドが記憶されることができ、プロセッサ１３０１は、前記プログラムコマンドを実行することにより、上述した本開示の各実施例における画像処理方法または画像処理用コマンドの生成方法を実現することができる。また、前記コンピュータ読み取り可能な記憶媒体には、入力信号、信号成分、ノイズ成分等の様々なコンテンツも格納されることができる。
一例では、電子機器１３００は、バスシステムおよび／または他の形態の接続機構（図示せず）を介して互に接続されている入力装置１３０３および出力装置１３０４をさらに、含むことができる。
たとえば、電子機器１３００が第１の機器または第２の機器である場合、入力装置１３０３は、マイクロフォンまたはマイクロフォンアレイであることができる。電子機器１３００がスタンドアロン機器である場合、入力装置１３０３は、第１の機器または第２の機器から収集された入力信号を受信するための通信ネットワークコネクタであることができる。
また、入力装置１３０３は、たとえば、キーボードやマウスなどがさらに含むことができる。出力装置１３０４は、決定された距離情報、方向情報などを含む様々な情報を外部に出力することができる。出力装置１３０４は、たとえば、ディスプレイ、スピーカ、プリンタ、通信ネットワークおよびそれらに接続される遠隔出力機器などをさらに含むことができる。
説明の簡略化のために、図１３には、電子機器１３００内の構成の一部のみが示されており、バスや入出力インタフェースなどの構成は省略された。このほか、具体的な応用状況に応じて、電子機器１３００は、任意の適切な他の構成をさらに含むことができる。
［例示的なコンピュータプログラム製品およびコンピュータ読み取り可能な記憶媒体］
本開示の実施例は、上記の方法および機器以外に、コンピュータプログラムコマンドを含むコンピュータプログラム製品であることもでき、前記コンピュータプログラムコマンドがプロセッサによって実行されると、プロセッサが本明細書の上記「例示的な方法」に記載の本開示の様々な実施例に係る画像処理方法または画像処理用コマンドの生成方法におけるステップを実行する。
前記コンピュータプログラム製品は、１つまたは複数のプログラミング言語の任意の組み合わせであり、本開示の実施例の操作を実行するためのプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｃ＋＋（登録商標）などのオブジェクト指向プログラミング言語、および「Ｃ」言語または類似のプログラミング言語などの通常の手続き型プログラミング言語を含む。プログラムコードは、完全にユーザコンピューティングデバイス上で実行されることもできるし、一部的にユーザコンピューティングデバイス上で実行されることもできるし、スタンドアロンソフトウェアパッケージとして実行されることもできるし、一部がユーザコンピューティングデバイス上で実行されかつ一部はリモートコンピューティングデバイス上で実行されることもできるし、完全にリモートコンピューティングデバイスまたはサーバ上で実行されることもできる。
また、本開示の実施例は、コンピュータプログラムコマンドが記憶されているコンピュータ読み取り可能な記憶媒体であることもでき、前記コンピュータプログラムコマンドがプロセッサによって実行されると、プロセッサが本明細書の上記「例示的な方法」に記載の本開示の様々な実施例に係る画像処理方法または画像処理用コマンドの生成方法におけるステップを実行する。
前記コンピュータ読み取り可能な記憶媒体は、１つまたは複数の読み取り可能な媒体の任意の組み合わせを採用することができる。読み取り可能な媒体は、読み取り可能な信号媒体または読み取り可能な記憶媒体であることができる。読み取り可能な記憶媒体は、電気、磁気、光学、電磁、赤外線、または半導体のシステム、装置、またはデバイス、あるいはそれらの任意の組み合わせを含むことができるが、これらに限定されない。読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、１つまたは複数のワイヤを有する電気接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、コンパクトディスク（ＣＤ－ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記の任意の適切な組み合わせを含むことができる。
以上、具体的な実施例と併せて本開示の基本原理を説明したが、本開示において言及された利点、長所、効果は、例示に過ぎず、限定するためのことではない。それらの利点、長所、効果は、本開示の様々な実施例において不可欠なことである。また、上記開示の具体的な細部は、作用を例示して容易に理解させるためのことであり、限定するためのことではなく、上記細部は、本開示が必ず上記具体的な細部によって実現されると限定するためのことではない。
本明細書における様々な実施例は、逐次的な方式で説明され、各実施例では、他の実施例との相違点を中心に説明し、各実施例間の同一または類似の部分は、互に参照すればよい。システムに係る実施例については、基本的に方法の実施例に対応するため、比較的簡単に説明したが、関連する箇所は方法の実施例の説明の一部を参照すればよい。
本開示に係るデバイス、装置、機器、システムのブロック図は、単なる例示に過ぎず、必ずブロック図に示される方式で接続、配置、構成されることを要求または暗示することを意図していない。当業者であれば、これらのデバイス、装置、機器、システムを任意の方法で接続、配置、構成してもよいことが分かる。「含む」、「備える」、「有する」などの用語は、オープン型語彙であり、「を含むが、それらに限定されない」ということを意味し、それと互換的に使用され得る。本明細書に使用される「または」と「および」という用語は、「および／または」という用語を指し、文脈上で明らかに別の意味を示さない限り、それらと互換的に使用され得る。本明細書に使用される「ような」という単語は、「・・・ような・・・が、これに限定されない」というフレーズを意味し、それと互換的に使用され得る。
いろいろな方式によって本開示の方法および装置を実現することができる。たとえば、本開示の方法および装置は、ソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせによって実現されることができる。前記方法のステップに用いられる上述の順序は、単に説明するためのものにすぎず、本開示の方法のステップは、特に明記されない限り、上記で具体的に説明した順序に限定されない。また、いくつかの実施例では、本開示は、記録媒体に記録されたプログラムによって実施され、これらのプログラムは、本開示に係る方法を実現するための機械読み取り可能なコマンドを含む。従って、本開示は、本開示に係る方法を実行するためのプログラムを格納する記録媒体も含む。
なお、本開示の装置、機器および方法において、各部材またはステップは、分解および／または再組合せしてもよい。これらの分解および／または再組合せは、本開示の等価解決手段と見なすことができる。
開示された態様についての上記の説明は、当業者が本開示を作成または使用することを可能にするために提供される。当業者にとって、これらの態様に対する様々な修正は明らかであり、本明細書に定義された一般原理は、本開示の範囲から逸脱することなく他の態様に適用され得る。したがって、本開示は、本明細書に示された態様に制限されることを意図しておらず、本明細書に開示された原理および新規特徴と一致する最も広い範囲に従う。
例示および説明の目的のために、上記の説明を提示した。さらに、この説明は、本開示の実施例を本明細書に開示されている形態に限定することを意図していない。以上、複数の例示的な態様および実施例を説明したが、当業者であれば、それらの特定の変形、修正、変更、追加、およびサブセットを認識することができる。

Claims (10)

  1. ＲＯＩ画像を取得した場合、画像処理モデルがサポートする第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて分割して複数の画像ブロックを取得し、前記第１の画像寸法を前記第１の分割データに基づいて分割して取得された複数の画像寸法の各々が、いずれも画像変倍モジュールのハードウェア出力寸法とマッチングされるようにするステップと、
    前記複数の画像ブロックの各々に対して画像変倍を行って、複数の変倍画像ブロックを取得し、前記複数の変倍画像ブロックの複数の画像寸法と前記第１の画像寸法を前記第１の分割データに基づいて分割して取得された複数の画像寸法とが、１対１に対応してマッチングされるようにするステップと、
    前記複数の変倍画像ブロックを前記画像処理モデルに順次入力するステップと、を含むことを特徴とする画像処理方法。
  2. 画像処理モデルがサポートする第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて分割して複数の画像ブロックを取得する前記ステップは、
    取得されたＲＯＩ画像が指定の画像アライメント条件を満たす場合、取得されたＲＯＩ画像を分割対象のＲＯＩ画像とし、そうでない場合、取得されたＲＯＩ画像に基づいて画像調整を行って、前記指定の画像アライメント条件を満たす分割対象のＲＯＩ画像を取得するステップと、
    前記第１の画像寸法、前記第１の分割データおよび前記分割対象のＲＯＩ画像の第２の画像寸法に基づいて、第２の分割データを決定するステップと、
    前記第２の分割データに従って、前記分割対象のＲＯＩ画像を分割して複数の画像ブロックを取得するステップと、を含むことを特徴とする請求項１に記載の方法。
  3. 前記第１の画像寸法、前記第１の分割データおよび前記分割対象のＲＯＩ画像の第２の画像寸法に基づいて、第２の分割データを決定する前記ステップは、
    前記第１の分割データに基づいて、前記第１の画像寸法を有するテンプレート画像のプリセット方向での各分割位置を決定するステップと、
    前記分割対象のＲＯＩ画像の第２の画像寸法における前記プリセット方向の寸法と、前記第１の画像寸法における前記プリセット方向の寸法との比例関係を決定するステップと、
    前記比例関係と、前記テンプレート画像の前記プリセット方向での各分割位置とに基づいて、前記分割対象のＲＯＩ画像の前記プリセット方向での各分割位置を決定するステップと、
    前記分割対象のＲＯＩ画像の前記プリセット方向での各分割位置に基づいて、第２の分割データを決定するステップと、を含むことを特徴とする請求項２に記載の方法。
  4. 画像変倍モジュールのハードウェア出力寸法が、画像処理モデルがサポートする第１の画像寸法とマッチングしていない場合、前記ハードウェア出力寸法および前記第１の画像寸法に基づいて、前記第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定し、前記分割方式情報は、前記テンプレート画像を複数の画像ブロックに分割するために用いられ、かつ前記複数の画像ブロックの各画像寸法が、いずれも前記ハードウェア出力寸法とマッチングされるようにするステップと、
    前記分割方式情報に基づいて、第１の分割データを取得するステップと、
    前記第１の分割データに基づいて、請求項１～３のいずれか一項に記載の画像処理方法を実行するための画像処理用コマンドを生成するステップと、を含むことを特徴とする画像処理用コマンドの生成方法。
  5. 前記ハードウェア出力寸法および前記第１の画像寸法に基づいて、前記第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定する前記ステップは、
    画像変倍モジュールが前記テンプレート画像のプリセット方向での寸法の値の約数を指定した場合、前記約数と前記第１の画像寸法における前記プリセット方向の寸法の値との積である第１の積を計算するステップと、
    前記第１の積に基づいて、前記テンプレート画像上の各分割位置を決定するステップと、
    決定された各分割位置に基づいて、前記テンプレート画像に対する分割方式情報を決定するステップと、を含むことを特徴とする請求項４に記載の方法。
  6. 前記第１の積に基づいて、前記第１の画像寸法を有するテンプレート画像上の各分割位置を決定する前記ステップは、
    第１の目標値と第２の目標値との積と前記第１の積とがプリセット関係を満たすように、前記第１の積に基づいて、前記第１の目標値および前記第２の目標値を決定するステップと、
    前記テンプレート画像の前記プリセット方向において、決定された各分割位置により分割される各寸法区間の寸法の値が、いずれも前記第２の目標値の整数倍となるように、前記第２の目標値に基づいて、前記テンプレート画像上の各分割位置を決定するステップと、を含み、
    前記方法は、
    前記第１の目標値を記録するステップをさらに含むことを特徴とする請求項５に記載の方法。
  7. ＲＯＩ画像を取得した場合、画像処理モデルがサポートする第１の画像寸法、第１の分割データおよび取得されたＲＯＩ画像に基づいて分割して複数の画像ブロックを取得し、前記第１の画像寸法を前記第１の分割データに基づいて分割して取得された複数の画像寸法の各々が、いずれも画像変倍モジュールのハードウェア出力寸法とマッチングされるようにする分割モジュールと、
    前記分割モジュールによって取得された前記複数の画像ブロックの各々に対して画像変倍を行って複数の変倍画像ブロックを取得し、前記複数の変倍画像ブロックの複数の画像寸法と前記第１の画像寸法を前記第１の分割データに基づいて分割して取得された複数の画像寸法とが１対１に対応してマッチングされるようにする画像変倍モジュールと、
    前記画像変倍モジュールによって取得された前記複数の変倍画像ブロックを前記画像処理モデルに順次入力する入力モジュールと、を含むことを特徴とする画像処理装置。
  8. 画像変倍モジュールのハードウェア出力寸法が、画像処理モデルがサポートする第１の画像寸法とマッチングしていない場合、前記ハードウェア出力寸法および前記第１の画像寸法に基づいて、前記第１の画像寸法を有するテンプレート画像に対する分割方式情報を決定し、前記分割方式情報は、前記テンプレート画像を複数の画像ブロックに分割するために用いられ、前記複数の画像ブロックの各々の画像寸法が、いずれも前記ハードウェア出力寸法とマッチングされるようにする決定モジュールと、
    前記決定モジュールによって決定された前記分割方式情報に基づいて、第１の分割データを取得する取得モジュールと、
    前記取得モジュールによって取得された前記第１の分割データに基づいて、請求項１～３のいずれか一項に記載の画像処理方法を実行するための画像処理用コマンドを生成する生成モジュールと、を含むことを特徴とする画像処理用コマンドの生成装置。
  9. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムは、請求項１～３のいずれか一項に記載の画像処理方法を実行するか、または、請求項４～６のいずれか一項に記載の画像処理用コマンドの生成方法を実行することを特徴とするコンピュータ読み取り可能な記憶媒体。
  10. プロセッサと、
    前記プロセッサが実行可能なコマンドを記憶するメモリと、を含み、
    前記プロセッサは、前記メモリから前記実行可能なコマンドを読み取って、このコマンドを実行して、請求項１～３のいずれか一項に記載の画像処理方法を実行するか、または、請求項４～６のいずれか一項に記載の画像処理用コマンドの生成方法を実行することを特徴とする電子機器。
JP2022520212A 2020-07-31 2020-11-24 画像処理方法、画像処理用コマンドの生成方法および装置 Active JP7369288B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010765242.5A CN111860694A (zh) 2020-07-31 2020-07-31 图像处理方法、用于图像处理的指令的生成方法及装置
CN202010765242.5 2020-07-31
PCT/CN2020/131057 WO2022021695A1 (zh) 2020-07-31 2020-11-24 图像处理方法、用于图像处理的指令的生成方法及装置

Publications (2)

Publication Number Publication Date
JP2022551249A JP2022551249A (ja) 2022-12-08
JP7369288B2 true JP7369288B2 (ja) 2023-10-25

Family

ID=72954307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022520212A Active JP7369288B2 (ja) 2020-07-31 2020-11-24 画像処理方法、画像処理用コマンドの生成方法および装置

Country Status (5)

Country Link
US (1) US20220351329A1 (ja)
EP (1) EP4020316A4 (ja)
JP (1) JP7369288B2 (ja)
CN (1) CN111860694A (ja)
WO (1) WO2022021695A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860694A (zh) * 2020-07-31 2020-10-30 地平线(上海)人工智能技术有限公司 图像处理方法、用于图像处理的指令的生成方法及装置
CN113610701B (zh) * 2021-08-04 2023-12-26 同方鼎欣科技股份有限公司 图像分页转换方法、装置、计算机设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014131262A (ja) 2012-11-30 2014-07-10 Oki Data Corp 画像処理装置及び方法、並びに、画像形成装置
US20160217319A1 (en) 2012-10-01 2016-07-28 The Regents Of The University Of California Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102238376B (zh) * 2010-04-28 2014-04-23 鸿富锦精密工业（深圳）有限公司 图像处理系统及方法
CN107801026B (zh) * 2017-11-09 2019-12-03 京东方科技集团股份有限公司 图像压缩方法及装置、图像压缩及解压缩系统
CN108537729B (zh) * 2018-03-27 2022-03-04 珠海全志科技股份有限公司 图像无级缩放方法、计算机装置及计算机可读存储介质
CN110232657A (zh) * 2019-06-17 2019-09-13 深圳市迅雷网络技术有限公司 一种图像缩放方法、装置、设备及介质
CN111860694A (zh) * 2020-07-31 2020-10-30 地平线(上海)人工智能技术有限公司 图像处理方法、用于图像处理的指令的生成方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160217319A1 (en) 2012-10-01 2016-07-28 The Regents Of The University Of California Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system
JP2014131262A (ja) 2012-11-30 2014-07-10 Oki Data Corp 画像処理装置及び方法、並びに、画像形成装置

Also Published As

Publication number Publication date
EP4020316A4 (en) 2023-09-06
US20220351329A1 (en) 2022-11-03
WO2022021695A1 (zh) 2022-02-03
CN111860694A (zh) 2020-10-30
EP4020316A1 (en) 2022-06-29
JP2022551249A (ja) 2022-12-08

Similar Documents

Publication Publication Date Title
RU2488159C2 (ru) Ранжирование типов визуализации на основании пригодности для визуализации набора данных
CN111144242B (zh) 一种三维目标检测方法、装置及终端
US10699055B2 (en) Generative adversarial networks for generating physical design layout patterns
JP7369288B2 (ja) 画像処理方法、画像処理用コマンドの生成方法および装置
CN112767551B (zh) 三维模型构建方法、装置以及电子设备、存储介质
US9852359B2 (en) System, method, and recording medium for efficient cohesive subgraph identification in entity collections for inlier and outlier detection
CN109684005B (zh) 图形界面中组件相似度确定方法及装置
KR20200102409A (ko) 키 프레임 스케줄링 방법 및 장치, 전자 기기, 프로그램과 매체
CN112991547A (zh) 模型简化处理方法、装置以及电子设备、介质
CN114495147B (zh) 识别方法、装置、设备以及存储介质
CN115481732A (zh) 通过人工智能加速器处理特征图的方法和装置
CN115294328A (zh) 目标检测框的生成方法、装置、存储介质和电子设备
CN111080792B (zh) 模型简化处理方法、装置以及电子设备、存储介质
US11281935B2 (en) 3D object detection from calibrated 2D images
US20210133930A1 (en) Device Manufacturing Cycle Time Reduction Using Machine Learning Techniques
CN111986300A (zh) 房屋装修的渲染点确定方法和装置、存储介质、电子设备
CN112907501A (zh) 物体检测方法、装置及电子设备
CN111723926A (zh) 用于确定图像视差的神经网络模型的训练方法和训练装置
CN115511779B (zh) 图像检测方法、装置、电子设备和存储介质
JP7369247B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN113792247B (zh) 基于代码特征生成功能流程图的方法、装置、设备和介质
KR102566934B1 (ko) 병렬 처리 기반의 문서 포맷 변환을 수행하는 전자 장치 및 그 동작 방법
WO2022267728A1 (en) Video action recognition and modifcation
US20210256251A1 (en) Video-based 3d hand pose and mesh estimation based on temporal-aware self-supervised learning
CN117422120A (zh) 深度学习模型的计算图优化方法、装置、终端及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231013

R150 Certificate of patent or registration of utility model

Ref document number: 7369288

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150