JP7223056B2 - 画像審査方法、装置、電子機器及び記憶媒体 - Google Patents

画像審査方法、装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP7223056B2
JP7223056B2 JP2021084866A JP2021084866A JP7223056B2 JP 7223056 B2 JP7223056 B2 JP 7223056B2 JP 2021084866 A JP2021084866 A JP 2021084866A JP 2021084866 A JP2021084866 A JP 2021084866A JP 7223056 B2 JP7223056 B2 JP 7223056B2
Authority
JP
Japan
Prior art keywords
image
target image
label information
recognition
vertical category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021084866A
Other languages
English (en)
Other versions
JP2021144724A (ja
Inventor
ハオ スン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021144724A publication Critical patent/JP2021144724A/ja
Application granted granted Critical
Publication of JP7223056B2 publication Critical patent/JP7223056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/243Classification techniques relating to the number of classes
    • G06F18/2431Multiple classes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/15Cutting or merging image elements, e.g. region growing, watershed or clustering-based techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Description

本願の実施例は、概して、画像処理技術の分野に関し、より具体的には、深層学習、人工知能、コンピュータビジョン、及び自然言語処理技術の分野に関する。
近年、カメラ端末の普及、セルフメディアの急成長、及びインターネットリソースの豊富さに伴い、動画や画像の投稿は、ユーザの重要な娯楽やコミュニケーション手段となっている。同時に、ソーシャルメディア、フォーラム、ライブサイトなどのプラットフォームの画像審査のニーズも必要に応じて発生した。ユーザでアップロードされたビデオの各フレームの画像又はユーザでアップロードされたピクチャーを正確に審査することにより、ネットワーク情報の健全性を確保し、著作権を保護するなどの重要な役割を果たすことができる。そのため、画像審査中の精度をいかに高めるかは、重要な研究方向の1つとなっている。
本願は、画像審査方法、装置、電子機器及び記憶媒体を提供する。
第1の態様によれば、画像審査方法を提供し、
審査対象のターゲット画像を取得するステップと、
前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するステップと、
前記ターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得するステップと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するステップと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査するステップと、を含む。
第2の態様によれば、画像審査装置を提供し、
審査対象のターゲット画像を取得するためのターゲット画像取得モジュールと、
前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するためのラベル情報取得モジュールと、
前記ターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得するための業務垂直カテゴリ取得モジュールと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するための第1の認識モジュールと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査するための審査モジュールと、を含む。
第3の態様によれば、電子機器を提供し、少なくとも1つのプロセッサと、前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが本願の第1の態様に記載の画像審査方法を実行できるように、前記少なくとも1つのプロセッサによって実行される。
第4の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに第1の態様に記載の画像審査方法を実行させる。
第5の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに第1の態様に記載の画像審査方法を実行させる。
本願にて提供される実施例は、少なくとも以下のような有益な技術的効果を有する。
本願の実施例に係る画像審査方法によれば、審査対象のターゲット画像を取得し、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得し、続いてターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得し、さらに、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識し、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれていることが認識された場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査することにより、画像に対する審査処理を実現できる。これにより、本願は、ターゲット画像の複数のラベル情報を同時に取得することにより、異なる業務垂直カテゴリに対して、ターゲット画像が禁止されているか否かを動的に審査して、ターゲット画像の複数の業務垂直カテゴリにおける異なる審査結果を取得することができ、画像審査の柔軟性と正確性を向上させ、異なる業務垂直カテゴリに対して、より適切に画像審査を行うという目的が達成される。
なお、この部分に記載されている内容は、本願の実施例の肝心又は重要な特徴を特定することを意図しておらず、本願の範囲を限定するものでもない。本願の他の特徴は、以下の明細書を通じて容易に理解される。
図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
本願の第1の実施例に係る概略図である。 ターゲット画像の複数のラベル情報の概略図である。 本願の第2の実施例に係る概略図である。 画像セグメントの概略図である。 別のターゲット画像の複数のラベル情報の概略図である。 本願の第3の実施例に係る概略図である。 本願の第4の実施例に係る概略図である。 ターゲット画像のテキスト情報の概略図である。 別のターゲット画像のテキスト情報の概略図である。 本願の第5の実施例に係る概略図である。 本願の実施例に係る画像審査方法を実現するための画像審査装置のブロック図である。 本願の実施例に係る画像審査方法を実現するための画像審査装置のブロック図である。 本願の実施例に係る画像審査方法を実現するための電子機器のブロック図である。
以下、図面と組み合わせて本願の例示的な実施例を説明し、理解を容易にするためにその中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
以下、図面を参照しながら、本願の実施例に係る画像審査方法、装置、電子機器及び記憶媒体について説明する。
図1は、本願の第1の実施例に係る概略図である。なお、本実施例の画像審査方法の実行主体は、画像審査装置であり、画像審査装置は、具体的には、ハードウェアデバイス、又はハードウェアデバイス内のソフトウェアなどであってもよい。ここで、ハードウェアデバイスは、例えば端末機器、サーバなどである。図1に示すように、本実施例にて提供される画像審査方法は、以下のステップS101~ステップS105を含む。
S101において、審査対象のターゲット画像を取得する。
ここで、審査対象のターゲット画像は、任意の画像であってもよく、また、例えば、教学ビデオ及び映画とテレビドラマ再生ビデオなどの任意のビデオに対して、デコード及びフレーム抽出を行って、1つずつのフレームの画像を取得し、そのうちのいずれかのフレームの画像をターゲット画像として選択してもよい。
なお、ターゲット画像を取得しようとする場合、ローカル又はリモート記憶領域に予め記憶された画像をターゲット画像として取得してもよいし、画像を直接撮像してターゲット画像としてもよい。選択可能に、ターゲット画像を取得するために、ローカル又はリモートビデオライブラリ、画像ライブラリのうちの少なくとも1方から、記憶されたビデオ又は画像を取得してもよく、選択可能に、画像を直接撮像してターゲット画像としてもよい。本願の実施例は、審査対象のターゲット画像を取得する方式に対して限定せず、実際の状況に応じて選択することができる。
S102において、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得する。
ここで、ラベル付けとは、深層学習技術により、画像に詳細かつ具体的なラベルを追加して画像内容の分類を補完する過程を意味する。
本願の実施例では、ターゲット画像を少なくとも1つの予めトレーニングされたモデルに入力し、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得することができる。
例えば、図2に示すように、ターゲット画像にラベルを付けて、ターゲット画像の、サッカースター、サッカー、女性などのエンティティラベルを取得することができ、また、セクシー、サッカーの試合などのような、画像の意味内容を特徴付けるラベルを含むこともでき、図2に示すように、ターゲット画像に、海外のサッカースター11-1、セクシーなサッカーベイビー11-2、サッカー12-1、サッカーの試合12-2などの複数のラベル情報を付けることができる。
S103において、ターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得する。
ここで、業務垂直カテゴリは、観光カテゴリ、スポーツカテゴリ、アニメカテゴリ、及び教学カテゴリなどの少なくとも1つを含んでもよいが、これらに限定されない。
なお、同一の業務垂直カテゴリに属する業務は、類似するユーザグループへのサービス提供に重点を置いており、また、類似する画像審査の注目方向及びスケールもあり、これに応じて、異なる業務垂直カテゴリの同じターゲット画像に対する画像審査の注目方向及びスケールも異なる。
例として、バスケットボールの試合の生放送業務とサッカーフォーラム業務は、同一の業務垂直カテゴリに属し、また、類似する画像審査の注目方向及びスケールもあり、子供向けの科学知識普及用書籍業務とスターリアリティ番組放送業務は、異なる業務垂直カテゴリに属し、画像審査の注目方向及びスケールも異なる。
S104において、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識する。
本願の実施例では、ターゲット画像の複数のラベル情報と、ターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリとを取得した後、予め設定された画像審査基準に従って、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識することができる。
ここで、画像審査基準には、当該業務垂直カテゴリで除外されたラベル情報が少なくとも含まれている。例えば、教学カテゴリで除外されたラベル情報を、セクシー、自殺、暴力などとして設定することができる。
S105において、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれている場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査する。
なお、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれている場合、ターゲット画像が当該業務垂直カテゴリにおいて禁止画像であると決定することしかできない。
例えば、ターゲット画像のラベル情報がセクシーなサッカーベイビーであることを取得した場合、ターゲット画像が、教学カテゴリにおいて禁止画像であるが、スポーツカテゴリにおいて合格(非禁止)画像であると審査する。
本願の実施例に係る画像審査方法によれば、審査対象のターゲット画像を取得し、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得し、続いてターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得し、さらに、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識し、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれていることが認識された場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査することにより、画像に対する審査処理を実現できる。これにより、本願は、ターゲット画像の複数のラベル情報を同時に取得することにより、異なる業務垂直カテゴリに対して、ターゲット画像が禁止されているか否かを動的に審査して、ターゲット画像の複数の業務垂直カテゴリにおける異なる審査結果を取得することができ、画像審査の柔軟性と正確性を向上させ、異なる業務垂直カテゴリに対して、より適切に画像審査を行うという目的が達成される。
なお、本願では、ターゲット画像の複数のラベル情報を取得しようとする場合、ターゲット画像を分割して、少なくとも1つの画像セグメントを取得し、さらに、画像セグメントを対応する前記認識チャンネルに入力することで、ターゲット画像の複数のラベル情報を取得することができる。
可能な一実現形態として、図3に示すように、上記実施例を基に、上記ステップS102におけるターゲット画像の複数のラベル情報を取得するプロセスは、具体的には以下のステップS201~ステップS203を含む。
S201において、ターゲット画像を分割して、少なくとも1つの画像セグメントを取得する。
選択可能に、ターゲット画像に対してコネクテッドドメイン(Connected Component)認識を行い、各コネクテッドドメインにおける内容の相関関係を取得し、相関関係に基づいてターゲット画像を分割して、少なくとも1つの画像セグメントを取得することができる。
ここで、コネクテッドドメインとは、一般に、画像における同じ画素値を有するとともに、位置が隣接する前景の画素点からなる画像ドメイン(Blob)を意味する。コネクテッドドメイン認識とは、画像中の各々のコネクテッドドメインを見つけ出して、それにラベルを付けるプロセスを意味する。つまり、コネクテッドドメイン認識方法は、後の処理を容易にするために、前景のターゲットを抽出する必要があるいずれの応用シーンにも適用でき、通常、コネクテッドドメイン認識処理のオブジェクトは2値化された画像である。
例えば、図4に示すように、図2に示すターゲット画像を分割して、13-1乃至13-3の計3つの画像セグメントを取得することができる。
S202において、画像セグメントに対して画像認識を行って、画像セグメントに対応する認識チャンネルを取得する。
ここで、認識チャンネルとは、画像セグメントに対して画像認識を行う認識モデルを含むチャンネルを指し、例えば、シーン認識モデルを含むチャンネル、人物認識モデルを含むチャンネル、物品認識モデルを含むチャンネル、及び動物認識モデルを含むチャンネルなどである。
なお、1つの画像セグメントは複数の認識チャンネルに対応する可能性があり、つまり、1つの画像セグメントは複数の認識モデルに対応する可能性がある。例えば、図4に示す画像セグメント13-2に対応する認識チャンネルは、人物認識モデル及び物品認識モデルであってもよい。
S203において、画像セグメントを対応する認識チャンネルに入力し、認識チャンネルに対応する認識モデルによって画像セグメントにラベルを付けて、ターゲット画像の複数のラベル情報を取得する。
なお、1つの画像セグメントが複数の認識チャンネルに対応する場合、当該画像セグメントを対応する複数の認識チャンネルに順次入力することができる。
例えば、図5に示すように、図4に示す画像セグメント13-2に対応する認識チャンネルは、それぞれ人物認識モデルと物品認識モデルとを含むチャンネルであり、選択可能に、まず、画像セグメント13-2を人物認識モデルに対応する認識チャンネルに入力し、人物認識モデルによって画像セグメント13-2にラベルを付けて、サッカー14-1というラベル情報を取得し、さらに、画像セグメント13-2を物品認識モデルに対応する認識チャンネルに入力し、物品認識モデルによって画像セグメント13-2にラベルを付けて、セクシーなサッカーベイビー14-2というラベル情報を取得することができる。
可能な別の実現形態として、ターゲット画像を認識モデルに入力し、かつ、認識モデルにおける複数のサブ認識モデルにそれぞれ入力し、複数のサブ認識モデルによってターゲット画像にラベルを付けて、複数のラベル情報を取得することができる。
ここで、サブ認識モデルは、シーンサブ認識モデル、人物サブ認識モデル、物品サブ認識モデル、及び動物サブ認識モデルなどのサブモデルのうちの少なくとも1つを含んでもよい。
本願の実施例の画像審査方法によれば、ターゲット画像を分割して、少なくとも1つの画像セグメントを取得し、画像セグメントに対して画像認識を行って、画像セグメントに対応する認識チャンネルを取得し、さらに、画像セグメントを対応する認識チャンネルに入力し、認識チャンネルに対応する認識モデルによって画像セグメントにラベルを付けて、ターゲット画像の複数のラベル情報を取得することができる。これにより、本願は、分割によって取得された画像セグメントを少なくとも1つの対応する認識チャンネルに入力するとともに、ターゲット画像の複数のラベル情報を取得することにより、1つのターゲット画像に複数のラベルを付けるという目的が実現され、画像審査の柔軟性と正確性をさらに向上させることができる。
なお、本願では、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識しようとする場合、業務垂直カテゴリに対応する投稿ポリシーに基づいて、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識することができる。
可能な別の実現形態として、図6に示すように、上記実施例を基に、上記ステップS104における複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するプロセスは、具体的には、以下のステップS301と、ステップS302と、を含む。
S301において、業務垂直カテゴリの、少なくとも業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得する。
本願の実施例では、ユーザは、業務垂直カテゴリの投稿ポリシーをアップロードすることができ、それに応じて、当該業務垂直カテゴリの投稿ポリシーを受信し、その中から業務垂直カテゴリで除外されたラベル情報を抽出することができる。
S302において、投稿ポリシーに基づいて、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識する。
なお、ターゲット画像の複数のラベル情報のうちのいずれかのラベル情報、又はいずれかのラベル情報の一部の情報が、当該業務垂直カテゴリで除外されたラベル情報である場合、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識する。
例えば、教学カテゴリで除外されたラベル情報がセクシーである場合、取得されたターゲット画像のラベル情報がセクシーなサッカーベイビー又はセクシーな女性教師であり、認識結果は、いずれも教学カテゴリで除外されたラベル情報を含む。
本願の実施例の画像審査方法によれば、業務垂直カテゴリの、少なくとも業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得し、投稿ポリシーに基づいて、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識することができる。これにより、本願は、異なる業務垂直カテゴリに対応する投稿ポリシーに基づいて、ターゲット画像の複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを柔軟に認識することができ、それにより、異なる業務垂直カテゴリに対して、ターゲット画像が禁止されているか否かを動的に審査して、ターゲット画像の複数の業務垂直カテゴリにおける異なる審査結果を取得し、画像審査の柔軟性と正確性をさらに向上させることができる。
なお、本願では、ターゲット画像をより網羅的に分析できるように、ターゲット画像の複数のラベル情報を取得することを基にて、ターゲット画像のテキスト情報を抽出することもでき、さらに、ターゲット画像のテキスト情報と複数のラベル情報と組み合わせて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することができる。
可能な一実現形態として、図7に示すように、上記実施例を基に、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識するプロセスは、具体的には以下のステップS401と、ステップS402と、を含む。
S401において、ターゲット画像のテキスト情報を抽出する。
選択可能に、ターゲット画像のテキスト情報を抽出しようとする場合、光学文字認識(Optical Character Recognition、OCRと略称される)方法を用いてターゲット画像のテキスト情報を抽出して、ターゲット画像のテキスト情報を取得することができる。
例えば、図8に示すように、OCR方法により、ターゲット画像のテキスト情報を抽出して、ターゲット画像の、2014(年)15-1、Brasil(ブラジル)15-2、FIFA WORD CUP(ワールドカップ)15-3、及びワールドカップドリームチーム15-4というテキスト情報を取得することができる。
なお、ターゲット画像のテキスト情報を抽出しようとする場合、ターゲット画像にリンクなどの情報が含まれていれば、OCR方法によりリンク中のアンカーテキスト(Anchor Text)情報をさらに取得することができる。
例えば、図9に示すように、OCR方法により、ターゲット画像のテキスト情報を抽出して、ターゲット画像の、2014(年)15-1、Brasil(ブラジル)15-2、FIFA WORD CUP(ワールドカップ)15-3、ワールドカップドリームチーム15-4、及びアンカーテキスト「クリックイン」15-5というテキスト情報を取得することができる。
S402において、テキスト情報と複数のラベル情報とに基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識する。
選択可能に、取得されたテキスト情報及び複数のラベル情報を、業務垂直カテゴリで除外されたラベル情報と比較し、取得されたテキスト情報又は複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれていると認識された場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査し、取得されたテキスト情報及び複数のラベル情報のいずれにも業務垂直カテゴリで除外されたラベル情報が含まれていないと認識された場合、ターゲット画像が業務垂直カテゴリにおいて合格画像であると審査する。
本願の実施例の画像審査方法によれば、ターゲット画像のテキスト情報を抽出し、テキスト情報と複数のラベル情報とに基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することができる。これにより、本願は、ターゲット画像のテキスト情報を抽出し、ターゲット画像の複数のラベル情報に基づいてターゲット画像のテキスト情報と組み合わせて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することができ、ターゲット画像をより網羅的かつ正確に分析することができ、画像審査の柔軟性及び正確性をさらに向上させることができる。
図10は、本願の第5の実施例に係る概略図である。図10に示すように、上記実施例を基に、本実施にて提供される画像審査方法は、以下のステップS501~ステップS510を含む。
S501において、審査対象のターゲット画像を取得する。
S502において、ターゲット画像を分割して、少なくとも1つの画像セグメントを取得する。
S503において、画像セグメントに対して画像認識を行って、画像セグメントに対応する認識チャンネルを取得する。
S504において、画像セグメントを対応する認識チャンネルに入力し、認識チャンネルに対応する認識モデルによって画像セグメントにラベルを付けて、ターゲット画像の複数のラベル情報を取得する。
S505において、ターゲット画像のテキスト情報を抽出して、ターゲット画像のテキスト情報を取得する。
S506において、ターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得する。
S507において、業務垂直カテゴリの、少なくとも業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得する。
S508において、投稿ポリシー、複数のラベル情報及びテキスト情報に基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識する。
選択可能に、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると認識された場合、ステップS509を実行することができ、ターゲット画像が業務垂直カテゴリにおいて禁止画像ではないと認識された場合、ステップS510を実行することができる。
S509において、認識結果を出力する。
なお、認識結果を出力しようとする際に、「このピクチャーは禁止ピクチャーである」又は「ピクチャーは審査に不合格である」などの文字情報又は音声情報を出力してもよい。さらに、ユーザがターゲットピクチャーを意図的に交換するのを支援するために、認識結果を出力するとともに、ターゲット画像が禁止されるものとして認識された理由を出力することができ、例えば「このピクチャーにはポルノ情報が含まれており、禁止ピクチャーに属している」などのプロンプトを出力することができる。
S510において、業務垂直カテゴリの少なくとも1つの投稿位置を取得し、そのうちの1つの投稿位置にターゲット画像を投稿する。
選択可能に、ターゲット画像が業務垂直カテゴリにおいて禁止画像ではないと認識された場合、業務垂直カテゴリの少なくとも1つの投稿位置を取得し、当該投稿位置をオンにする命令を出して、そのうちの1つの投稿位置にターゲット画像を投稿することができる。
なお、ステップS501~S509に関する紹介は、上記実施例における関連する説明を参照でき、ここでは説明を省略する。
なお、本願にて提案される画像審査方法は、多様な画像審査分野に関連するシーンに適用され得る。
自動化画像審査の適用シーンについて、人工知能(Artificial Intelligence、AIと略称される)技術でターゲットビデオを取得した後、自然言語処理技術とコンピュータビジョン技術と組み合わせて、ターゲット画像に対して自動的にラベル付け及びテキスト情報の抽出を行い、さらに複数のラベル情報とテキスト情報とに基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することにより、画像の自動審査が実現され、自動化画像審査プロセスがいかなる人的介入にも依拠せず、異なる業務垂直カテゴリに対して、動的な自動化画像審査を完全且つ徹底的に行うことを実現することができ、自動化画像審査の効率と正確性を向上させ、人件費を大幅に低減する。
ショートビデオアプリケーションの適用シーンについて、ユーザによってスマートフォンなどの端末を介してアップロードされたターゲット画像を取得し、ターゲット画像に対して自動的にラベル付け及びテキスト情報の抽出を行い、さらに、複数のラベル情報とテキスト情報とに基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することができる。さらに、ユーザによってアップロードされたターゲット画像が禁止画像であると認識された場合、ユーザがターゲットピクチャーを意図的に交換するのを支援するために、認識結果を出力するとともに、ターゲット画像が禁止されるものとして認識された理由を出力することができ、これにより、ユーザが当該業務垂直カテゴリの画像審査規則を熟知しないため、ターゲット画像を予定通りに投稿できず、さらには罰せられるリスクを顕著に低減できるとともに、当該業務垂直カテゴリでのユーザの画像アップロード習慣に積極的なガイダンスを提供して、ユーザエクスペリエンスを大幅に向上させた。
本願の実施例に係る画像審査方法によれば、審査対象のターゲット画像を取得し、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得し、続いてターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得し、さらに、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識し、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれていることが認識された場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査することにより、画像に対する審査処理を実現できる。これにより、本願は、ターゲット画像の複数のラベル情報を同時に取得することにより、異なる業務垂直カテゴリに対して、ターゲット画像が禁止されているか否かを動的に審査して、ターゲット画像の複数の業務垂直カテゴリにおける異なる審査結果を取得することができ、画像審査の柔軟性と正確性を向上させ、異なる業務垂直カテゴリに対して、より適切に画像審査を行うという目的が達成される。
上記いくつかの実施例にて提供される画像審査方法に対応して、本願の一実施例は、画像審査装置をさらに提供し、本願の実施例にて提供される画像審査装置が上記いくつかの実施例にて提供される画像審査方法に対応するため、画像審査方法の実施形態は、本実施例にて提供される画像審査装置にも適用し、本実施例では説明を省略する。図11~図12は、本願の一実施例に係る画像審査装置の概略構造図である。
図11に示すように、当該画像審査装置1000は、ターゲット画像取得モジュール100と、ラベル情報取得モジュール200と、業務垂直カテゴリ取得モジュール300と、第1の認識モジュール400と、審査モジュール500と、を含む。
ターゲット画像取得モジュール100は、審査対象のターゲット画像を取得する。
ラベル情報取得モジュール200は、前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得する。
業務垂直カテゴリ取得モジュール300は、前記ターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得する。
第1の認識モジュール400は、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識する。
審査モジュール500は、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査する。
本願の実施例では、図12に示すように、図11におけるラベル情報取得モジュール200は、前記ターゲット画像を分割して、少なくとも1つの画像セグメントを取得するための画像セグメント取得ユニット210と、前記画像セグメントに対して画像認識を行って、前記画像セグメントに対応する認識チャンネルを取得するための認識チャンネル取得ユニット220と、前記画像セグメントを対応する前記認識チャンネルに入力し、前記認識チャンネルに対応する認識モデルによって前記画像セグメントにラベルを付けて、前記ターゲット画像の前記複数のラベル情報を取得するためのラベル情報取得ユニット230と、を含む。
本願の実施例では、図12に示すように、図11における画像セグメント取得ユニット210は、前記ターゲット画像に対してコネクテッドドメイン認識を行って、各コネクテッドドメインにおける内容の相関関係を取得し、前記相関関係に基づいて前記ターゲット画像を分割して、前記少なくとも1つの画像セグメントを取得するための画像セグメント取得サブユニット211を含む。
本願の実施例では、図12に示すように、図11におけるラベル情報取得ユニット230は、前記ターゲット画像を認識モデルに入力し、かつ、前記認識モデルにおける複数のサブ認識モデルにそれぞれ入力し、前記複数のサブ認識モデルによって前記ターゲット画像にラベルを付けて、前記複数のラベル情報を取得するためのラベル情報取得サブユニット231を含む。
本願の実施例では、図12に示すように、図11における第1の認識モジュール400は、前記業務垂直カテゴリの、少なくとも前記業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得するための投稿ポリシー取得ユニット410と、前記投稿ポリシーに基づいて、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するためのラベル情報認識ユニット420と、を含む。
本願の実施例では、図12に示すように、本願にて提供される画像審査装置1000は、前記ターゲット画像のテキスト情報を抽出するための抽出モジュール600と、前記テキスト情報と前記複数のラベル情報とに基づいて、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であるか否かを認識するための第2の認識モジュール700と、をさらに含む。
本願の実施例では、図12に示すように、本願にて提供される画像審査装置1000は、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像ではない場合、前記業務垂直カテゴリの少なくとも1つの投稿位置を取得し、そのうちの1つの投稿位置に前記ターゲット画像を投稿するための投稿モジュール800をさらに含む。
本願の実施例に係る画像審査方法によれば、審査対象のターゲット画像を取得し、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得し、続いてターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得し、さらに、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識し、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれていることが認識された場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査することにより、画像に対する審査処理を実現できる。これにより、本願は、ターゲット画像の複数のラベル情報を同時に取得することにより、異なる業務垂直カテゴリに対して、ターゲット画像が禁止されているか否かを動的に審査して、ターゲット画像の複数の業務垂直カテゴリにおける異なる審査結果を取得することができ、画像審査の柔軟性と正確性を向上させ、異なる業務垂直カテゴリに対して、より適切に画像審査を行うという目的が達成される。
本願の実施例によれば、本願は、電子機器、及び読み取り可能な記憶媒体をさらに提供する。
本願の実施例によれば、本願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本願によって提供される画像審査方法を実行させる。
図13に示すように、本願の実施例の画像審査の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本願の実現を制限することを意図したものではない。
図13に示すように、当該電子機器は、1つ又は複数のプロセッサ1100と、メモリ1200と、高速インターフェース及び低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力/出力装置(例えば、インターフェースに結合されたディスプレイデバイスなど)にGUIの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む。他の実施方式では、必要に応じて、複数のプロセッサ及び/又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作(例えば、サーバアレイ、1グループのブレードサーバ、又はマルチプロセッサシステムとする)を提供することができる。図13では、1つのプロセッサ1100を例とする。
メモリ1200は、本願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中で、前記メモリには、少なくとも1つのプロセッサが本願により提供される画像審査方法を実行するように、少なくとも1つのプロセッサによって実行可能な命令が記憶されている。本願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本願により提供される画像審査方法を実行させるためのコンピュータ命令が記憶されている。
メモリ1200は、非一時的なコンピュータ読み取り可能な記憶媒体として、本願の実施例における画像審査方法に対応するプログラム命令/モジュール(例えば、図11に示すターゲット画像取得モジュール100、ラベル情報取得モジュール200、業務垂直カテゴリ取得モジュール300、第1の認識モジュール400、及び審査モジュール500)のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ1100は、メモリ1200に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例における画像審査方法を実現する。
メモリ1200は、ストレージプログラムエリアとストレージデータエリアとを含むことができ、その中で、ストレージプログラムエリアは、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータエリアは、画像審査の電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ1200は、高速ランダムアクセスメモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ1200は、プロセッサ1100に対して遠隔に設定されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介して画像審査の電子機器に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
画像審査の電子機器は、入力装置1300と出力装置1400とをさらに含んでもよい。プロセッサ1100、メモリ1200、入力装置1300、及び出力装置1400は、バス又は他の方式を介して接続することができ、図13では、バスを介して接続することを例とする。
入力装置1300は、入力された数字又は文字情報を受信し、画像審査の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、1つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置1400は、ディスプレイデバイス、補助照明装置(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態で、ディスプレイデバイスは、タッチスクリーンであってもよい。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施され、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に伝送することができる。
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び/又は対象指向プログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形態(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント-サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。
本願の実施例に係る画像審査方法によれば、審査対象のターゲット画像を取得し、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得し、続いてターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得し、さらに、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識し、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれていることが認識された場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査することにより、画像に対する審査処理を実現できる。これにより、本願は、ターゲット画像の複数のラベル情報を同時に取得することにより、異なる業務垂直カテゴリに対して、ターゲット画像が禁止されているか否かを動的に審査して、ターゲット画像の複数の業務垂直カテゴリにおける異なる審査結果を取得することができ、画像審査の柔軟性と正確性を向上させ、異なる業務垂直カテゴリに対して、より適切に画像審査を行うという目的が達成される。
なお、上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。
上記具体的な実施形態は、本願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (17)

  1. コンピュータによって実行される画像審査方法であって、
    審査対象のターゲット画像を取得するステップと、
    前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するステップであって、前記複数のラベル情報が、エンティティラベルと、前記ターゲット画像の意味内容を表すラベルとを含むステップと、
    前記ターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得するステップと、
    前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するステップと、
    前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査するステップと、を含む、
    ことを特徴とする画像審査方法。
  2. 前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するステップは、
    前記ターゲット画像を分割して、少なくとも1つの画像セグメントを取得するステップと、
    前記画像セグメントに対して画像認識を行って、前記画像セグメントに対応する認識チャンネルを取得するステップと、
    前記画像セグメントを対応する前記認識チャンネルに入力し、前記認識チャンネルに対応する認識モデルによって前記画像セグメントにラベルを付けて、前記ターゲット画像の前記複数のラベル情報を取得するステップと、を含む、
    ことを特徴とする請求項1に記載の画像審査方法。
  3. 前記ターゲット画像を分割して、少なくとも1つの画像セグメントを取得するステップは、
    前記ターゲット画像に対してコネクテッドドメイン認識を行って、各コネクテッドドメインにおける内容の相関関係を取得し、前記相関関係に基づいて前記ターゲット画像を分割して、前記少なくとも1つの画像セグメントを取得するステップを含む、
    ことを特徴とする請求項に記載の画像審査方法。
  4. 前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するステップは、
    前記ターゲット画像を認識モデルに入力し、かつ、前記認識モデルにおける複数のサブ認識モデルにそれぞれ入力し、前記複数のサブ認識モデルによって前記ターゲット画像にラベルを付けて、前記複数のラベル情報を取得するステップを含む、
    ことを特徴とする請求項1に記載の画像審査方法。
  5. 前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するステップは、
    前記業務垂直カテゴリの、少なくとも前記業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得するステップと、
    前記投稿ポリシーに基づいて、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するステップと、を含む、
    ことを特徴とする請求項1に記載の画像審査方法。
  6. 前記ターゲット画像のテキスト情報を抽出するステップと、
    前記テキスト情報と前記複数のラベル情報とに基づいて、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であるか否かを認識するステップと、をさらに含む、
    ことを特徴とする請求項1~5のいずれかに記載の画像審査方法。
  7. 前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像ではない場合、前記業務垂直カテゴリの少なくとも1つの投稿位置を取得し、そのうちの1つの投稿位置に前記ターゲット画像を投稿するステップをさらに含む、
    ことを特徴とする請求項1~5のいずれかに記載の画像審査方法。
  8. 画像審査装置であって、
    審査対象のターゲット画像を取得するためのターゲット画像取得モジュールと、
    前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するためのラベル情報取得モジュールであって、前記複数のラベル情報が、エンティティラベルと、前記ターゲット画像の意味内容を表すラベルとを含むラベル情報取得モジュールと、
    前記ターゲット画像が投稿しようとする少なくとも1つの業務垂直カテゴリを取得するための業務垂直カテゴリ取得モジュールと、
    前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するための第1の認識モジュールと、
    前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査するための審査モジュールと、を含む、
    ことを特徴とする画像審査装置。
  9. 前記ラベル情報取得モジュールは、
    前記ターゲット画像を分割して、少なくとも1つの画像セグメントを取得するための画像セグメント取得ユニットと、
    前記画像セグメントに対して画像認識を行って、前記画像セグメントに対応する認識チャンネルを取得するための認識チャンネル取得ユニットと、
    前記画像セグメントを対応する前記認識チャンネルに入力し、前記認識チャンネルに対応する認識モデルによって前記画像セグメントにラベルを付けて、前記ターゲット画像の前記複数のラベル情報を取得するためのラベル情報取得ユニットと、を含む、
    ことを特徴とする請求項8に記載の画像審査装置。
  10. 前記画像セグメント取得ユニットは、
    前記ターゲット画像に対してコネクテッドドメイン認識を行って、各コネクテッドドメインにおける内容の相関関係を取得し、前記相関関係に基づいて前記ターゲット画像を分割して、前記少なくとも1つの画像セグメントを取得するための画像セグメント取得サブユニットを含む、
    ことを特徴とする請求項に記載の画像審査装置。
  11. 前記ラベル情報取得ユニットは、
    前記ターゲット画像を認識モデルに入力し、かつ、前記認識モデルにおける複数のサブ認識モデルにそれぞれ入力し、前記複数のサブ認識モデルによって前記ターゲット画像にラベルを付けて、前記複数のラベル情報を取得するためのラベル情報取得サブユニットを含む、
    ことを特徴とする請求項に記載の画像審査装置。
  12. 前記第1の認識モジュールは、
    前記業務垂直カテゴリの、少なくとも前記業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得するための投稿ポリシー取得ユニットと、
    前記投稿ポリシーに基づいて、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するためのラベル情報認識ユニットと、を含む、
    ことを特徴とする請求項8に記載の画像審査装置。
  13. 前記ターゲット画像のテキスト情報を抽出するための抽出モジュールと、
    前記テキスト情報と前記複数のラベル情報とに基づいて、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であるか否かを認識するための第2の認識モジュールと、をさらに含む、
    ことを特徴とする請求項8~12のいずれかに記載の画像審査装置。
  14. 前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像ではない場合、前記業務垂直カテゴリの少なくとも1つの投稿位置を取得し、そのうちの1つの投稿位置に前記ターゲット画像を投稿するための投稿モジュールをさらに含む、
    ことを特徴とする請求項8~12のいずれかに記載の画像審査装置。
  15. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが請求項1~7のいずれかに記載の画像審査方法を実行できるように、前記少なくとも1つのプロセッサによって実行される、
    ことを特徴とする電子機器。
  16. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項1~7のいずれかに記載の画像審査方法を実行させる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
  17. コンピュータプログラムであって、
    前記コンピュータプログラムは、コンピュータに請求項1~7のいずれかに記載の画像審査方法を実行させる、
    ことを特徴とするコンピュータプログラム。
JP2021084866A 2020-06-29 2021-05-19 画像審査方法、装置、電子機器及び記憶媒体 Active JP7223056B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010606433.7A CN111967493A (zh) 2020-06-29 2020-06-29 图像审核方法、装置、电子设备和存储介质
CN202010606433.7 2020-06-29

Publications (2)

Publication Number Publication Date
JP2021144724A JP2021144724A (ja) 2021-09-24
JP7223056B2 true JP7223056B2 (ja) 2023-02-15

Family

ID=73361014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021084866A Active JP7223056B2 (ja) 2020-06-29 2021-05-19 画像審査方法、装置、電子機器及び記憶媒体

Country Status (5)

Country Link
US (1) US20210295085A1 (ja)
EP (1) EP3879451A3 (ja)
JP (1) JP7223056B2 (ja)
KR (1) KR102537568B1 (ja)
CN (1) CN111967493A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112579771B (zh) * 2020-12-08 2024-05-07 腾讯科技(深圳)有限公司 一种内容的标题检测方法及装置
CN114821378B (zh) * 2021-01-22 2024-02-23 百度在线网络技术(北京)有限公司 图像审核方法、装置、电子设备以及存储介质
CN113010721B (zh) * 2021-03-17 2023-10-10 北京百度网讯科技有限公司 一种图片审核方法、装置、电子设备及存储介质
CN113850162B (zh) * 2021-09-10 2023-03-24 北京百度网讯科技有限公司 一种视频审核方法、装置及电子设备
CN115565201B (zh) * 2022-04-18 2024-03-26 荣耀终端有限公司 禁忌图片识别方法、设备及存储介质
CN115358751B (zh) * 2022-08-22 2023-04-28 中电金信软件有限公司 一种交易单据的自动审核方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092002A (ja) 2004-09-21 2006-04-06 Nec Corp 画像オークション装置、画像オークション方法及びそのプログラム
JP2013114596A (ja) 2011-11-30 2013-06-10 Kddi Corp 画像認識装置及び方法
JP2020021243A (ja) 2018-07-31 2020-02-06 グローリー株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP2020052546A (ja) 2018-09-25 2020-04-02 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05159101A (ja) * 1991-11-01 1993-06-25 Fuji Xerox Co Ltd 文書論理構造認識および文書内容認識のための装置および方法
US8358846B2 (en) * 2007-11-13 2013-01-22 Symantec Corporation Scanning images for pornography
CA2810421A1 (en) * 2010-09-10 2012-03-15 Rudolf Hauke Method for finding and digitally evaluating illegal image material
CN103312770B (zh) * 2013-04-19 2017-05-03 无锡成电科大科技发展有限公司 一种云平台资源审核的方法
US9530082B2 (en) * 2015-04-24 2016-12-27 Facebook, Inc. Objectionable content detector
US20180189597A1 (en) * 2016-12-30 2018-07-05 Facebook, Inc. Training an Image Classifier
US10489685B1 (en) * 2017-02-22 2019-11-26 Symantec Corporation Image data identifiers and validators for data loss prevention
EP3425559A3 (en) * 2017-07-07 2019-03-20 Accenture Global Solutions Limited Image content moderation
CN107688960A (zh) * 2017-07-31 2018-02-13 上海与德科技有限公司 共享广告牌投放内容的审核系统及服务器
US10643074B1 (en) * 2018-06-08 2020-05-05 Amazon Technologies, Inc. Automated video ratings
CN111277877A (zh) * 2018-11-20 2020-06-12 慧盾信息安全科技(苏州)股份有限公司 一种基于内容识别的多媒体显示大屏安全防护系统和方法
CN109523281A (zh) * 2018-11-26 2019-03-26 北京拓世寰宇网络技术有限公司 一种确定房源图片类别的方法及装置
CN109597902A (zh) * 2018-12-20 2019-04-09 深圳市丰巢科技有限公司 图片审核方法、装置、设备及存储介质
CN111310026A (zh) * 2020-01-17 2020-06-19 南京邮电大学 一种基于人工智能的涉黄涉恐监测方法
CN111259292A (zh) * 2020-02-13 2020-06-09 京东数字科技控股有限公司 图像呈现控制方法和装置
US11423265B1 (en) * 2020-06-30 2022-08-23 Amazon Technologies, Inc. Content moderation using object detection and image classification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092002A (ja) 2004-09-21 2006-04-06 Nec Corp 画像オークション装置、画像オークション方法及びそのプログラム
JP2013114596A (ja) 2011-11-30 2013-06-10 Kddi Corp 画像認識装置及び方法
JP2020021243A (ja) 2018-07-31 2020-02-06 グローリー株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP2020052546A (ja) 2018-09-25 2020-04-02 楽天株式会社 情報処理装置、情報処理方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
EP3879451A3 (en) 2021-12-22
US20210295085A1 (en) 2021-09-23
KR102537568B1 (ko) 2023-05-26
CN111967493A (zh) 2020-11-20
EP3879451A2 (en) 2021-09-15
JP2021144724A (ja) 2021-09-24
KR20210087001A (ko) 2021-07-09

Similar Documents

Publication Publication Date Title
JP7223056B2 (ja) 画像審査方法、装置、電子機器及び記憶媒体
US11722727B2 (en) Special effect processing method and apparatus for live broadcasting, and server
CN106303723B (zh) 视频处理方法和装置
CN109618236B (zh) 视频评论处理方法和装置
CN103781522A (zh) 用于生成并加入经验共享的方法和系统
CN111225236B (zh) 生成视频封面的方法、装置、电子设备以及计算机可读存储介质
CN109408672B (zh) 一种文章生成方法、装置、服务器及存储介质
CN111726682B (zh) 视频片段生成方法、装置、设备和计算机存储介质
JP7164588B2 (ja) 映像タイプの検出方法、装置、電子機器、記憶媒体及びコンピュータプログラム
WO2022089170A1 (zh) 字幕区域识别方法、装置、设备及存储介质
CN112182297A (zh) 训练信息融合模型、生成集锦视频的方法和装置
CN111954077A (zh) 针对直播的视频流处理方法和装置
CN112036373B (zh) 训练视频文本分类模型的方法、视频文本分类方法和装置
CN111770375A (zh) 视频处理方法、装置、电子设备及存储介质
CN111309200B (zh) 一种扩展阅读内容的确定方法、装置、设备及存储介质
CN110532404B (zh) 一种源多媒体确定方法、装置、设备及存储介质
CN108921138B (zh) 用于生成信息的方法和装置
CN111949820B (zh) 视频关联兴趣点的处理方法、装置及电子设备
Midoglu et al. Ai-based sports highlight generation for social media
CN112016521A (zh) 视频处理的方法及装置
CN112241752A (zh) 模型训练方法、数据处理方法、分类方法、装置、设备
CN114697741B (zh) 多媒体信息的播放控制方法及相关设备
CN111787389B (zh) 转置视频识别方法、装置、设备及存储介质
CN114283349A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN112541784B (zh) 会员识别方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210519

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230203

R150 Certificate of patent or registration of utility model

Ref document number: 7223056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150