JP7223056B2

JP7223056B2 - 画像審査方法、装置、電子機器及び記憶媒体

Info

Publication number: JP7223056B2
Application number: JP2021084866A
Authority: JP
Inventors: ハオスン
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-06-29
Filing date: 2021-05-19
Publication date: 2023-02-15
Anticipated expiration: 2041-05-19
Also published as: KR20210087001A; CN111967493B; CN111967493A; KR102537568B1; US20210295085A1; JP2021144724A; EP3879451A3; EP3879451A2

Description

本願の実施例は、概して、画像処理技術の分野に関し、より具体的には、深層学習、人工知能、コンピュータビジョン、及び自然言語処理技術の分野に関する。

近年、カメラ端末の普及、セルフメディアの急成長、及びインターネットリソースの豊富さに伴い、動画や画像の投稿は、ユーザの重要な娯楽やコミュニケーション手段となっている。同時に、ソーシャルメディア、フォーラム、ライブサイトなどのプラットフォームの画像審査のニーズも必要に応じて発生した。ユーザでアップロードされたビデオの各フレームの画像又はユーザでアップロードされたピクチャーを正確に審査することにより、ネットワーク情報の健全性を確保し、著作権を保護するなどの重要な役割を果たすことができる。そのため、画像審査中の精度をいかに高めるかは、重要な研究方向の１つとなっている。

本願は、画像審査方法、装置、電子機器及び記憶媒体を提供する。

第１の態様によれば、画像審査方法を提供し、
審査対象のターゲット画像を取得するステップと、
前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するステップと、
前記ターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリを取得するステップと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するステップと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査するステップと、を含む。

第２の態様によれば、画像審査装置を提供し、
審査対象のターゲット画像を取得するためのターゲット画像取得モジュールと、
前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するためのラベル情報取得モジュールと、
前記ターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリを取得するための業務垂直カテゴリ取得モジュールと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するための第１の認識モジュールと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査するための審査モジュールと、を含む。

第３の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが本願の第１の態様に記載の画像審査方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

第４の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに第１の態様に記載の画像審査方法を実行させる。

第５の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに第１の態様に記載の画像審査方法を実行させる。

本願にて提供される実施例は、少なくとも以下のような有益な技術的効果を有する。
本願の実施例に係る画像審査方法によれば、審査対象のターゲット画像を取得し、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得し、続いてターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリを取得し、さらに、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識し、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれていることが認識された場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査することにより、画像に対する審査処理を実現できる。これにより、本願は、ターゲット画像の複数のラベル情報を同時に取得することにより、異なる業務垂直カテゴリに対して、ターゲット画像が禁止されているか否かを動的に審査して、ターゲット画像の複数の業務垂直カテゴリにおける異なる審査結果を取得することができ、画像審査の柔軟性と正確性を向上させ、異なる業務垂直カテゴリに対して、より適切に画像審査を行うという目的が達成される。

なお、この部分に記載されている内容は、本願の実施例の肝心又は重要な特徴を特定することを意図しておらず、本願の範囲を限定するものでもない。本願の他の特徴は、以下の明細書を通じて容易に理解される。

図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
本願の第１の実施例に係る概略図である。ターゲット画像の複数のラベル情報の概略図である。本願の第２の実施例に係る概略図である。画像セグメントの概略図である。別のターゲット画像の複数のラベル情報の概略図である。本願の第３の実施例に係る概略図である。本願の第４の実施例に係る概略図である。ターゲット画像のテキスト情報の概略図である。別のターゲット画像のテキスト情報の概略図である。本願の第５の実施例に係る概略図である。本願の実施例に係る画像審査方法を実現するための画像審査装置のブロック図である。本願の実施例に係る画像審査方法を実現するための画像審査装置のブロック図である。本願の実施例に係る画像審査方法を実現するための電子機器のブロック図である。

以下、図面と組み合わせて本願の例示的な実施例を説明し、理解を容易にするためにその中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

以下、図面を参照しながら、本願の実施例に係る画像審査方法、装置、電子機器及び記憶媒体について説明する。
図１は、本願の第１の実施例に係る概略図である。なお、本実施例の画像審査方法の実行主体は、画像審査装置であり、画像審査装置は、具体的には、ハードウェアデバイス、又はハードウェアデバイス内のソフトウェアなどであってもよい。ここで、ハードウェアデバイスは、例えば端末機器、サーバなどである。図１に示すように、本実施例にて提供される画像審査方法は、以下のステップＳ１０１～ステップＳ１０５を含む。

Ｓ１０１において、審査対象のターゲット画像を取得する。
ここで、審査対象のターゲット画像は、任意の画像であってもよく、また、例えば、教学ビデオ及び映画とテレビドラマ再生ビデオなどの任意のビデオに対して、デコード及びフレーム抽出を行って、１つずつのフレームの画像を取得し、そのうちのいずれかのフレームの画像をターゲット画像として選択してもよい。

なお、ターゲット画像を取得しようとする場合、ローカル又はリモート記憶領域に予め記憶された画像をターゲット画像として取得してもよいし、画像を直接撮像してターゲット画像としてもよい。選択可能に、ターゲット画像を取得するために、ローカル又はリモートビデオライブラリ、画像ライブラリのうちの少なくとも１方から、記憶されたビデオ又は画像を取得してもよく、選択可能に、画像を直接撮像してターゲット画像としてもよい。本願の実施例は、審査対象のターゲット画像を取得する方式に対して限定せず、実際の状況に応じて選択することができる。

Ｓ１０２において、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得する。
ここで、ラベル付けとは、深層学習技術により、画像に詳細かつ具体的なラベルを追加して画像内容の分類を補完する過程を意味する。

本願の実施例では、ターゲット画像を少なくとも１つの予めトレーニングされたモデルに入力し、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得することができる。

例えば、図２に示すように、ターゲット画像にラベルを付けて、ターゲット画像の、サッカースター、サッカー、女性などのエンティティラベルを取得することができ、また、セクシー、サッカーの試合などのような、画像の意味内容を特徴付けるラベルを含むこともでき、図２に示すように、ターゲット画像に、海外のサッカースター１１－１、セクシーなサッカーベイビー１１－２、サッカー１２－１、サッカーの試合１２－２などの複数のラベル情報を付けることができる。
Ｓ１０３において、ターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリを取得する。

ここで、業務垂直カテゴリは、観光カテゴリ、スポーツカテゴリ、アニメカテゴリ、及び教学カテゴリなどの少なくとも１つを含んでもよいが、これらに限定されない。

なお、同一の業務垂直カテゴリに属する業務は、類似するユーザグループへのサービス提供に重点を置いており、また、類似する画像審査の注目方向及びスケールもあり、これに応じて、異なる業務垂直カテゴリの同じターゲット画像に対する画像審査の注目方向及びスケールも異なる。

例として、バスケットボールの試合の生放送業務とサッカーフォーラム業務は、同一の業務垂直カテゴリに属し、また、類似する画像審査の注目方向及びスケールもあり、子供向けの科学知識普及用書籍業務とスターリアリティ番組放送業務は、異なる業務垂直カテゴリに属し、画像審査の注目方向及びスケールも異なる。

Ｓ１０４において、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識する。
本願の実施例では、ターゲット画像の複数のラベル情報と、ターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリとを取得した後、予め設定された画像審査基準に従って、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識することができる。

ここで、画像審査基準には、当該業務垂直カテゴリで除外されたラベル情報が少なくとも含まれている。例えば、教学カテゴリで除外されたラベル情報を、セクシー、自殺、暴力などとして設定することができる。

Ｓ１０５において、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれている場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査する。

なお、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれている場合、ターゲット画像が当該業務垂直カテゴリにおいて禁止画像であると決定することしかできない。

例えば、ターゲット画像のラベル情報がセクシーなサッカーベイビーであることを取得した場合、ターゲット画像が、教学カテゴリにおいて禁止画像であるが、スポーツカテゴリにおいて合格（非禁止）画像であると審査する。

本願の実施例に係る画像審査方法によれば、審査対象のターゲット画像を取得し、ターゲット画像にラベルを付けて、ターゲット画像の複数のラベル情報を取得し、続いてターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリを取得し、さらに、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識し、複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれていることが認識された場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査することにより、画像に対する審査処理を実現できる。これにより、本願は、ターゲット画像の複数のラベル情報を同時に取得することにより、異なる業務垂直カテゴリに対して、ターゲット画像が禁止されているか否かを動的に審査して、ターゲット画像の複数の業務垂直カテゴリにおける異なる審査結果を取得することができ、画像審査の柔軟性と正確性を向上させ、異なる業務垂直カテゴリに対して、より適切に画像審査を行うという目的が達成される。

なお、本願では、ターゲット画像の複数のラベル情報を取得しようとする場合、ターゲット画像を分割して、少なくとも１つの画像セグメントを取得し、さらに、画像セグメントを対応する前記認識チャンネルに入力することで、ターゲット画像の複数のラベル情報を取得することができる。

可能な一実現形態として、図３に示すように、上記実施例を基に、上記ステップＳ１０２におけるターゲット画像の複数のラベル情報を取得するプロセスは、具体的には以下のステップＳ２０１～ステップＳ２０３を含む。

Ｓ２０１において、ターゲット画像を分割して、少なくとも１つの画像セグメントを取得する。
選択可能に、ターゲット画像に対してコネクテッドドメイン（ＣｏｎｎｅｃｔｅｄＣｏｍｐｏｎｅｎｔ）認識を行い、各コネクテッドドメインにおける内容の相関関係を取得し、相関関係に基づいてターゲット画像を分割して、少なくとも１つの画像セグメントを取得することができる。

ここで、コネクテッドドメインとは、一般に、画像における同じ画素値を有するとともに、位置が隣接する前景の画素点からなる画像ドメイン（Ｂｌｏｂ）を意味する。コネクテッドドメイン認識とは、画像中の各々のコネクテッドドメインを見つけ出して、それにラベルを付けるプロセスを意味する。つまり、コネクテッドドメイン認識方法は、後の処理を容易にするために、前景のターゲットを抽出する必要があるいずれの応用シーンにも適用でき、通常、コネクテッドドメイン認識処理のオブジェクトは２値化された画像である。

例えば、図４に示すように、図２に示すターゲット画像を分割して、１３－１乃至１３－３の計３つの画像セグメントを取得することができる。

Ｓ２０２において、画像セグメントに対して画像認識を行って、画像セグメントに対応する認識チャンネルを取得する。
ここで、認識チャンネルとは、画像セグメントに対して画像認識を行う認識モデルを含むチャンネルを指し、例えば、シーン認識モデルを含むチャンネル、人物認識モデルを含むチャンネル、物品認識モデルを含むチャンネル、及び動物認識モデルを含むチャンネルなどである。

なお、１つの画像セグメントは複数の認識チャンネルに対応する可能性があり、つまり、１つの画像セグメントは複数の認識モデルに対応する可能性がある。例えば、図４に示す画像セグメント１３－２に対応する認識チャンネルは、人物認識モデル及び物品認識モデルであってもよい。

Ｓ２０３において、画像セグメントを対応する認識チャンネルに入力し、認識チャンネルに対応する認識モデルによって画像セグメントにラベルを付けて、ターゲット画像の複数のラベル情報を取得する。
なお、１つの画像セグメントが複数の認識チャンネルに対応する場合、当該画像セグメントを対応する複数の認識チャンネルに順次入力することができる。

例えば、図５に示すように、図４に示す画像セグメント１３－２に対応する認識チャンネルは、それぞれ人物認識モデルと物品認識モデルとを含むチャンネルであり、選択可能に、まず、画像セグメント１３－２を人物認識モデルに対応する認識チャンネルに入力し、人物認識モデルによって画像セグメント１３－２にラベルを付けて、サッカー１４－１というラベル情報を取得し、さらに、画像セグメント１３－２を物品認識モデルに対応する認識チャンネルに入力し、物品認識モデルによって画像セグメント１３－２にラベルを付けて、セクシーなサッカーベイビー１４－２というラベル情報を取得することができる。

可能な別の実現形態として、ターゲット画像を認識モデルに入力し、かつ、認識モデルにおける複数のサブ認識モデルにそれぞれ入力し、複数のサブ認識モデルによってターゲット画像にラベルを付けて、複数のラベル情報を取得することができる。

ここで、サブ認識モデルは、シーンサブ認識モデル、人物サブ認識モデル、物品サブ認識モデル、及び動物サブ認識モデルなどのサブモデルのうちの少なくとも１つを含んでもよい。

本願の実施例の画像審査方法によれば、ターゲット画像を分割して、少なくとも１つの画像セグメントを取得し、画像セグメントに対して画像認識を行って、画像セグメントに対応する認識チャンネルを取得し、さらに、画像セグメントを対応する認識チャンネルに入力し、認識チャンネルに対応する認識モデルによって画像セグメントにラベルを付けて、ターゲット画像の複数のラベル情報を取得することができる。これにより、本願は、分割によって取得された画像セグメントを少なくとも１つの対応する認識チャンネルに入力するとともに、ターゲット画像の複数のラベル情報を取得することにより、１つのターゲット画像に複数のラベルを付けるという目的が実現され、画像審査の柔軟性と正確性をさらに向上させることができる。

なお、本願では、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識しようとする場合、業務垂直カテゴリに対応する投稿ポリシーに基づいて、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識することができる。

可能な別の実現形態として、図６に示すように、上記実施例を基に、上記ステップＳ１０４における複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するプロセスは、具体的には、以下のステップＳ３０１と、ステップＳ３０２と、を含む。

Ｓ３０１において、業務垂直カテゴリの、少なくとも業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得する。
本願の実施例では、ユーザは、業務垂直カテゴリの投稿ポリシーをアップロードすることができ、それに応じて、当該業務垂直カテゴリの投稿ポリシーを受信し、その中から業務垂直カテゴリで除外されたラベル情報を抽出することができる。

Ｓ３０２において、投稿ポリシーに基づいて、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識する。

なお、ターゲット画像の複数のラベル情報のうちのいずれかのラベル情報、又はいずれかのラベル情報の一部の情報が、当該業務垂直カテゴリで除外されたラベル情報である場合、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識する。

例えば、教学カテゴリで除外されたラベル情報がセクシーである場合、取得されたターゲット画像のラベル情報がセクシーなサッカーベイビー又はセクシーな女性教師であり、認識結果は、いずれも教学カテゴリで除外されたラベル情報を含む。

本願の実施例の画像審査方法によれば、業務垂直カテゴリの、少なくとも業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得し、投稿ポリシーに基づいて、複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識することができる。これにより、本願は、異なる業務垂直カテゴリに対応する投稿ポリシーに基づいて、ターゲット画像の複数のラベル情報に、業務垂直カテゴリで除外されたラベル情報が含まれているか否かを柔軟に認識することができ、それにより、異なる業務垂直カテゴリに対して、ターゲット画像が禁止されているか否かを動的に審査して、ターゲット画像の複数の業務垂直カテゴリにおける異なる審査結果を取得し、画像審査の柔軟性と正確性をさらに向上させることができる。

なお、本願では、ターゲット画像をより網羅的に分析できるように、ターゲット画像の複数のラベル情報を取得することを基にて、ターゲット画像のテキスト情報を抽出することもでき、さらに、ターゲット画像のテキスト情報と複数のラベル情報と組み合わせて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することができる。

可能な一実現形態として、図７に示すように、上記実施例を基に、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識するプロセスは、具体的には以下のステップＳ４０１と、ステップＳ４０２と、を含む。

Ｓ４０１において、ターゲット画像のテキスト情報を抽出する。
選択可能に、ターゲット画像のテキスト情報を抽出しようとする場合、光学文字認識（ＯｐｔｉｃａｌＣｈａｒａｃｔｅｒＲｅｃｏｇｎｉｔｉｏｎ、ＯＣＲと略称される）方法を用いてターゲット画像のテキスト情報を抽出して、ターゲット画像のテキスト情報を取得することができる。

例えば、図８に示すように、ＯＣＲ方法により、ターゲット画像のテキスト情報を抽出して、ターゲット画像の、２０１４（年）１５－１、Ｂｒａｓｉｌ（ブラジル）１５－２、ＦＩＦＡＷＯＲＤＣＵＰ（ワールドカップ）１５－３、及びワールドカップドリームチーム１５－４というテキスト情報を取得することができる。

なお、ターゲット画像のテキスト情報を抽出しようとする場合、ターゲット画像にリンクなどの情報が含まれていれば、ＯＣＲ方法によりリンク中のアンカーテキスト（ＡｎｃｈｏｒＴｅｘｔ）情報をさらに取得することができる。

例えば、図９に示すように、ＯＣＲ方法により、ターゲット画像のテキスト情報を抽出して、ターゲット画像の、２０１４（年）１５－１、Ｂｒａｓｉｌ（ブラジル）１５－２、ＦＩＦＡＷＯＲＤＣＵＰ（ワールドカップ）１５－３、ワールドカップドリームチーム１５－４、及びアンカーテキスト「クリックイン」１５－５というテキスト情報を取得することができる。

Ｓ４０２において、テキスト情報と複数のラベル情報とに基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識する。

選択可能に、取得されたテキスト情報及び複数のラベル情報を、業務垂直カテゴリで除外されたラベル情報と比較し、取得されたテキスト情報又は複数のラベル情報に業務垂直カテゴリで除外されたラベル情報が含まれていると認識された場合、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると審査し、取得されたテキスト情報及び複数のラベル情報のいずれにも業務垂直カテゴリで除外されたラベル情報が含まれていないと認識された場合、ターゲット画像が業務垂直カテゴリにおいて合格画像であると審査する。

本願の実施例の画像審査方法によれば、ターゲット画像のテキスト情報を抽出し、テキスト情報と複数のラベル情報とに基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することができる。これにより、本願は、ターゲット画像のテキスト情報を抽出し、ターゲット画像の複数のラベル情報に基づいてターゲット画像のテキスト情報と組み合わせて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することができ、ターゲット画像をより網羅的かつ正確に分析することができ、画像審査の柔軟性及び正確性をさらに向上させることができる。

図１０は、本願の第５の実施例に係る概略図である。図１０に示すように、上記実施例を基に、本実施にて提供される画像審査方法は、以下のステップＳ５０１～ステップＳ５１０を含む。

Ｓ５０１において、審査対象のターゲット画像を取得する。
Ｓ５０２において、ターゲット画像を分割して、少なくとも１つの画像セグメントを取得する。

Ｓ５０３において、画像セグメントに対して画像認識を行って、画像セグメントに対応する認識チャンネルを取得する。
Ｓ５０４において、画像セグメントを対応する認識チャンネルに入力し、認識チャンネルに対応する認識モデルによって画像セグメントにラベルを付けて、ターゲット画像の複数のラベル情報を取得する。

Ｓ５０５において、ターゲット画像のテキスト情報を抽出して、ターゲット画像のテキスト情報を取得する。
Ｓ５０６において、ターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリを取得する。

Ｓ５０７において、業務垂直カテゴリの、少なくとも業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得する。
Ｓ５０８において、投稿ポリシー、複数のラベル情報及びテキスト情報に基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識する。

選択可能に、ターゲット画像が業務垂直カテゴリにおいて禁止画像であると認識された場合、ステップＳ５０９を実行することができ、ターゲット画像が業務垂直カテゴリにおいて禁止画像ではないと認識された場合、ステップＳ５１０を実行することができる。

Ｓ５０９において、認識結果を出力する。
なお、認識結果を出力しようとする際に、「このピクチャーは禁止ピクチャーである」又は「ピクチャーは審査に不合格である」などの文字情報又は音声情報を出力してもよい。さらに、ユーザがターゲットピクチャーを意図的に交換するのを支援するために、認識結果を出力するとともに、ターゲット画像が禁止されるものとして認識された理由を出力することができ、例えば「このピクチャーにはポルノ情報が含まれており、禁止ピクチャーに属している」などのプロンプトを出力することができる。

Ｓ５１０において、業務垂直カテゴリの少なくとも１つの投稿位置を取得し、そのうちの１つの投稿位置にターゲット画像を投稿する。
選択可能に、ターゲット画像が業務垂直カテゴリにおいて禁止画像ではないと認識された場合、業務垂直カテゴリの少なくとも１つの投稿位置を取得し、当該投稿位置をオンにする命令を出して、そのうちの１つの投稿位置にターゲット画像を投稿することができる。

なお、ステップＳ５０１～Ｓ５０９に関する紹介は、上記実施例における関連する説明を参照でき、ここでは説明を省略する。
なお、本願にて提案される画像審査方法は、多様な画像審査分野に関連するシーンに適用され得る。

自動化画像審査の適用シーンについて、人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ、ＡＩと略称される）技術でターゲットビデオを取得した後、自然言語処理技術とコンピュータビジョン技術と組み合わせて、ターゲット画像に対して自動的にラベル付け及びテキスト情報の抽出を行い、さらに複数のラベル情報とテキスト情報とに基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することにより、画像の自動審査が実現され、自動化画像審査プロセスがいかなる人的介入にも依拠せず、異なる業務垂直カテゴリに対して、動的な自動化画像審査を完全且つ徹底的に行うことを実現することができ、自動化画像審査の効率と正確性を向上させ、人件費を大幅に低減する。

ショートビデオアプリケーションの適用シーンについて、ユーザによってスマートフォンなどの端末を介してアップロードされたターゲット画像を取得し、ターゲット画像に対して自動的にラベル付け及びテキスト情報の抽出を行い、さらに、複数のラベル情報とテキスト情報とに基づいて、ターゲット画像が業務垂直カテゴリにおいて禁止画像であるか否かを認識することができる。さらに、ユーザによってアップロードされたターゲット画像が禁止画像であると認識された場合、ユーザがターゲットピクチャーを意図的に交換するのを支援するために、認識結果を出力するとともに、ターゲット画像が禁止されるものとして認識された理由を出力することができ、これにより、ユーザが当該業務垂直カテゴリの画像審査規則を熟知しないため、ターゲット画像を予定通りに投稿できず、さらには罰せられるリスクを顕著に低減できるとともに、当該業務垂直カテゴリでのユーザの画像アップロード習慣に積極的なガイダンスを提供して、ユーザエクスペリエンスを大幅に向上させた。

上記いくつかの実施例にて提供される画像審査方法に対応して、本願の一実施例は、画像審査装置をさらに提供し、本願の実施例にて提供される画像審査装置が上記いくつかの実施例にて提供される画像審査方法に対応するため、画像審査方法の実施形態は、本実施例にて提供される画像審査装置にも適用し、本実施例では説明を省略する。図１１～図１２は、本願の一実施例に係る画像審査装置の概略構造図である。

図１１に示すように、当該画像審査装置１０００は、ターゲット画像取得モジュール１００と、ラベル情報取得モジュール２００と、業務垂直カテゴリ取得モジュール３００と、第１の認識モジュール４００と、審査モジュール５００と、を含む。

ターゲット画像取得モジュール１００は、審査対象のターゲット画像を取得する。
ラベル情報取得モジュール２００は、前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得する。

業務垂直カテゴリ取得モジュール３００は、前記ターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリを取得する。
第１の認識モジュール４００は、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識する。

審査モジュール５００は、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査する。

本願の実施例では、図１２に示すように、図１１におけるラベル情報取得モジュール２００は、前記ターゲット画像を分割して、少なくとも１つの画像セグメントを取得するための画像セグメント取得ユニット２１０と、前記画像セグメントに対して画像認識を行って、前記画像セグメントに対応する認識チャンネルを取得するための認識チャンネル取得ユニット２２０と、前記画像セグメントを対応する前記認識チャンネルに入力し、前記認識チャンネルに対応する認識モデルによって前記画像セグメントにラベルを付けて、前記ターゲット画像の前記複数のラベル情報を取得するためのラベル情報取得ユニット２３０と、を含む。

本願の実施例では、図１２に示すように、図１１における画像セグメント取得ユニット２１０は、前記ターゲット画像に対してコネクテッドドメイン認識を行って、各コネクテッドドメインにおける内容の相関関係を取得し、前記相関関係に基づいて前記ターゲット画像を分割して、前記少なくとも１つの画像セグメントを取得するための画像セグメント取得サブユニット２１１を含む。

本願の実施例では、図１２に示すように、図１１におけるラベル情報取得ユニット２３０は、前記ターゲット画像を認識モデルに入力し、かつ、前記認識モデルにおける複数のサブ認識モデルにそれぞれ入力し、前記複数のサブ認識モデルによって前記ターゲット画像にラベルを付けて、前記複数のラベル情報を取得するためのラベル情報取得サブユニット２３１を含む。

本願の実施例では、図１２に示すように、図１１における第１の認識モジュール４００は、前記業務垂直カテゴリの、少なくとも前記業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得するための投稿ポリシー取得ユニット４１０と、前記投稿ポリシーに基づいて、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するためのラベル情報認識ユニット４２０と、を含む。

本願の実施例では、図１２に示すように、本願にて提供される画像審査装置１０００は、前記ターゲット画像のテキスト情報を抽出するための抽出モジュール６００と、前記テキスト情報と前記複数のラベル情報とに基づいて、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であるか否かを認識するための第２の認識モジュール７００と、をさらに含む。

本願の実施例では、図１２に示すように、本願にて提供される画像審査装置１０００は、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像ではない場合、前記業務垂直カテゴリの少なくとも１つの投稿位置を取得し、そのうちの１つの投稿位置に前記ターゲット画像を投稿するための投稿モジュール８００をさらに含む。

本願の実施例によれば、本願は、電子機器、及び読み取り可能な記憶媒体をさらに提供する。
本願の実施例によれば、本願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本願によって提供される画像審査方法を実行させる。

図１３に示すように、本願の実施例の画像審査の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本願の実現を制限することを意図したものではない。

図１３に示すように、当該電子機器は、１つ又は複数のプロセッサ１１００と、メモリ１２００と、高速インターフェース及び低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力／出力装置（例えば、インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む。他の実施方式では、必要に応じて、複数のプロセッサ及び／又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作（例えば、サーバアレイ、１グループのブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図１３では、１つのプロセッサ１１００を例とする。

メモリ１２００は、本願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中で、前記メモリには、少なくとも１つのプロセッサが本願により提供される画像審査方法を実行するように、少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本願により提供される画像審査方法を実行させるためのコンピュータ命令が記憶されている。

メモリ１２００は、非一時的なコンピュータ読み取り可能な記憶媒体として、本願の実施例における画像審査方法に対応するプログラム命令／モジュール（例えば、図１１に示すターゲット画像取得モジュール１００、ラベル情報取得モジュール２００、業務垂直カテゴリ取得モジュール３００、第１の認識モジュール４００、及び審査モジュール５００）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ１１００は、メモリ１２００に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例における画像審査方法を実現する。

メモリ１２００は、ストレージプログラムエリアとストレージデータエリアとを含むことができ、その中で、ストレージプログラムエリアは、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータエリアは、画像審査の電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ１２００は、高速ランダムアクセスメモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ１２００は、プロセッサ１１００に対して遠隔に設定されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介して画像審査の電子機器に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

画像審査の電子機器は、入力装置１３００と出力装置１４００とをさらに含んでもよい。プロセッサ１１００、メモリ１２００、入力装置１３００、及び出力装置１４００は、バス又は他の方式を介して接続することができ、図１３では、バスを介して接続することを例とする。

入力装置１３００は、入力された数字又は文字情報を受信し、画像審査の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置１４００は、ディスプレイデバイス、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態で、ディスプレイデバイスは、タッチスクリーンであってもよい。

本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び／又は対象指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。

なお、上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

上記具体的な実施形態は、本願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims

コンピュータによって実行される画像審査方法であって、
審査対象のターゲット画像を取得するステップと、
前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するステップであって、前記複数のラベル情報が、エンティティラベルと、前記ターゲット画像の意味内容を表すラベルとを含むステップと、
前記ターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリを取得するステップと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するステップと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査するステップと、を含む、
ことを特徴とする画像審査方法。
前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するステップは、
前記ターゲット画像を分割して、少なくとも１つの画像セグメントを取得するステップと、
前記画像セグメントに対して画像認識を行って、前記画像セグメントに対応する認識チャンネルを取得するステップと、
前記画像セグメントを対応する前記認識チャンネルに入力し、前記認識チャンネルに対応する認識モデルによって前記画像セグメントにラベルを付けて、前記ターゲット画像の前記複数のラベル情報を取得するステップと、を含む、
ことを特徴とする請求項１に記載の画像審査方法。
前記ターゲット画像を分割して、少なくとも１つの画像セグメントを取得するステップは、
前記ターゲット画像に対してコネクテッドドメイン認識を行って、各コネクテッドドメインにおける内容の相関関係を取得し、前記相関関係に基づいて前記ターゲット画像を分割して、前記少なくとも１つの画像セグメントを取得するステップを含む、
ことを特徴とする請求項２に記載の画像審査方法。
前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するステップは、
前記ターゲット画像を認識モデルに入力し、かつ、前記認識モデルにおける複数のサブ認識モデルにそれぞれ入力し、前記複数のサブ認識モデルによって前記ターゲット画像にラベルを付けて、前記複数のラベル情報を取得するステップを含む、
ことを特徴とする請求項１に記載の画像審査方法。
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するステップは、
前記業務垂直カテゴリの、少なくとも前記業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得するステップと、
前記投稿ポリシーに基づいて、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するステップと、を含む、
ことを特徴とする請求項１に記載の画像審査方法。
前記ターゲット画像のテキスト情報を抽出するステップと、
前記テキスト情報と前記複数のラベル情報とに基づいて、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であるか否かを認識するステップと、をさらに含む、
ことを特徴とする請求項１～５のいずれかに記載の画像審査方法。
前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像ではない場合、前記業務垂直カテゴリの少なくとも１つの投稿位置を取得し、そのうちの１つの投稿位置に前記ターゲット画像を投稿するステップをさらに含む、
ことを特徴とする請求項１～５のいずれかに記載の画像審査方法。
画像審査装置であって、
審査対象のターゲット画像を取得するためのターゲット画像取得モジュールと、
前記ターゲット画像にラベルを付けて、前記ターゲット画像の複数のラベル情報を取得するためのラベル情報取得モジュールであって、前記複数のラベル情報が、エンティティラベルと、前記ターゲット画像の意味内容を表すラベルとを含むラベル情報取得モジュールと、
前記ターゲット画像が投稿しようとする少なくとも１つの業務垂直カテゴリを取得するための業務垂直カテゴリ取得モジュールと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するための第１の認識モジュールと、
前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれている場合、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であると審査するための審査モジュールと、を含む、
ことを特徴とする画像審査装置。
前記ラベル情報取得モジュールは、
前記ターゲット画像を分割して、少なくとも１つの画像セグメントを取得するための画像セグメント取得ユニットと、
前記画像セグメントに対して画像認識を行って、前記画像セグメントに対応する認識チャンネルを取得するための認識チャンネル取得ユニットと、
前記画像セグメントを対応する前記認識チャンネルに入力し、前記認識チャンネルに対応する認識モデルによって前記画像セグメントにラベルを付けて、前記ターゲット画像の前記複数のラベル情報を取得するためのラベル情報取得ユニットと、を含む、
ことを特徴とする請求項８に記載の画像審査装置。
前記画像セグメント取得ユニットは、
前記ターゲット画像に対してコネクテッドドメイン認識を行って、各コネクテッドドメインにおける内容の相関関係を取得し、前記相関関係に基づいて前記ターゲット画像を分割して、前記少なくとも１つの画像セグメントを取得するための画像セグメント取得サブユニットを含む、
ことを特徴とする請求項９に記載の画像審査装置。
前記ラベル情報取得ユニットは、
前記ターゲット画像を認識モデルに入力し、かつ、前記認識モデルにおける複数のサブ認識モデルにそれぞれ入力し、前記複数のサブ認識モデルによって前記ターゲット画像にラベルを付けて、前記複数のラベル情報を取得するためのラベル情報取得サブユニットを含む、
ことを特徴とする請求項９に記載の画像審査装置。
前記第１の認識モジュールは、
前記業務垂直カテゴリの、少なくとも前記業務垂直カテゴリで除外されたラベル情報が含まれている投稿ポリシーを取得するための投稿ポリシー取得ユニットと、
前記投稿ポリシーに基づいて、前記複数のラベル情報に、前記業務垂直カテゴリで除外されたラベル情報が含まれているか否かを認識するためのラベル情報認識ユニットと、を含む、
ことを特徴とする請求項８に記載の画像審査装置。
前記ターゲット画像のテキスト情報を抽出するための抽出モジュールと、
前記テキスト情報と前記複数のラベル情報とに基づいて、前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像であるか否かを認識するための第２の認識モジュールと、をさらに含む、
ことを特徴とする請求項８～１２のいずれかに記載の画像審査装置。
前記ターゲット画像が前記業務垂直カテゴリにおいて禁止画像ではない場合、前記業務垂直カテゴリの少なくとも１つの投稿位置を取得し、そのうちの１つの投稿位置に前記ターゲット画像を投稿するための投稿モジュールをさらに含む、
ことを特徴とする請求項８～１２のいずれかに記載の画像審査装置。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが請求項１～７のいずれかに記載の画像審査方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
ことを特徴とする電子機器。
コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～７のいずれかに記載の画像審査方法を実行させる、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
コンピュータプログラムであって、
前記コンピュータプログラムは、コンピュータに請求項１～７のいずれかに記載の画像審査方法を実行させる、
ことを特徴とするコンピュータプログラム。