JP2023547587A - 画像処理方法及び装置、デバイス、及びコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

この出願は、画像処理方法及び装置、デバイス、及び、コンピュータ読み取り可能な記憶媒体を提供し、コンピュータビジョンの分野において使用される。その方法は、第1の画像デバイスが、未処理の画像の圧縮されている画像を取得し、そして、圧縮されている画像を解凍して、第1の解凍されている画像を取得するステップと、第1の画像デバイスが、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて、ターゲット差分情報を決定するステップと、第1の画像デバイスが、さらに、ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得するステップと、第1の画像デバイスが、最終的に、第2の画像デバイスに圧縮されている画像及び圧縮されているターゲット差分情報を送信し、それによって、第2の画像デバイスは、受信した情報に基づいて、画像を復元する、ステップと、を含む。この出願は、第2の画像デバイスが復元する画像と未処理の画像との間の精度損失を減少させるのに役立つ。

Description

[関連出願への相互参照]
この出願は、2020年9月17日付で中国国家知的財産管理局に出願された"画像処理方法及び装置、デバイス、及びコンピュータ読み取り可能な記憶媒体"と題する中国特許出願第202010981884.9号に基づく優先権を主張し、その内容は、その全体が参照により本明細書に組み込まれる。

[技術分野]
この出願は、コンピュータビジョンの分野に関し、特に、画像処理方法及び装置、デバイス、及びコンピュータ読み取り可能な記憶媒体に関する。

画像圧縮は、コンピュータビジョンの分野における基本技術のうちの1つであり、冗長データを取り除き、画像を表現するのに必要とされるデータの量を減少させて、記憶領域を節約することを目的とする。モバイル通信技術の発展に伴って、モバイル環境において画像圧縮をどのように実装して、伝送帯域幅を減少させるかは、現在のコンピュータビジョン研究で注目されている話題の1つである。特に、産業分野においては、産業用カメラで画像を撮影し、圧縮し、そして、サーバ端に伝送する。そのサーバ端は、その画像を解凍して分析し、そして、生成の際の加工対象画像の処理、組み立て、及び検査を制御しそしてモニタリングするように対応する命令をトリガする。ところが、実際の適用プロセスにおいては、解凍されている画像と未処理の画像との間の精度損失誤差が大きくなる。結果として、サーバ端における認識に影響を与え、さらに分析結果に影響を与える。

したがって、解凍されている画像と未処理の画像との間の精度損失誤差をどのように減少させるかは、解決されるべき緊急の技術的課題である。

この出願は、画像処理方法及び装置、デバイス、及び、コンピュータ読み取り可能な記憶媒体を提供することによって、第2の画像デバイスが復元する画像と未処理の画像との間の精度損失の減少に役立てる。

第1の態様によれば、この出願は、画像処理方法を提供し、その方法は、第1の画像デバイスに適用される。その方法は、第1の画像デバイスによって実行されてもよく、或いは、第1の画像デバイスの中の(例えば、プロセッサ又はチップ等の)装置によって実行されてもよい。その方法は、ある1つの例として第1の画像デバイスを使用し、未処理の画像の圧縮されている画像を取得するステップと、前記圧縮されている画像を解凍して、第1の解凍されている画像を取得するステップと、ターゲット差分情報を決定するステップであって、前記ターゲット差分情報は、前記未処理の画像と前記第1の解凍されている画像との間の差分情報に基づいて取得される、ステップと、前記ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得するステップと、第2の画像デバイスに前記圧縮されている画像及び前記圧縮されているターゲット差分情報を送信するステップと、を含んでもよい。

第1の態様によって提供される方法によれば、圧縮されている画像を使用する際の日常の体験を学習してもよい。未処理の画像を圧縮した後に、その圧縮されている画像は、第2の画像デバイスに送信される。第2の画像デバイスは、圧縮されている画像を直接的に解凍し、その第2の画像デバイスは、解凍されている画像を直接的に識別し及び分析してもよい。第2の画像デバイスが受信した圧縮されている画像を解凍することによって得られる画像が、未処理の画像と比較して大きな精度誤差を有する場合には、ある程度まで以降の認識及び分析に影響を与える。したがって、この出願のこの実施形態においては、元の圧縮されている画像に基づいて、圧縮されている画像を圧縮することによって得られる第1の解凍されている画像と未処理の画像との間のターゲット差分情報を追加する。ターゲット差情報を使用することによって、分析により、未処理の画像と第1の解凍されている画像との間の精度損失を取得することが可能であり、それによって、第2の画像デバイスは、解凍されている画像に対して復元処理を実行して、より精度の高い解凍されている画像を取得し、その結果、解凍されている画像と未処理の画像との間の精度損失を減少させるとともに、解凍されている画像の精度を改善する。そのときに、ターゲット差分情報を圧縮し、そして、その次に、第2の画像デバイスに送信して、伝送される必要があるデータの量を減少させる。

ある1つの可能な実装において、前記差分情報及び前記ターゲット差分情報の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。ターゲット差分情報を決定する前記ステップは、前記差分情報の中に含まれる前記画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、前記ターゲット差分情報の中に含まれる前記画像マトリクスを取得するステップを含む。この出願のこの実施形態において、解凍によって得られる第1の解凍されている画像を取得した後に、第1の画像デバイスは、第1の解凍されている画像の中に含まれる画像マトリクス及び未処理の画像の中に含まれる画像マトリクスに対してマトリクス減算処理を実行して、第1の解凍されている画像と未処理の画像との間の差分情報を取得してもよい。差分情報を格納し及び伝送する過程でのデータ量を減少させるために、それらの2つの画像の間の差が大きな部分をそのままにし、一方で、差分情報の中のマトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、ターゲット差分情報の中に含まれる画像マトリクスを取得する。その変更されている画像マトリクスにおいては、同じ画像要素値の数が増加し、それによって、伝送されるデータの量を減少させることが可能であるということを理解することが可能である。ターゲット差分情報を使用することによって、第2の画像デバイスが復元する画像と未処理の画像との間の精度損失を減少させることを可能とする。

ある1つの可能な実装において、未処理の画像の圧縮されている画像を取得する前記ステップは、撮像装置からの前記未処理の画像を受信するステップと、前記未処理の画像に対応する基準画像を取得するステップと、前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得するステップと、を含む。この出願のこの実施形態において、未処理の画像を圧縮するときに、第1の画像デバイスは、撮像装置が撮像する未処理の画像及びその未処理の画像に対応する基準画像を取得してもよい。その画像は、対応する基準画像と未処理の画像との間の関係に基づいて圧縮される、すなわち、圧縮は、未処理の画像と基準画像との間の差分情報を使用することによって実行される。この差分情報は、未処理の画像の圧縮効率を改善することを可能とするとともに、また、リアルタイムで画像を圧縮する必要があるシナリオにおいて、その差分情報を広く使用することを可能とする。

ある1つの可能な実装において、未処理の画像の圧縮されている画像を取得する前記ステップは、撮像によって前記未処理の画像を取得するステップと、前記未処理の画像に対応する基準画像を取得するステップと、前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得するステップと、を含む。この出願のこの実施形態において、第1の画像デバイスは、撮像装置を含んでもよく、未処理の画像として撮像されている画像を使用してもよく、圧縮のための対応する基準画像を取得してもよい。第1の画像デバイスの中に撮像装置を配置することによって、デバイスの冗長性を減少させる。加えて、対応する基準画像と未処理の画像との間の関係に基づいて、画像を圧縮する、すなわち、圧縮は、未処理の画像と基準画像との間の差分情報を使用することによって実行される。この差分情報は、未処理の画像の圧縮効率を改善することを可能とするとともに、また、リアルタイムで画像を圧縮する必要があるシナリオにおいて、その差分情報を広く使用することを可能とする。

ある1つの可能な実装において、当該方法は、前記第2の画像デバイスに前記基準画像を送信するステップをさらに含む。この出願のこの実施形態において、第2の画像デバイスに未処理の画像に対応する基準画像を送信してもよく、それによって、第2の画像デバイスは、その基準画像を使用することによって、未処理の画像の圧縮されている画像を解凍することが可能であり、その結果、第2の画像デバイスは、ターゲット差分情報に基づいて、未処理の画像の解凍されている画像を復元して、精度の高い画像を取得することが可能であるとともに、第2の画像デバイスが復元する画像と未処理の画像との間の精度損失を減少させることが可能である。

第2の態様によれば、この出願のある1つの実施形態は、画像処理方法を提供し、その方法は、第2の画像デバイスに適用される。その方法は、第2の画像デバイスによって実行されてもよく、或いは、第2の画像デバイスの中の(例えば、プロセッサ又はチップ等の)装置によって実行されてもよい。その方法は、ある1つの例として第2の画像デバイスを使用し、第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信するステップであって、ターゲット差分情報は、前記未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される、ステップと、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するステップと、前記圧縮されているターゲット差分情報に基づいて、前記第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得するステップと、を含んでもよい。

第2の態様によって提供される方法によれば、第2の画像デバイスは、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信し、そして、その圧縮されている画像を解凍してもよい。未処理の画像の圧縮されている画像を解凍することは、第1のデバイスによって未処理の画像を圧縮することの逆操作となっていて、その結果、第1の解凍されている画像を取得してもよい。加えて、圧縮されているターゲット差分情報を解凍し、それによって、ターゲット差分情報の中に含まれる差分情報であって、未処理の画像の解凍されている画像(すなわち、第1の解凍されている画像)と未処理の画像との間の差分情報を取得することが可能である。したがって、第1の解凍されている画像を補償して、精度がより高い第2の解凍されている画像を取得することが可能であるとともに、第2の解凍されている画像と未処理の画像との間の精度損失を減少させることが可能である。

ある1つの可能な実装において、当該方法は、前記第1の画像デバイスから、前記未処理の画像に対応する基準画像を受信するステップをさらに含む。この出願のこの実施形態において、第1の画像デバイスは、未処理の画像に対応する基準画像を使用することによって、その未処理の画像を圧縮する。第1の画像デバイスが送信する基準画像を受信した後に、第2の画像デバイスは、その基準画像を使用することによって、第1の圧縮されている画像を解凍するという逆操作を実行して、第1の解凍されている画像を取得してもよい。このように、ターゲット差分情報及び第1の解凍されている画像に基づいて画像処理を実行して、精度がより高い第2の解凍されている画像を取得し、その結果、第2の解凍されている画像と未処理の画像との間の精度損失を減少させるとともに、第2の解凍されている画像の精度を改善する。

ある1つの可能な実装において、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得する前記ステップは、前記基準画像に基づいて、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するステップを含む。この出願のこの実施形態において、第1の画像デバイスは、未処理の画像に対応する基準画像を使用することによって未処理の画像を圧縮して、圧縮されている画像を取得し、一方で、第2の画像デバイスは、圧縮されている画像の未処理の画像に対応する基準画像を使用することによって、その圧縮されている画像を解凍して、第1の解凍されている画像を取得してもよい。各々の圧縮されている画像のために、基準画像として前のフレームの画像を使用してもよく、各々の圧縮されている画像の基準画像に基づいて解凍を実行して、解凍されている画像を取得してもよく、そのときに、ターゲット差分情報を使用することによって解凍されている画像を復元して、精度がより高い第2の解凍されている画像を取得し、第2の解凍されている画像と未処理の画像との間の精度損失を減少させるということを理解することが可能である。

ある1つの可能な実装において、前記ターゲット差分情報及び前記第1の解凍されている画像の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含み、前記圧縮されているターゲット差分情報に基づいて、前記第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得する前記ステップは、前記圧縮されているターゲット差分情報を解凍して、前記ターゲット差分情報を取得するステップと、前記第1の解凍されている画像の中に含まれる前記画像マトリクス及び前記ターゲット差分情報の中に含まれる前記画像マトリクスに対して加算処理を実行して、前記第2の解凍されている画像の中に含まれる画像マトリクスを取得するステップと、前記第2の解凍されている画像の中に含まれる前記画像マトリクスに基づいて、前記第2の解凍されている画像を決定するステップと、を含む。この出願のこの実施形態において、第2の画像デバイスは、ターゲット差分情報の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスに対してマトリクス加算演算を実行して、第1の解凍されている画像に、その第1の解凍されている画像と未処理の画像との間の差分情報を加算し、その結果、精度がより高い第2の解凍されている画像を取得することが可能であるとともに、復元した第2の解凍されている画像と未処理の画像との間の精度損失を減少させることが可能である。

第3の態様によれば、この出願のある1つの実施形態は、画像処理装置を提供する。画像処理装置は、第1の態様にしたがった第1の画像デバイスを実装する複数の機能のうちの一部又はすべてを有する。例えば、その装置の機能は、この出願における第1の画像デバイスの複数の実施形態のうちのいくつか又はすべてにおける機能を含んでもよく、或いは、この出願の複数の実施形態のうちのいずれか1つを個別に実装する機能を含んでもよい。その機能は、ハードウェアによって実装されてもよく、又は、対応するソフトウェアを実行するハードウェアによって実装されてもよい。ハードウェア又はソフトウェアは、その機能に対応する1つ又は複数のユニット或いはモジュールを含む。その画像処理装置は、未処理の画像の圧縮されている画像を取得するように構成される取得ユニットと、前記圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成される解凍ユニットと、ターゲット差分情報を決定するように構成される決定ユニットであって、前記ターゲット差分情報は、前記未処理の画像と前記第1の解凍されている画像との間の差分情報に基づいて取得される、決定ユニットと、前記ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得するように構成される圧縮ユニットと、第2の画像デバイスに前記圧縮されている画像及び前記圧縮されているターゲット差分情報を送信するように構成される送信ユニットと、を含んでもよい。

ある1つの可能な実装において、前記差分情報及び前記ターゲット差分情報の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。前記決定ユニットは、特に、前記差分情報の中に含まれる前記画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、前記ターゲット差分情報の中に含まれる前記画像マトリクスを取得するように構成される。

ある1つの可能な実装において、前記取得ユニットは、特に、撮像装置からの前記未処理の画像を受信し、前記未処理の画像に対応する基準画像を取得し、そして、前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得する、ように構成される。

ある1つの可能な実装において、前記取得ユニットは、特に、撮像によって前記未処理の画像を取得し、前記未処理の画像に対応する基準画像を取得し、そして、前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得する、ように構成される。

ある1つの可能な実装において、前記送信ユニットは、さらに、前記第2の画像デバイスに前記基準画像を送信するように構成される。

第4の態様によれば、この出願のある1つの実施形態は、画像処理装置を提供する。その画像処理装置は、第2の態様にしたがった第2の画像デバイスを実装する複数の機能のうちの一部又はすべてを有する。例えば、その装置の機能は、この出願における第2の画像デバイスの複数の実施形態のうちのいくつか又はすべてにおける機能を含んでもよく、或いは、この出願の複数の実施形態のうちのいずれか1つを個別に実装する機能を含んでもよい。その機能は、ハードウェアによって実装されてもよく、又は、対応するソフトウェアを実行するハードウェアによって実装されてもよい。ハードウェア又はソフトウェアは、その機能に対応する1つ又は複数のユニット或いはモジュールを含む。その画像処理装置は、第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信するように構成される受信ユニットであって、ターゲット差分情報は、前記未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される、受信ユニットと、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するように構成される解凍ユニットと、前記圧縮されているターゲット差分情報に基づいて、前記第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得するように構成される画像処理ユニットと、を含む。

ある1つの可能な実装において、前記受信ユニットは、さらに、前記第1の画像デバイスから、前記未処理の画像に対応する基準画像を受信するように構成される。

ある1つの可能な実装において、前記解凍ユニットは、特に、前記基準画像に基づいて、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するように構成される。

ある1つの可能な実装において、前記ターゲット差分情報及び前記第1の解凍されている画像の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。前記解凍ユニットは、特に、前記圧縮されているターゲット差分情報を解凍して、前記ターゲット差分情報を取得し、前記第1の解凍されている画像の中に含まれる前記画像マトリクス及び前記ターゲット差分情報の中に含まれる前記画像マトリクスに対して加算処理を実行して、前記第2の解凍されている画像の中に含まれる画像マトリクスを取得し、そして、前記第2の解凍されている画像の中に含まれる前記画像マトリクスに基づいて、前記第2の解凍されている画像を決定する、ように構成される。

第5の態様によれば、この出願のある1つの実施形態は、コンピュータデバイスを提供する。そのコンピュータデバイスは、プロセッサを含み、そのプロセッサは、コンピュータデバイスが、第1の態様によって提供される画像処理方法において対応する機能を実装するのを支援するように構成される。コンピュータデバイスは、メモリをさらに含んでもよく、メモリは、プロセッサと結合されるように構成され、コンピュータデバイスに必要なプログラム命令及びデータを格納する。そのコンピュータデバイスは、通信インターフェースをさらに含んでもよく、その通信インターフェースは、コンピュータデバイスと他のデバイス又は他の通信ネットワークとの間の通信のために使用される。

第6の態様によれば、この出願のある1つの実施形態は、コンピュータデバイスを提供する。そのコンピュータデバイスは、プロセッサを含み、そのプロセッサは、コンピュータデバイスが、第2の態様によって提供される画像処理方法において対応する機能を実装するのを支援するように構成される。コンピュータデバイスは、メモリをさらに含んでもよく、メモリは、プロセッサと結合されるように構成され、コンピュータデバイスに必要なプログラム命令及びデータを格納する。そのコンピュータデバイスは、通信インターフェースをさらに含んでもよく、その通信インターフェースは、コンピュータデバイスと他のデバイス又は他の通信ネットワークとの間の通信のために使用される。

第7の態様によれば、この出願のある1つの実施形態は、コンピュータ読み取り可能な記憶媒体を提供し、そのコンピュータ読み取り可能な記憶媒体は、第1の態様によって提供される第1の画像デバイスが使用するコンピュータソフトウェア命令を格納するように構成される。コンピュータ読み取り可能な記憶媒体は、第1の態様を実行するように設計されるプログラムを含む。

第8の態様によれば、この出願のある1つの実施形態は、コンピュータ読み取り可能な記憶媒体を提供し、そのコンピュータ読み取り可能な記憶媒体は、第2の態様によって提供される第2の画像デバイスが使用するコンピュータソフトウェア命令を格納するように構成される。コンピュータ読み取り可能な記憶媒体は、第2の態様を実行するように設計されるプログラムを含む。

第9の態様によれば、この出願のある1つの実施形態は、コンピュータプログラムを提供し、そのコンピュータプログラムは、命令を含み、そのコンピュータプログラムがコンピュータによって実行されるときに、そのコンピュータが、第1の態様において第1の画像デバイスが実行する手順を実行することを可能とする。

第10の態様によれば、この出願のある1つの実施形態は、コンピュータプログラムを提供し、そのコンピュータプログラムは、命令を含み、そのコンピュータプログラムがコンピュータによって実行されるときに、そのコンピュータが、第2の態様において第2の画像デバイスが実行する手順を実行することを可能とする。

第11の態様によれば、この出願は、チップシステムを提供する。そのチップシステムは、プロセッサを含み、そのプロセッサは、コンピュータデバイスが、例えば、第1の態様における画像処理方法において情報を生成し又は処理するといったように、第1の態様における機能を実装するのを支援するように構成される。ある1つの可能な設計において、チップシステムは、メモリをさらに含み、そのメモリは、第1の画像デバイスのために必要なプログラム命令及びデータを格納するように構成される。チップシステムは、チップを含んでもよく、又は、チップ及び他の個別の構成要素を含んでもよい。

第12の態様によれば、この出願は、チップシステムを提供する。そのチップシステムは、プロセッサを含み、そのプロセッサは、コンピュータデバイスが、例えば、第2の態様における画像処理方法において情報を生成し又は処理するといったように、第2の態様における機能を実装するのを支援するように構成される。ある1つの可能な設計において、チップシステムは、メモリをさらに含み、そのメモリは、第2の画像デバイスのために必要なプログラム命令及びデータを格納するように構成される。チップシステムは、チップを含んでもよく、又は、チップ及び他の個別の構成要素を含んでもよい。

この出願のある1つの実施形態にしたがった画像処理システムのアーキテクチャの概略的な図である。 この出願のある1つの実施形態にしたがった産業用のビジョンの分野における画像処理システムのアーキテクチャの概略的な図である。 この出願のある1つの実施形態にしたがった画像処理方法の概略的なフローチャートである。 この出願のある1つの実施形態にしたがって産業用のビジョンに画像処理方法を適用する適用シナリオの図である。 この出願のある1つの実施形態にしたがった圧縮後の画像と圧縮前の画像との間の画像精度損失の概略的な図である。 この出願のある1つの実施形態にしたがった圧縮後の画像と圧縮前の画像との間の画像精度損失の概略的な図である。 この出願のある1つの実施形態にしたがった画像処理方法の概略的なタイミング図である。 この出願のある1つの実施形態にしたがった画像処理装置の構成の概略的な図である。 この出願のある1つの実施形態にしたがった他の画像処理装置の構成の概略的な図である。 この出願のある1つの実施形態にしたがったコンピュータデバイスの構成の概略的な図である。 この出願のある1つの実施形態にしたがった他のコンピュータデバイスの構成の概略的な図である。

当業者がより良く理解するのに役立つように、最初に、この出願における用語のうちのいくつかを説明する。

1. 画像マトリクス

画像マトリクスは、また、マトリクスとして又は画像のマトリクスとして説明されてもよい。画像マトリクスは、画像のマトリクス表現である。画像マトリクスの行は、画像の高さに対応し、画像マトリクスの列は、画像の幅に対応する。

この出願においては、第1の画像デバイスは、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスの2つのマトリクスに対して減算演算を実行して、差分情報を取得してもよい。第2の画像デバイスは、第1の解凍されている画像の中に含まれる画像マトリクス及びターゲット差分情報の中に含まれる画像マトリクスの2つのマトリクスに対して加算演算を実行して、第2の解凍されている画像の中に含まれる画像マトリクスを取得してもよく、それによって、第2の解凍されている画像の中に含まれる画像マトリクスに基づいて、第2の解凍されている画像を取得することが可能である。

2. 画像要素値

画像要素値は、また、要素値、画像の要素値、画像マトリクスの要素値、マトリクスの要素値、画像マトリクスの画像要素値、又は画像要素の値として説明されてもよい。画像要素値の数は、画素の数と同じであり、各々の画像要素値は、画像の中の1つの画素に対応するということを理解することが可能である。画像マトリクスの中の画像要素値の位置は、画像の中の画素の位置に対応し、画像要素値は、画素のグレースケール値である。

この出願において、第1の画像デバイスが、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスの2つのマトリクスに対して減算演算を実行して、差分情報を取得することは、具体的には、未処理の画像の中に含まれる画像マトリクスの中の各々の画像要素値及び第1の解凍されている画像の中に含まれる画像マトリクスの中で対応するマトリクスの中の画像要素値に対して減算演算を実行して、差分情報の中に含まれる画像マトリクスを取得することである。

3. ビデオコーディング

ビデオコーディングは、また、ビデオ圧縮として説明されてもよい。ビデオは、連続した画像フレームを含む。人間の目の視覚効果の持続性に起因して、画像フレームシーケンスがある特定の速度で再生されるときに、連続した動作を伴うビデオを視聴することが可能である。より便利にビデオを格納し及び伝送するために、ビデオはコーディングされてもよい。ビデオの中の複数の連続する画像フレームの間の類似性は極めて高いので、ビデオコーディングは、通常、そのビデオの中の空間的冗長性及び時間的冗長性を取り除くように構成される。一般的なビデオコーディング規格は、高度なビデオコーディング(advanced video coding, H.264/AVC)及び高効率ビデオコーディング(high efficiency video coding, HEVC/H.265)等を含む。

この出願において、第1の画像デバイスは、撮像装置が撮像する未処理の画像を取得し、そして、ビデオコーディング方式によって未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得してもよい。説明を容易にするために、この出願においては、説明のためのある1つの例として、H.264圧縮技術を使用する。

H.264圧縮技術は、主として、フレーム内予測を使用して、空間領域データ冗長性を減少させ、フレーム間予測(動き推定及び補償)を使用して、時間領域データ冗長性を減少させ、変換及び量子化を使用して、残差データを圧縮し、そして、コーディングを使用して、動きベクトル伝送及び信号伝送の際の残差及び冗長性を減少させる。H.264圧縮技術を使用することによって実行される画像圧縮は、主として、ブロック分割、フレームグループ化、フレーム間予測、フレーム内予測、離散コサイン変換、及びコーディング圧縮の部分を含む。

具体的には、ブロック分割は、マクロブロック分割及びサブブロック分割を含んでもよい。ある画像の中のサイズが16×16又は8×8の領域は、マクロブロックとして使用される。サブブロック分割は、マクロブロックとして使用される領域をより小さなサブブロックへと分割することを指してもよい。マクロブロック分割及びサブブロック分割は、以降の予測及び圧縮のために使用されてもよい。

フレームグループ化は、ピクチャグループ(group of pictures, GOP)(ある1つの画像シーケンス)へと、複数の密接に関連する画像フレームをグループ化することである。その画像シーケンスは、フレーム内コーディングされているフレーム(Iフレーム intra picture)、順方向予測コーディングされているフレーム(Pフレーム predictive-frame)、及び双方向の内挿補間されている予測フレーム(Bフレーム bi-directional interpolated prediction frame)の3つのタイプの画像フレームを含む。

Iフレームは、圧縮の際に完全な画像を保つことが可能であり、他の画像フレームを参照してIフレームを生成する必要はない。Iフレームは、大きな量の画像情報を含み、後続のPフレーム及びBフレームの基準画像フレームとして使用されてもよいということを理解することが可能である。Pフレームは、画像シーケンスの中でコーディングされている画像フレームの時間的冗長情報を使用することによって、伝送されるデータの量を圧縮するためのコーディングされている画像である。Pフレームは、画像フレームと前のIフレーム(又は、Pフレーム)との間の差を示す。復号化の際に、現在のフレームが定義する差分とバッファリングされている画像(Iフレーム)とを重畳して、最終的な画像を生成する必要がある。Pフレームは、完全な画像データを有しないが、前のフレームの画像からの差分のデータのみを有するということを理解することが可能である。復号化の際に、前のIフレーム(又は、Pフレーム)を参照する必要があり、従属的に復号化を実行することは不可能である。差分に基づいてPフレームを伝送するため、Pフレームの圧縮比は高くなる。Bフレームは、画像シーケンスの中のコーディングされている画像フレーム及びその画像シーケンスの後に続くコーディングされている画像フレームの時間的冗長情報の双方を考慮することによって、伝送されるデータの量を圧縮するためのコーディングされている画像である。Bフレームを復号化するために、その画像フレームの前に画像フレームバッファリングされている画像を取得する必要があり、同様に、画像フレーム復号化されている画像を取得する必要があるということを理解することが可能である。最終的な復号化されている画像は、現在のフレームのデータと前の画像及び次の画像とを重畳することによって取得される。

フレーム間予測は、ある画像シーケンスにおいて、Pフレームと前のIフレームとの間の画像の差分であってもよい2つの連続する画像フレームの間の画像の差分を使用することによって、同じ部分が除去され、圧縮のためのデータとして異なる部分のみが格納されるということを示す。フレーム内予測は、現在の画像フレームに基づいて圧縮を実行するということを示し、フレーム内予測は、隣接する前の画像フレーム及び次の画像フレームとは無関係である。画像の同じフレームの中の隣接するコーディングされている画素を使用し、且つ、画像の中の隣接する画素の彩度の値が急激に変化しないという特徴を使用して、現在の画素を予測することによって、フレーム内予測の結果を取得する。H.264圧縮技術は、9つのフレーム内予測モードを含み、未処理の画像からフレーム内予測画像を減算することによって得られる差分及び予測モードを格納してもよく、それによって、復号化の際に未処理の画像を復元することが可能である。

離散コサイン変換(discrete cosine transform, DCT)は、得られた差分に対して整数DCTを実行し、データの間の相関を取り除き、そして、データをさらに圧縮するのに使用されてもよい。

コーディング圧縮は、データに対して可逆的圧縮を実行することが可能であるということを示し、コーディング圧縮は、一般的に、ビデオ圧縮の終わりの部分に位置している。可逆的エントロピーコーディングは、情報エントロピー原理にしたがって実行されてもよい。エントロピーコーディングは、伝送又は格納のために使用される圧縮されているデータストリームへと、ビデオシーケンスを表現するのに使用される一連の要素シンボルを変換する。入力シンボルは、量子化されている変換係数、動きベクトル情報、又は予測モード情報等を含んでもよい。エントロピーコーディングは、これらのビデオ要素シンボルの統計的冗長性を効果的に取り除くことが可能であり、ビデオコーディングの圧縮効率を保証する重要なツールのうちの1つである。H.264においては、コーディング圧縮は、コンテキストベースの適応バイナリ算術コーディング(context-based adaptive binary arithmetic coding, CABAC)を使用することによって実行されてもよい。

以下の記載は、この出願の複数の実施形態における添付の図面を参照して、この出願の複数の実施形態を説明する。

この出願の複数の実施形態の理解を容易にするために、以下の記載は、最初に、この出願の複数の実施形態が基づいている画像処理システムのアーキテクチャを説明する。図1は、この出願のある1つの実施形態にしたがった画像処理システムのアーキテクチャの概略的な図である。この出願における画像処理システムのアーキテクチャは、図1における第1の画像デバイス101及び第2の画像デバイス102を含んでもよい。第1の画像デバイス101及び第2の画像デバイス102は、ネットワークを使用することによって互いに通信してもよい。第1の画像デバイス101及び第2の画像デバイス102は、画像処理に関連するいずれかのコンピュータデバイスの中に個別に配置されてもよい。例えば、第1の画像デバイス101及び第2の画像デバイス102は、クラウド環境の中の(例えば、中央サーバ等の)1つ又は複数のコンピューティングデバイスの中、或いは、エッジ環境の中の(エッジコンピューティングデバイス等の)1つ又は複数のコンピューティングデバイスの中に個別に配置されてもよい。エッジコンピューティングデバイスは、サーバであってもよい。クラウド環境は、中央コンピューティングデバイスクラスタであり、その中央コンピューティングデバイスクラスタは、クラウドサービスプロバイダによって所有されるとともに、計算リソース、記憶リソース、及び通信リソースを提供するように構成される。クラウド環境の中には、記憶リソース及び計算リソースが数多く存在する。エッジ環境は、エッジコンピューティングデバイスクラスタであり、そのエッジコンピューティングデバイスクラスタは、未処理のデータ収集デバイスに地理的に近接しているとともに、計算リソース、記憶リソース、及び通信リソースを提供するのに使用される。代替的に、この出願におけるターゲット追跡システムは、1つ又は複数の端末デバイスの中に配置されてもよい。例えば、ターゲット追跡システムは、ある1つの端末デバイスの中に配置されてもよい。その端末デバイスは、ある特定の計算リソース、記憶リソース、及び通信リソースを有し、コンピュータ、車載型端末、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パームトップコンピュータ、携帯インターネットデバイス(mobile internet device, MID)、又は、ゲートウェイ等であってもよい。

具体的には、第1の画像デバイス101は、未処理の画像の圧縮されている画像を解凍し、未処理の画像と解凍によって得られる第1の圧縮されている画像との間のターゲット差分情報を取得し、ターゲット差分情報を圧縮し、そして、第2の画像デバイス102に未処理の画像及び圧縮されたターゲット差分情報を送信してもよい。第2の画像デバイス102は、受信した圧縮されている画像及び圧縮されているターゲット差分情報を解凍して、ターゲット差分情報及び第1の解凍されている画像を取得し、解凍によって得られるターゲット差分情報を使用することによって第1の解凍されている画像を補償し、それによって、より精度の高い第2の解凍されている画像を取得することが可能である。

図1に示されているように、画像処理システムは、撮像装置103をさらに含んでもよく、撮像装置103は、ネットワークを使用することによって第1の画像デバイス101との間で通信してもよい。第1の画像デバイスは、撮像装置103が撮像する未処理の画像を受信し、そして、その未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得してもよい。撮像装置103は、第1の画像デバイス101の中に配置されてもよく、又は、第1の画像デバイス101の外側に配置されてもよいということに留意するべきである。撮像装置103は、これらには限定されないが、カメラ、赤外線カメラ、及び、レーザーレーダー等を含んでもよい。

図1における画像処理システムのアーキテクチャは、この出願の複数の実施形態における例示的な実装であるにすぎないということを理解することが可能である。この出願の複数の実施形態における画像処理システムのアーキテクチャは、画像処理システムの上記のアーキテクチャを含むが、これらに限定されない。

この出願の複数の実施形態によって提供される画像処理方法によれば、圧縮後の画像と圧縮前の画像との間の損失誤差を追跡し、そして、その損失誤差を減少させることが可能である。この出願において説明される画像処理方法は、自己駆動、拡張現実感(augmented reality, AR)、産業用のビジョン、及び、医療用の画像処理等の多くの分野で使用されて、特定の機能を実装してもよい。

例えば、この出願における画像処理システムは、産業用のビジョンの分野において使用されてもよい。

産業用の視覚の分野は、産業用の自動生産ラインに視覚システムを追加し、画像を取り込むことによって、人間の視覚的な機能をシミュレートし、情報を抽出し、そして、産業用の自動生産ラインに存在する加工対象物の検出、測定、及び制御のために、情報を処理して、手動の検査を置き換えることによって生産品質及び生産を改善することを指す。例えば、ある工場の中のパイプラインでのコンベアベルトに存在する加工対象物の画像を取得してもよく、その画像の中の加工対象物を識別し及び分析する。コンベアベルトに存在する不適格な加工対象物を検出して、制御命令を生成してもよい。それらの制御命令は、プログラム可能な論理コントローラ(programmable logic controller, PLC)を使用することによって、機械的なアームを制御して、コンベヤベルトの外側へとその不適格な加工対象物を移動するのに使用されてもよい。ところが、産業分野における現在の画像処理は、静止画像の圧縮及び伸長の国際標準規格(joint photographic experts group, JPEG)フォーマットにおける圧縮アルゴリズムに基づいている。この圧縮アルゴリズムにおける量子化テーブルは、人間の眼球の知覚に基づいて設計されている。人間の眼球は、低周波数部分に対してよりも高周波数部分に対する方が感度がより低いため、圧縮によって得られる画像は、未処理の画像と比較して予期しない精度損失をもたらす。加えて、高周波数部分は、ある程度まで、以降の画像認識及び画像分析のために抽出される必要があるコーナーポイント、エッジ、及び線等の特徴を含んでいる。このことは、認識精度の差を生じさせ、分析結果に影響を与える。

この場合には、圧縮されている画像に基づいて、圧縮されている画像を解凍することによって得られる画像と未処理の画像との間の差分情報を決定することが可能であり、それによって、解凍されている画像を取得した後に、その差分情報を使用することによって、圧縮プロセスにおける精度損失を補償することが可能である。加えて、差分情報の圧縮は、また、解凍されている画像の精度を改善しつつ、伝送されるデータの量を減少させ、伝送待ち時間を減少させるということを保証することが可能である。図2は、この出願のある1つの実施形態にしたがった産業用のビジョンの分野における画像処理システムのアーキテクチャの概略的な図である。図2に示されているように、この出願における画像処理システムのアーキテクチャは、第1の画像デバイス201及び第2の画像デバイス202を含んでもよい。撮像装置201a及び産業用ゲートウェイ201bは、第1の画像デバイス201の中に配置されてもよい。撮像装置201aは、産業用カメラであってもよく、第2の画像デバイス202は、モバイルエッジコンピューティング(mobile edge computing, MEC)サーバであってもよい。第1の画像デバイス201は、第2の画像デバイス202への有線通信接続又は無線通信接続を確立してもよい。第1の画像デバイス201において、撮像装置201a及び産業用ゲートウェイ201bは、また、有線通信接続又は無線通信接続を有してもよい。上記の通信接続方式は、これらには限定されないが、無線忠実度(wireless fidelity, Wi-Fi)、ブルートゥース、及び、近距離通信near field communication, NFC)等を含んでもよい。第1の画像デバイス201の中の撮像装置201aが、産業用ゲートウェイ201bへの無線通信接続を確立するとき、又は、第1の画像デバイス201が、第2の画像デバイス202への無線通信接続を確立するときに、この出願のこの実施形態によって提供される画像処理システムは、ネットワークデバイスをさらに含んでもよい。ネットワークデバイスは、アクセスネットワークデバイス、基地局、又は、無線アクセスポイント(wireless access point, AP)等であってもよい。5Gフィールドにおいて使用される場合に、撮像装置201a及び産業用ゲートウェイ201bは、GigE Visionプロトコルを使用することによって、且つ、ギガビットイーサネットインターフェイスによって、高速画像伝送を実行してもよい。

ある1つの可能な実装において、撮像装置201aは、(例えば、パイプラインにおけるコンベアベルトに存在する加工対象物等の)ターゲット対象の未処理の画像を取り込み、そして、産業用ゲートウェイ201bにその未処理の画像を送信してもよい。産業用ゲートウェイ201bは、取得されている未処理の画像を圧縮して、第1の圧縮されている画像を取得し、第1の圧縮されている画像を解凍して、第1の解凍されている画像を取得し、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて、ターゲット差分情報を取得し、ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得し、そして、MECサーバ(すなわち、第2の画像デバイス202)に圧縮されている画像及び圧縮されているターゲット差分情報を送信する、ように構成されてもよい。さらに、産業用ゲートウェイ201bが圧縮されている画像及び圧縮されているターゲット差分情報を無線により伝送するときに、圧縮されている画像及び圧縮されているターゲット差分情報は、基地局を使用することによって、ユーザプレーン機能(user plane function, UPF)に転送されてもよく、そのUPFは、エッジコンピューティングサーバMECサーバに、その圧縮されている画像及び圧縮されているターゲット差分情報を転送する。

ある1つの可能な実装において、画像処理システムの中の撮像装置201aは、ターゲット対象の未処理の画像を取り込み、そして、未処理の画像を直接的に圧縮して、圧縮されている画像を取得し、さらに、圧縮されている画像を解凍して、第1の解凍されている画像を取得し、その次に、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて、ターゲット差分情報を取得し、そして、そのターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得してもよい。撮像装置201aは、基地局を使用することによって、UPFに、圧縮されている画像及び圧縮されているターゲット差分を転送し、そして、その次に、UPFを使用することによって、MECサーバに、圧縮されている画像及び圧縮されているターゲット差分情報を送信する。

エッジコンピューティングサーバは、圧縮されている画像及び圧縮されているターゲット差分情報を受信し、圧縮されている画像及び圧縮されているターゲット差分情報を解凍して、第1の解凍されている画像及びターゲット差分情報を取得し、そして、その次に、ターゲット差分情報を使用することによって、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得する。さらに、第2の解凍されている画像を識別し、分析し、及び、処理して、結果を取得してもよく、制御命令は、その結果を使用することによってトリガされる。例えば、エッジコンピューティングサーバが生成する制御命令は、不適格な加工対象物を識別するための命令であってもよく、又は、不適格な加工対象物を識別し、管理アプリケーションにその不適格な加工対象物を報告するための命令であってもよい。

図2における画像処理システムのアーキテクチャは、この出願の複数の実施形態における例示的な実装であるにすぎないということを理解することが可能である。この出願の複数の実施形態における画像処理システムのアーキテクチャは、これらには限定されないが、画像処理システムの上記のアーキテクチャを含む。

図1によって提供される画像処理システムのアーキテクチャ及び図2によって提供される他の画像処理システムのアーキテクチャに基づいて、且つ、この出願によって提供される画像処理方法を参照して、この出願によって提案される技術的課題は、具体的に、分析され及び解決される。図3は、この出願のある1つの実施形態にしたがった画像処理方法の概略的なフローチャートである。その方法は、図1又は図2における上記の画像処理システムのアーキテクチャの中で使用されてもよい。図1又は図2における第1の画像デバイスは、図3に示されている方法手順におけるステップS301乃至ステップS305をサポートし及び実行するように構成されてもよく、図1又は図2における第2の画像デバイスは、図3に示されている方法手順におけるステップS306及びステップS307をサポートし及び実行するように構成されてもよい。その方法は、以下のステップS301乃至S307を含んでもよい。

ステップS301: 第1の画像デバイスは、未処理の画像の圧縮されている画像を取得する。

具体的には、第1の画像デバイスは、撮像装置が送信する未処理の画像を取得し、そして、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得してもよい。第1の画像デバイスが撮像装置を含む場合に、第1の画像デバイスは、また、ターゲット対象を撮像して、未処理の画像を取得してもよい。さらに、第1の画像デバイスは、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得する。

画像圧縮方法は、圧縮のために使用されてもよい。ハードウェアエンコーダは、第1の画像デバイスに内蔵されていてもよく、未処理の画像は、H.264、H.265、及びJPEG等の圧縮技術を使用することによって圧縮されてもよい。パイプラインおいてカメラが撮像する加工対象物は、極めて類似している。したがって、産業分野においてより良く使用されるように、この出願のこの実施形態における圧縮方法においては、さらに、圧縮のためにビデオ圧縮解決方法を使用してもよい。例えば、この出願における未処理の画像は、高度なビデオコーディング(advanced video coding, AVC/H.264)を使用することによって圧縮されてもよく、又は、この出願における未処理の画像は、高効率のビデオコーディング(high efficiency video coding, HEVC/H.265)を使用することによって圧縮されてもよい。このことは、本明細書においては限定されない。

H.264圧縮アルゴリズム又はH.265圧縮アルゴリズムを使用することによって画像を圧縮するプロセスにおいては、画像の複数のフレームは、グループ化されて、1つのピクチャグループGOPとなり、そのピクチャグループは、Iフレーム、Pフレーム、及びBフレームを含むということに留意するべきである。この出願のこの実施形態において、1つのGOPは、1つのIフレーム及び複数のPフレームを含んでもよい。未処理の画像の1番目のフレームに対する圧縮の際に、あらかじめ設定されている基準画像を取得してもよく、Iフレームとしてそのあらかじめ設定されている基準画像を使用し、圧縮のために、Pフレームとして、未処理の画像の1番目のフレームを使用する。類推によって、基準画像として画像のフレームの前のフレームを使用することによって、画像の複数の後続のフレームの各々を圧縮して、マルチフレームのオリジナル画像の圧縮されている画像を取得してもよい。

例えば、その方法は、産業用のビジョンの分野において使用されてもよい。あわせて図4を参照するべきである。図4は、画像処理方法がこの出願のある1つの実施形態にしたがった産業用のビジョンにおいて使用される適用シナリオの図である。図4に示されているように、産業分野においてその方法を使用するときに、例えば、図4に示されている4つの加工対象物等の加工対象物が、コンベアベルトによって移動させられている。第1の画像デバイスは、撮像装置及び産業用ゲートウェイを含んでもよい。その撮像装置は、コンベアベルトに存在する加工対象物を撮像して、マルチフレームのオリジナル画像を取得し、そして、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得してもよい。代替的に、撮像装置が撮像する未処理の画像は、第1の画像デバイスの中の産業用ゲートウェイに送信されてもよく、その産業用ゲートウェイは、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得する。図4に示されているように、撮像装置が撮像する未処理の画像の未処理の画像の1番目のフレームは、P1である。未処理の画像の1番目のフレームP1は、クラウドからの局所的に格納されている基準画像を参照して圧縮されて、未処理の画像の1番目のフレームP1の圧縮されている画像を取得する。さらに、未処理の画像の各々のフレームの圧縮されている画像を取得するまで、未処理の画像の第1番目のフレームP1は、圧縮のために、未処理の画像の2番目のフレームP2に対応する基準画像として使用されて、未処理の画像の第2番目のフレームP2の圧縮されている画像を取得してもよく、未処理の画像の2番目のフレームP2は、圧縮のために、未処理の画像の3番目のフレームP3に対応する基準画像として使用されて、未処理の画像の3番目のフレームP3の圧縮されている画像を取得してもよい。

ステップS302: 第1の画像デバイスは、圧縮されている画像を解凍して、第1の解凍されている画像を取得する。

具体的には、第1の画像デバイスは、圧縮の逆操作に基づいて、圧縮されている画像を解凍して、第1の解凍されている画像を取得してもよい。ある1つの例として、H.264圧縮方式を使用する。解凍は、エントロピーコーディングに対して個別に実行されてもよく、フレーム内予測及びフレーム間予測に対して個別に実行されてもよく、その結果、未処理の画像の第1の解凍されている画像を取得する。例えば、復号化処理は、エントロピーコーディングに対応する復号化方法を使用することによって実行される。さらに、解凍は、フレーム間圧縮及びフレーム内圧縮に対して実行される。解凍は、格納されている予測モード情報を使用することによって、フレーム内圧縮に対して実行されてもよく、また、解凍は、画像の各々のフレームに対応する基準画像を使用することによって、フレーム間圧縮に対して実行されてもよく、その結果、第1の解凍されている画像を取得する。第1の解凍されている画像は、以降の処理のために格納される。

ステップS303: 第1の画像デバイスは、ターゲット差分情報を決定し、ターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される。

具体的には、H.264を使用することによってこの出願における未処理の画像に対して実行される圧縮は、不可逆的圧縮である。より大きな圧縮比を取得するために、圧縮の際に、一部の情報は失われる。したがって、第2の画像デバイスにおける解凍されている画像の精度を改善するために、この出願においては、解凍の後に、未処理の画像及び第1の解凍されている画像を使用することによって、ターゲット差分情報を決定し、決定したターゲット差分情報を圧縮し、そして、第2の画像デバイスに送信し、それによって、第2の画像デバイスは、画像を解凍した後に、ターゲット差分情報に基づいて、画像に対して画像処理を実行して、より精度の高い解凍されている画像を取得することが可能である。

ある1つの可能な実装において、未処理の画像及び第1の解凍されている画像の双方は、1つの画像マトリクスを含む。未処理の画像の画像サイズ及び第1の解凍されている画像の画像サイズは同じであり、未処理の画像及び第1の解凍されている画像の画像マトリクスの幅及び高さは、また、同じであり、未処理の画像の中に含まれる画像マトリクスの中に含まれる各々の画像要素値は、第1の解凍されている画像の中に含まれる画像マトリクスの中に含まれる各々の画像要素値との間で1対1の対応関係にあるということを理解することが可能である。未処理の画像の中に含まれる画像マトリクスは、第1の解凍されている画像の中に含まれる画像マトリクスから減算され、具体的にいうと、未処理の画像の中に含まれるマトリクスの中の各々の画像要素は、第1の解凍されている画像の中に含まれるマトリクスの中の対応する位置にある各々の画像要素値から減算されて、差分情報の中に含まれる画像マトリクスを取得する。減算演算を実行する操作は、ソフトウェアプログラムを呼び出すことによって、第1の画像デバイスによって実行されてもよい。

さらに、伝送されるデータを減少させるために、差分情報に対して軽減処理を実行して、ターゲット差分情報を取得する。具体的にいうと、取得した差分情報の中に含まれる画像マトリクスの中の各々の画像要素値は、あらかじめ設定されているしきい値範囲と比較され、画像要素値がそのあらかじめ設定されているしきい値範囲の中に入るということを決定するときに、画像要素値は、あらかじめ設定されている値に変更されて、ターゲット差分情報の中に含まれる画像マトリクスを取得する。設定されているしきい値範囲は、手動で設定されてもよく、又は、第1の画像デバイスによってあらかじめ設定されてもよく、又は、複数の異なる適用シナリオに基づいて調整されてもよい。複数の異なるあらかじめ設定されているしきい値範囲は、この出願の中で使用される画像処理方法の圧縮の精度に影響を与える場合があり、それによって、圧縮精度を制御することが可能であるということを理解することが可能である。この出願のこの実施形態において、あらかじめ設定されている値は、0又は1等であってもよい。このことは、本明細書においては限定されない。

ある1つの可能な実装において、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスの中の画像要素値の多くが同じであり、且つ、未処理の画像の中に含まれる画像マトリクスと第1の解凍されている画像の中に含まれる画像マトリクスとの間で実行される減算演算によって得られる差分情報の中に含まれる画像マトリクスの中の画像要素値の多くが、0であるときに、あらかじめ設定されている値を0であると決定して、ターゲット差分情報を圧縮してもよい。差分情報の中に含まれる画像マトリクスの中で最も多くの数の同じ画像要素値が有している値及びその最も多くの数についての統計量を収集してもよく、最も多くの数の同じ画像要素値が有している値は、あらかじめ設定されている値として使用されて、ターゲット差分情報を取得する。

ターゲット差分情報の場合には、未処理の画像及び第1の解凍されている画像の画像マトリクスの中で画像要素値の間の差が大きい部分をそのままにし、未処理の画像及び第1の解凍されている画像の画像マトリクスの中で画像要素値の間の差が小さい部分を軽減する。したがって、第2の画像デバイスにターゲット差分情報を送信した後に、そのターゲット差分情報を使用することによって、解凍されている画像を処理してもよい。未処理の画像の中の画像マトリクスとの間で差分が大きな部分は、解凍によって得られる画像に補足されて、解凍されている画像の精度を改善する。未処理の画像の中の画像マトリクスの中の画像要素値との間で差分が小さな部分のデータの量を軽減して、伝送されるデータの量を減少させる。

ステップS304: 第1の画像デバイスは、ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得する。

ある1つの可能な実装において、伝送されるデータの量を減少させるために、第1の画像デバイスは、ターゲット差分情報を圧縮してもよい。具体的には、ターゲット差分情報をコーディングして、圧縮されているターゲット差分情報を取得してもよく、ターゲット差分情報に対してエントロピーコーディングを実行して、圧縮されているターゲット差分情報を取得してもよい。エントロピーコーディング方法は、シャノン(Shannon)コーディングであってもよく、或いは、ハフマン(Huffman)コーディング又は算術コーディング(arithmetic coding)等であってもよい。エントロピーコーディング方式は、本明細書においては限定されない。情報の量は、ターゲット差分情報がコーディングされる前及び後で、失われないということを理解することが可能である。第2の画像デバイスに圧縮されているターゲット差分情報を送信した後に、第2の画像デバイスは、圧縮されているターゲット差分情報を解凍し、それによって、無損失のターゲット差分情報を取得することが可能である。

ステップS305: 第1の画像デバイスは、第2の画像デバイスに圧縮されている画像及び圧縮されているターゲット差分情報を送信する。

第1の画像デバイスは、第2の画像デバイスに圧縮されている画像及び圧縮されているターゲット差分情報を送信し、それによって、第2の画像デバイスは、圧縮されている画像及び圧縮されているターゲット差分情報を解凍し、そして、さらに、ターゲット差分情報を使用することによって、解凍されている画像を処理して、画像精度を改善する。

例えば、図4に示されているように、(例えば、図4における撮像装置及び産業用ゲートウェイ等の)第1の画像デバイスは、MECサーバに圧縮されている画像及び圧縮されているターゲット差分情報を送信する。圧縮されている画像及び圧縮されているターゲット差分情報を受信した後に、MECサーバは、圧縮されている画像及び圧縮されているターゲット差分情報を解凍する。

ステップS306: 第2の画像デバイスは、圧縮されている画像を解凍して、第1の解凍されている画像を取得する。

ある1つの可能な実装において、第2の画像デバイスは、ハードウェアデコーダを含み、そのハードウェアデコーダは、受信した圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成されてもよい。具体的には、ビデオコーディングシーケンスに基づいて逆演算を実行して、未処理の画像の第1の解凍されている画像を取得してもよい。さらに、第2の画像デバイスは、以降の処理のために、第1の解凍されている画像を格納する。

ステップS307: 第2の画像デバイスは、圧縮されているターゲット差分情報に基づいて、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得する。

ある1つの可能な実装において、第2の画像デバイスは、ソフトウェアプログラムを呼び出して、ターゲット差分情報の中に含まれる画像マトリクス及び第1の解凍されている画像の中の画像マトリクスに対してマトリクス加算演算を実行し、その結果、第2の解凍されている画像の中に含まれる画像マトリクスを取得してもよい。具体的にいうと、ターゲット差分情報の中の画像マトリクスの中の各々の画像要素値は、第1の解凍されている画像の中の画像マトリクスの中の対応する位置において、各々の画像要素値に加算されて、第2の解凍されている画像の中に含まれる画像マトリクスの中の画像要素値を取得する。さらに、第2の解凍されている画像の中に含まれる画像マトリクスに基づいて、第2の解凍されている画像の中の各々の画素の画素値を取得して、第2の解凍されている画像を取得してもよい。図4に示されているように、MECサーバは、受信した画像を解凍し及び復元して、第2の解凍されている画像を取得してもよい。さらに、第2の解凍されている画像を識別し及び分析して、制御命令を生成する。

あわせて図5a及び図5bを参照するべきである。図5a及び図5bの各々は、この出願のある1つの実施形態にしたがった圧縮後の画像と圧縮前の画像との間の画像精度損失の概略的な図である。図5aは、この出願のこの実施形態によって提供される画像処理方法を使用することなく、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスに対して減算演算を実行することによって得られる結果の概略的な図である。図5bは、この出願のこの実施形態によって提供される画像処理方法を使用することによって、未処理の画像の中に含まれる画像マトリクス及び第2の解凍されている画像の中に含まれる画像マトリクスに対して減算演算を実行することによって得られる結果の概略的な図である。

図5a及び図5bに示されているように、黒い枠の中の0、1、及び255は、それぞれ、グレースケール値と未処理の画像の同じ位置における画素のグレースケール値との間の差分が、0、1、及び255であるということを示す。0は、処理によって得られる画像のグレースケール値と未処理の画像のグレースケール値との間に差分が存在しないということを示し、1及び255は、処理によって得られる第2の解凍されている画像のグレースケール値と未処理の画像のグレースケール値との間の差分が±1であるということを示す等であるということに留意するべきである。0, 1, 255の後の数は、画素の数を示す。例えば、図5aの1番目の行の中の"0: 7568827"は、グレイスケール値が第1の解凍されている画像と未処理の画像との間で同じである画素の数が7568827であるということを示す。同様に、図5bの1番目の行の中の"0: 12900307"は、また、グレイスケール値が第2の解凍されている画像と未処理の画像との間で同じである画素の数が12900307であるということを示す。図5aに示されている結果と比較して、この出願によって提供される画像処理方法を実装することは、グレースケール値と未処理の画像の同じ位置における画素のグレースケール値との間の差分が0である画素の数を増加させることを可能とする、言い換えると、解凍によって得られる第2の解凍されている画像のグレースケール値が未処理の画像と比較して変化しないままに維持される画素の数を増加させることを可能とする。したがって、解凍の後の圧縮されている画像の精度を改善することを可能とし、第2の画像デバイスが復元する画像と未処理の画像との間の精度誤差を減少させることを可能とする。

この出願のこの実施形態において、圧縮されている画像は、元の圧縮されている画像に基づいて解凍され、ターゲット差分情報は、未処理の画像と解凍されている第1の解凍されている画像との間の差分情報に基づいて決定される。第2の画像デバイスに圧縮されている画像を送信した後に、さらに、圧縮されている画像を解凍した後に得られる第1の解凍されている画像と未処理の画像との間のターゲット差分情報を送信する。第2の画像デバイスが画像を解凍した後に、ターゲット差分情報を使用することによって、未処理の画像と圧縮及びその後の解凍によって得られる画像との間の圧縮精度損失を決定することが可能であり、それによって、第2の画像デバイスは、画像を解凍する。そのとき、ターゲット差分情報は、圧縮され、そして、その次に、第2の画像デバイスに送信され、それによって、第2の画像デバイスは、画像に対して画像処理を実行する。ターゲット差分情報及び解凍によって得られる画像(すなわち、第1の解凍されている画像)に基づいて、精度がより高い解凍されている画像(すなわち、第2の解凍されている画像)を取得して、解凍されている画像と未処理の画像との間の精度損失を減少させることを可能とするとともに、第2の解凍されている画像の精度を改善することを可能とする。

図6は、この出願のある1つの実施形態にしたがった画像処理方法の概略的なタイミング図である。図6に示されているように、P1: 第1の画像デバイスは、未処理の画像及び基準画像を取得する。P2: 第1の画像デバイスは、内蔵型のハードウェアエンコーダを使用することによって、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得する。P3: 第1の画像デバイスは、第2の画像デバイスに未処理の画像の圧縮されている画像を送信してもよい。P4: 第1の画像デバイスの中のハードウェアデコーダは、未処理の画像の圧縮されている画像を解凍して、第1の解凍されている画像を取得してもよい。P5: 第1の画像デバイスは、ソフトウェアプログラムを呼び出して、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスに対して差分処理を実行し、その結果、差分情報を取得してもよい。P6: 第1の画像デバイスは、差分情報の中に含まれる画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、ターゲット差分情報を取得する。P7: 第1の画像デバイスは、ターゲット差分情報を符号化して、圧縮されているターゲット差分情報を取得する。P8: 第1の画像デバイスは、第2の画像デバイスに、圧縮されているターゲット差分情報を送信する。第2の画像デバイスは、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信する。P9: 第2の画像デバイスは、内蔵型のハードウェアデコーダを使用することによって、未処理の画像の圧縮されている画像を解凍して、第1の解凍されている画像を取得してもよい。P10: 第2の画像デバイスは、圧縮されているターゲット差分情報を解凍して、ターゲット差分情報を取得する。P11: 第2の画像デバイスは、ターゲット差分情報に基づいて、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得する。

P3は、P8が実行される前に実行されてもよく、P3は、P8が実行された後に実行されてもよく、又は、P3及びP8は、同時に実行されてもよい。このことは、本明細書においては限定されない。

この出願のこの実施形態において、圧縮されている画像は、元の圧縮されている画像に基づいて解凍され、ターゲット差分情報は、未処理の画像と解凍されている第1の解凍されている画像との間の差分情報に基づいて決定される。第2の画像デバイスに圧縮されている画像を送信した後に、さらに、圧縮されている画像を解凍した後に得られる第1の解凍されている画像と未処理の画像との間のターゲット差分情報を送信する。第2の画像デバイスが画像を解凍した後に、ターゲット差分情報を使用することによって、圧縮及びその後の解凍によって得られる画像と未処理の画像との間の圧縮精度損失を決定してもよく、それによって、第2の画像デバイスは、画像を解凍する。その次に、ターゲット差分情報を圧縮し、そして、その次に、第2の画像デバイスにターゲット差分情報を送信し、それによって、第2の画像デバイスは、画像を復元する。したがって、復元されている画像と未処理の画像との間の精度損失誤差を減少させることが可能であるとともに、復元されている画像の精度を改善することが可能である。

図7は、この出願のある1つの実施形態にしたがった画像処理装置の構成の概略的な図である。画像処理装置700は、取得ユニット701、解凍ユニット702、決定ユニット703、圧縮ユニット704、及び送信ユニット705を含んでもよい。それらのユニットの詳細な説明は、以下のようになる。

画像処理装置は、この出願の複数の実施形態において説明されている第1の画像デバイスを実装する機能を有する。例えば、画像処理装置は、この出願の複数の実施形態において説明されているように、コンピュータデバイスが実行する第1の画像デバイスのステップに対応するモジュール、ユニット、又は手段(means)を含む。機能、ユニット、又は手段(means)は、ソフトウェアによって実装されてもよく、ハードウェアによって実装されてもよく、対応するソフトウェアを実行するハードウェアによって実装されてもよく、又は、ソフトウェア及びハードウェアの組み合わせによって実装されてもよい。詳細については、上記の対応する方法の実施形態における対応する説明を参照するべきである。

取得ユニット701は、未処理の画像の圧縮されている画像を取得するように構成される。解凍ユニット702は、圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成される。決定ユニット703は、ターゲット差分情報を決定するように構成され、ターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される。圧縮ユニット704は、ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得するように構成される。送信ユニット705は、第2の画像デバイスに圧縮されている画像及び圧縮されているターゲット差分情報を送信するように構成される。

ある1つの可能な実装において、差分情報及びターゲット差分情報の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。決定ユニット703は、特に、差分情報の中に含まれる画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、ターゲット差分情報の中に含まれる前記画像マトリクスを取得するように構成される。

ある1つの可能な実装において、取得ユニット701は、特に、撮像装置からの未処理の画像を受信し、未処理の画像に対応する基準画像を取得し、そして、基準画像に基づいて未処理の画像を圧縮して、圧縮されている画像を取得する、ように構成される。

ある1つの可能な実装において、取得ユニット701は、特に、撮像によって未処理の画像を取得し、未処理の画像に対応する基準画像を取得し、そして、基準画像に基づいて未処理の画像を圧縮して、圧縮されている画像を取得する、ように構成される。

ある1つの可能な実装において、送信ユニット705は、さらに、第2の画像デバイスに基準画像を送信するように構成される。

この出願のこの実施形態において説明されている画像処理装置700の中の機能ユニットの機能については、図3における上記の実施形態の中のステップS301乃至ステップS305の関連する説明を参照するべきであるということに留意するべきである。本明細書においては、詳細は繰り返しては説明されない。

図8は、この出願のある1つの実施形態にしたがった他の画像処理装置の構成の概略的な図である。画像処理装置800は、受信ユニット801、解凍ユニット802、及び画像処理ユニット803を含んでもよい。それらのユニットの詳細な説明は、以下のようになる。

画像処理装置は、この出願の複数の実施形態において説明されている第2の画像デバイスを実装する機能を有する。例えば、画像処理装置は、この出願の複数の実施形態において説明されているように、コンピュータデバイスが実行する第2の画像デバイスのステップに対応するモジュール、ユニット、又は手段(means)を含む。機能、ユニット、又は手段(means)は、ソフトウェアによって実装されてもよく、ハードウェアによって実装されてもよく、対応するソフトウェアを実行するハードウェアによって実装されてもよく、又は、ソフトウェア及びハードウェアの組み合わせによって実装されてもよい。詳細については、上記の対応する方法の実施形態における対応する説明を参照するべきである。

受信ユニット801は、第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信するように構成され、ターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される。解凍ユニット802は、圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成される。画像処理ユニット803は、圧縮されているターゲット差分情報に基づいて、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得するように構成される。

ある1つの可能な実装において、受信ユニット801は、さらに、第1の画像デバイスから、未処理の画像に対応する基準画像を受信するように構成される。

ある1つの可能な実装において、解凍ユニット802は、特に、基準画像に基づいて、圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成される。

ある1つの可能な実装において、ターゲット差分情報及び第1の解凍されている画像の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。画像処理ユニット802は、特に、圧縮されているターゲット差分情報を解凍して、ターゲット差分情報を取得し、第1の解凍されている画像の中に含まれる画像マトリクス及びターゲット差分情報の中に含まれる画像マトリクスに対して加算処理を実行して、第2の解凍されている画像の中に含まれる画像マトリクスを取得し、そして、第2の解凍されている画像の中に含まれる画像マトリクスに基づいて、第2の解凍されている画像を決定する、ように構成される。

この出願のこの実施形態において説明されている画像処理装置800の中の機能ユニットの機能については、図3における上記の方法の実施形態の中のステップS306及びステップS307の関連する説明を参照するべきであるということに留意するべきである。本明細書においては、詳細は繰り返しては説明されない。

図9に示されているように、図9は、この出願のある1つの実施形態にしたがったコンピュータデバイスの構成の概略的な図である。コンピュータデバイス900は、この出願の複数の実施形態において説明されている第1の画像デバイスを実装する機能を有する。コンピュータデバイス900は、少なくとも1つのプロセッサ901、少なくとも1つのメモリ902、及び少なくとも1つの通信インターフェイス903を含む。加えて、そのデバイスは、アンテナ等の汎用の構成要素をさらに含んでもよい。本明細書においては、詳細は繰り返しては説明されない。

プロセッサ901は、汎用の中央処理ユニット(CPU)、マイクロプロセッサ、特定用途向け集積回路(application-specific integrated circuit, ASIC)、或いは、上記の解決方法のプログラムの実行を制御するように構成される1つ又は複数の集積回路であってもよい。

通信インターフェイス903は、イーサネット、無線アクセスネットワーク(RAN)、コアネットワーク、又は無線ローカルエリアネットワーク(wireless local area network, WLAN)等の他のデバイス又は通信ネットワークとの間で通信するように構成される。

メモリ902は、読み取り専用メモリ(read-only memory, ROM)、静的な情報及び命令を格納することが可能である他のタイプの静的な記憶デバイス、ランダムアクセスメモリ(random access memory, RAM)、又は、情報及び命令を格納することが可能である他のタイプの動的な記憶デバイスであってもよく、或いは、電気的に消去可能な且つプログラム可能な読み取り専用メモリ(electrically erasable programmable read-only memory, EEPROM)、コンパクトディスク読み取り専用メモリ(compact disc read-only memory, CD-ROM)又は他のコンパクトディスク記憶装置、(コンパクトディスク、レーザディスク、光ディスク、ディジタル多用途ディスク、又はブルーレイディスク等を含む)光ディスク記憶装置、磁気ディスク記憶媒体、他の磁気記憶デバイス、或いは、命令又はデータ構造の形態で予期されるプログラムコードを搬送し又は格納するように構成されてもよく、且つ、コンピュータによってアクセスすることが可能であるいずれかの他の媒体であってもよい。しかしながら、メモリは、それらには限定されない。メモリは、独立して存在してもよく、バスを介してプロセッサに接続される。メモリは、代替的に、プロセッサと一体化されてもよい。

メモリ902は、上記の解決方法を実行するのに使用されるアプリケーションプログラムコードを格納するように構成され、プロセッサ901は、その実行を制御する。プロセッサ901は、メモリ902の中に格納されているアプリケーションプログラムコードを実行するように構成される。

メモリ902の中に格納されているコードは、図3によって提供される画像処理方法を実行してもよく、例えば、未処理の画像の圧縮されている画像を取得し、圧縮されている画像を解凍して、第1の解凍されている画像を取得し、ターゲット差分情報を決定し、そのターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得され、ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得し、そして、第2の画像デバイスに圧縮されている画像及び圧縮されているターゲット差分情報を送信てもよい。

この出願のこの実施形態において説明されているコンピュータデバイス900の中の機能ユニットの機能については、図3における上記の方法の実施形態の中のステップS301乃至ステップS305の関連する説明を参照するべきであるということに留意するべきである。本明細書においては、詳細は繰り返しては説明されない。

上記の実施形態においては、各々の実施形態の説明は、それぞれの着目点を有する。ある実施形態において詳細には説明されていない部分については、他の実施形態における関連する説明を参照するべきである。

図10に示されているように、図10は、この出願のある1つの実施形態にしたがった他のコンピュータデバイスの構成の概略的な図である。デバイス1000は、この出願の複数の実施形態において説明されている第2の画像デバイスを実装する機能を有する。そのコンピュータデバイス1000は、少なくとも1つのプロセッサ1001、少なくとも1つのメモリ1002、及び少なくとも1つの通信インターフェイス1003を含む。加えて、そのデバイスは、アンテナ等の汎用の構成要素をさらに含んでもよい。本明細書においては、詳細は繰り返しては説明されない。

プロセッサ1001は、汎用の中央処理ユニット(CPU)、マイクロプロセッサ、特定用途向け集積回路(application-specific integrated circuit, ASIC)、又は上記の解決方法のプログラムの実行を制御するように構成される1つ又は複数の集積回路であってもよい。

通信インターフェイス1003は、イーサネット、無線アクセスネットワーク(RAN)、コアネットワーク、又は無線ローカルエリアネットワーク(Wireless Local Area Network, WLAN)等の他のデバイス又は通信ネットワークとの間で通信するように構成される。

メモリ1002は、読み取り専用メモリ(read-only memory, ROM)、静的な情報及び命令を格納することが可能である他のタイプの静的な記憶デバイス、ランダムアクセスメモリ(random access memory, RAM)、又は、情報及び命令を格納することが可能である他のタイプの動的な記憶デバイスであってもよく、或いは、電気的に消去可能な且つプログラム可能な読み取り専用メモリ(electrically erasable programmable read-only memory, EEPROM)、コンパクトディスク読み取り専用メモリ(compact disc read-only memory, CD-ROM)又は他のコンパクトディスク記憶装置、(コンパクトディスク、レーザディスク、光ディスク、ディジタル多用途ディスク、又はブルーレイディスク等を含む)光ディスク記憶装置、磁気ディスク記憶媒体、他の磁気記憶デバイス、或いは、命令又はデータ構造の形態で予期されるプログラムコードを搬送し又は格納するように構成されてもよく、且つ、コンピュータによってアクセスすることが可能であるいずれかの他の媒体であってもよい。しかしながら、メモリは、それらには限定されない。メモリは、独立して存在してもよく、バスを介してプロセッサに接続される。メモリは、代替的に、プロセッサと一体化されてもよい。

メモリ1002は、上記の解決方法を実行するのに使用されるアプリケーションプログラムコードを格納するように構成され、プロセッサ1001は、その実行を制御する。プロセッサ1001は、メモリ1002の中に格納されているアプリケーションプログラムコードを実行するように構成される。

メモリ1002の中に格納されているコードは、図3によって提供される画像処理方法を実行してもよく、例えば、第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信し、ターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得され、圧縮されている画像を解凍して、第1の解凍されている画像を取得し、そして、圧縮されているターゲット差分情報に基づいて、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得してもよい。

この出願のこの実施形態において説明されているコンピュータデバイス1000の中の機能ユニットの機能については、図3における上記の方法の実施形態の中のステップS306及びステップS307の関連する説明を参照するべきであるということに留意するべきである。本明細書においては、詳細は繰り返しては説明されない。

上記の実施形態においては、各々の実施形態の説明は、それぞれの着目点を有する。ある実施形態において詳細には説明されていない部分については、他の実施形態における関連する説明を参照するべきである。

説明を簡潔にするために、上記の方法の実施形態は、一連の動作として表現されるということに留意するべきである。しかしながら、この出願によれば、他の順序で又は同時に複数のステップのうちのいくつかを実行してもよいので、当業者は、この出願が、それらの動作の説明されている順序には限定されないということを理解するはずである。さらに、当業者は、本明細書の中で説明されている複数の実施形態のすべてが、好ましい実施形態に属し、且つ、関連する動作及びモジュールが、必ずしも、この出願によっては要求されないということを理解するはずである。

この出願によって提供される複数の実施形態のうちのいくつかにおいて、他の方式によって、開示されている装置を実装することが可能であるということを理解するべきである。例えば、説明されている装置の実施形態は、ある1つの例であるにすぎない。例えば、複数のユニットへの分割は、論理的な機能の分割であるにすぎず、実際の実装においては他の分割であってもよい。例えば、複数のユニット又は構成要素を組み合わせ又は一体化して、他のシステムとしてもよく、或いは、複数の特徴のうちのいくつかを無視してもよく又は実行しなくてもよい。加えて、複数のインターフェイスのうちのいくつかによって、示され又は説明されている相互の結合又は直接的な結合、又は、通信接続を実装してもよい。電子的な形態によって又は他の形態によって、複数の装置又は複数のユニットの間の間接的な結合又は通信接続を実装することが可能である。

個別の部分として説明されている上記のユニットは、物理的に分離されていてもよく、又は、物理的に分離されいなくてもよく、複数のユニットとして示されている部分は、物理的なユニットであってもよく、又は、物理的なユニットでなくてもよく、1つの場所に位置していてもよく、又は、複数のネットワークユニットにわたって分散されていてもよい。実際の必要性に基づいて、それらの複数のユニットのうちの一部又はすべてを選択して、複数の実施形態の複数の解決方法の目的を達成してもよい。

加えて、この出願の複数の実施形態における複数の機能ユニットを一体化して、1つの処理ユニットとしてもよく、或いは、複数のユニットの各々は、物理的に単独で存在してもよく、又は、2つ又はそれ以上のユニットを一体化して、1つのユニットとしてもよい。一体化されているユニットは、ハードウェアの形態で実装されてもよく、又は、ソフトウェア機能ユニットの形態で実装されてもよい。

上記の一体化されているユニットがソフトウェア機能ユニットの形態で実装され、且つ、独立した製品として販売され又は使用されるときに、コンピュータ読み取り可能な記憶媒体の中に、その一体化されているユニットを格納してもよい。そのような理解に基づいて、この出願のそれらの複数の技術的解決方法は、本質的に、或いは、従来技術に寄与する部分、或いは、それらの複数の技術的解決方法のすべて又は一部は、ソフトウェア製品の形態で実装されてもよい。コンピュータソフトウェア製品は、記憶媒体の中に格納され、いくつかの命令を含み、それらのいくつかの命令は、この出願の複数の実施形態の中で説明されている複数の方法の複数のステップのうちのすべて又は一部を実行するように、(パーソナルコンピュータ、サーバ、又はネットワークデバイスであってもよく、具体的には、コンピュータデバイスの中のプロセッサであってもよい)コンピュータデバイスに指示する。上記の記憶媒体は、プログラムコードを格納することが可能であるUSBフラッシュドライブ、取り外し可能なハードディスク、磁気ディスク、光ディスク、読み取り専用メモリ(read-only memory, ROM)、又は、ランダムアクセスメモリ(random access memory, RAM)等のいずれかの媒体を含んでもよい。

この出願の明細書、特許請求の範囲、及び添付の図面の中で、"第1の"、"第2の"、"第3の"、及び"第4の"等の語は、複数の異なる対象を判別することを意図しているが、ある特定の順序を示すことを意図してはいない。加えて、"含む"及び"有する"の語、及び、それらのいずれかの他の変形は、非排他的含有関係を含めることを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品、又はデバイスは、記載されているステップ又はユニットには限定されず、選択的に、記載されていないステップ又はユニットをさらに含むか、又は、選択的に、プロセス、方法、製品、又はデバイスの他の固有のステップ又はユニットをさらに含む。

本明細書の中で言及されている"実施形態"は、この実施形態を参照して説明されているある特定の特徴、構成、又は特性が、この出願の少なくとも1つの実施形態の中に含まれる場合があるということを意味する。明細書のさまざまな箇所に示されている字句は、必ずしも、同じ実施形態を指していなくてもよく、他の実施形態とは無関係な実施形態又は他の実施形態から排他的な且つ随意的な実施形態ではない。当業者は、明細書の中で説明されている実施形態を他の実施形態と組み合わせてもよいということを明示的に且つ黙示的に理解する。

本明細書の中で使用されている"構成要素"、"モジュール"、及び"システム"等の語は、コンピュータに関連するエンティティ、ハードウェア、ファームウェア、ハードウェア及びソフトウェアの組み合わせ、ソフトウェア、又は実行されているソフトウェアを示す。例えば、構成要素は、これらには限定されないが、プロセッサによって実行されるプロセス、プロセッサ、オブジェクト、実行可能なファイル、実行スレッド、プログラム、及び/又はコンピュータであってもよい。複数の図を使用することによって図示されているように、コンピューティングデバイス及びコンピューティングデバイスによって実行されているアプリケーションの双方は、構成要素となってもよい。1つ又は複数の構成要素は、プロセス及び/又は実行スレッドの中に存在してもよく、構成要素は、1つのコンピュータに位置していてもよく、及び/又は、2つ又はそれ以外のコンピュータの間で分散されていてもよい。加えて、これらの構成要素は、さまざまなデータ構造を格納するさまざまなコンピュータ読み取り可能な媒体を使用して実行されてもよい。例えば、それらの複数の構成要素は、局所的なプロセス及び/又はリモートプロセスを使用することによって、且つ、例えば、(例えば、局所的なシステム、分散システムの中の他の構成要素と対話する2つの構成要素からのデータ、及び/又は、信号を使用することによって他のシステムと対話するインターネット等のネットワークを横断するデータ等の)1つ又は複数のデータパケットを有する信号に基づいて通信してもよい。

上記の実施形態は、この出願を限定するのではなく、この出願の複数の技術的解決方法を説明することを意図しているにすぎない。この出願は、上記の複数の実施形態を参照して詳細に説明されているが、当業者は、この出願の複数の実施形態の複数の技術的解決方法の趣旨及び範囲から離れることなく、当業者が、さらに、上記の複数の実施形態の中で説明されている複数の技術的解決方法に対して修正を行ってもよく、又は、上記の複数の実施形態の複数の技術的特徴のうちのいくつかに対して等価な置換を行ってもよいということを理解するはずである。

[関連出願への相互参照]
この出願は、2020年9月17日付で中国国家知的財産管理局に出願された"画像処理方法及び装置、デバイス、及びコンピュータ読み取り可能な記憶媒体"と題する中国特許出願第202010981884.9号に基づく優先権を主張し、その内容は、その全体が参照により本明細書に組み込まれる。

[技術分野]
この出願は、コンピュータビジョンの分野に関し、特に、画像処理方法及び装置、デバイス、及びコンピュータ読み取り可能な記憶媒体に関する。

画像圧縮は、コンピュータビジョンの分野における基本技術のうちの1つであり、冗長データを取り除き、画像を表現するのに必要とされるデータの量を減少させて、記憶領域を節約することを目的とする。モバイル通信技術の発展に伴って、モバイル環境において画像圧縮をどのように実装して、伝送帯域幅を減少させるかは、現在のコンピュータビジョン研究で注目されている話題の1つである。特に、産業分野においては、産業用カメラで画像を撮影し、圧縮し、そして、サーバ端に伝送する。そのサーバ端は、その画像を解凍して分析し、そして、生成の際の加工対象画像の処理、組み立て、及び検査を制御しそしてモニタリングするように対応する命令をトリガする。ところが、実際の適用プロセスにおいては、解凍されている画像と未処理の画像との間の精度損失誤差が大きくなる。結果として、サーバ端における認識に影響を与え、さらに分析結果に影響を与える。

したがって、解凍されている画像と未処理の画像との間の精度損失誤差をどのように減少させるかは、解決されるべき緊急の技術的課題である。

この出願は、画像処理方法及び装置、デバイス、及び、コンピュータ読み取り可能な記憶媒体を提供することによって、第2の画像デバイスが復元する画像と未処理の画像との間の精度損失の減少に役立てる。

第1の態様によれば、この出願は、画像処理方法を提供し、その方法は、第1の画像デバイスに適用される。その方法は、第1の画像デバイスによって実行されてもよく、或いは、第1の画像デバイスの中の(例えば、プロセッサ又はチップ等の)装置によって実行されてもよい。その方法は、ある1つの例として第1の画像デバイスを使用し、未処理の画像の圧縮されている画像を取得するステップと、前記圧縮されている画像を解凍して、第1の解凍されている画像を取得するステップと、ターゲット差分情報を決定するステップであって、前記ターゲット差分情報は、前記未処理の画像と前記第1の解凍されている画像との間の差分情報に基づいて取得される、ステップと、前記ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得するステップと、第2の画像デバイスに前記圧縮されている画像及び前記圧縮されているターゲット差分情報を送信するステップと、を含んでもよい。

第1の態様によって提供される方法によれば、圧縮されている画像を使用する際の日常の体験を学習してもよい。未処理の画像を圧縮した後に、その圧縮されている画像は、第2の画像デバイスに送信される。第2の画像デバイスは、圧縮されている画像を直接的に解凍し、その第2の画像デバイスは、解凍されている画像を直接的に識別し及び分析してもよい。第2の画像デバイスが受信した圧縮されている画像を解凍することによって得られる画像が、未処理の画像と比較して大きな精度誤差を有する場合には、ある程度まで以降の認識及び分析に影響を与える。したがって、この出願のこの実施形態においては、元の圧縮されている画像に基づいて、圧縮されている画像を解凍することによって得られる第1の解凍されている画像と未処理の画像との間のターゲット差分情報を追加する。ターゲット差情報を使用することによって、分析により、未処理の画像と第1の解凍されている画像との間の精度損失を取得することが可能であり、それによって、第2の画像デバイスは、解凍されている画像に対して復元処理を実行して、より精度の高い解凍されている画像を取得し、その結果、解凍されている画像と未処理の画像との間の精度損失を減少させるとともに、解凍されている画像の精度を改善する。そのときに、ターゲット差分情報を圧縮し、そして、その次に、第2の画像デバイスに送信して、伝送される必要があるデータの量を減少させる。

ある1つの可能な実装において、前記差分情報及び前記ターゲット差分情報の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。ターゲット差分情報を決定する前記ステップは、前記差分情報の中に含まれる前記画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、前記ターゲット差分情報の中に含まれる前記画像マトリクスを取得するステップを含む。この出願のこの実施形態において、解凍によって得られる第1の解凍されている画像を取得した後に、第1の画像デバイスは、第1の解凍されている画像の中に含まれる画像マトリクス及び未処理の画像の中に含まれる画像マトリクスに対してマトリクス減算処理を実行して、第1の解凍されている画像と未処理の画像との間の差分情報を取得してもよい。差分情報を格納し及び伝送する過程でのデータ量を減少させるために、それらの2つの画像の間の差が大きな部分をそのままにし、一方で、差分情報の中のマトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、ターゲット差分情報の中に含まれる画像マトリクスを取得する。その変更されている画像マトリクスにおいては、同じ画像要素値の数が増加し、それによって、伝送されるデータの量を減少させることが可能であるということを理解することが可能である。ターゲット差分情報を使用することによって、第2の画像デバイスが復元する画像と未処理の画像との間の精度損失を減少させることを可能とする。

ある1つの可能な実装において、未処理の画像の圧縮されている画像を取得する前記ステップは、撮像装置からの前記未処理の画像を受信するステップと、前記未処理の画像に対応する基準画像を取得するステップと、前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得するステップと、を含む。この出願のこの実施形態において、未処理の画像を圧縮するときに、第1の画像デバイスは、撮像装置が撮像する未処理の画像及びその未処理の画像に対応する基準画像を取得してもよい。その画像は、対応する基準画像と未処理の画像との間の関係に基づいて圧縮される、すなわち、圧縮は、未処理の画像と基準画像との間の差分情報を使用することによって実行される。この差分情報は、未処理の画像の圧縮効率を改善することを可能とするとともに、また、リアルタイムで画像を圧縮する必要があるシナリオにおいて、その差分情報を広く使用することを可能とする。

ある1つの可能な実装において、未処理の画像の圧縮されている画像を取得する前記ステップは、撮像によって前記未処理の画像を取得するステップと、前記未処理の画像に対応する基準画像を取得するステップと、前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得するステップと、を含む。この出願のこの実施形態において、第1の画像デバイスは、撮像装置を含んでもよく、未処理の画像として撮像されている画像を使用してもよく、圧縮のための対応する基準画像を取得してもよい。第1の画像デバイスの中に撮像装置を配置することによって、デバイスの冗長性を減少させる。加えて、対応する基準画像と未処理の画像との間の関係に基づいて、画像を圧縮する、すなわち、圧縮は、未処理の画像と基準画像との間の差分情報を使用することによって実行される。この差分情報は、未処理の画像の圧縮効率を改善することを可能とするとともに、また、リアルタイムで画像を圧縮する必要があるシナリオにおいて、その差分情報を広く使用することを可能とする。

ある1つの可能な実装において、当該方法は、前記第2の画像デバイスに前記基準画像を送信するステップをさらに含む。この出願のこの実施形態において、第2の画像デバイスに未処理の画像に対応する基準画像を送信してもよく、それによって、第2の画像デバイスは、その基準画像を使用することによって、未処理の画像の圧縮されている画像を解凍することが可能であり、その結果、第2の画像デバイスは、ターゲット差分情報に基づいて、未処理の画像の解凍されている画像を復元して、精度の高い画像を取得することが可能であるとともに、第2の画像デバイスが復元する画像と未処理の画像との間の精度損失を減少させることが可能である。

第2の態様によれば、この出願のある1つの実施形態は、画像処理方法を提供し、その方法は、第2の画像デバイスに適用される。その方法は、第2の画像デバイスによって実行されてもよく、或いは、第2の画像デバイスの中の(例えば、プロセッサ又はチップ等の)装置によって実行されてもよい。その方法は、ある1つの例として第2の画像デバイスを使用し、第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信するステップであって、ターゲット差分情報は、前記未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される、ステップと、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するステップと、前記圧縮されているターゲット差分情報に基づいて、前記第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得するステップと、を含んでもよい。

第2の態様によって提供される方法によれば、第2の画像デバイスは、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信し、そして、その圧縮されている画像を解凍してもよい。未処理の画像の圧縮されている画像を解凍することは、第1の画像デバイスによって未処理の画像を圧縮することの逆操作となっていて、その結果、第1の解凍されている画像を取得してもよい。加えて、圧縮されているターゲット差分情報を解凍し、それによって、ターゲット差分情報の中に含まれる差分情報であって、未処理の画像の解凍されている画像(すなわち、第1の解凍されている画像)と未処理の画像との間の差分情報を取得することが可能である。したがって、第1の解凍されている画像を補償して、精度がより高い第2の解凍されている画像を取得することが可能であるとともに、第2の解凍されている画像と未処理の画像との間の精度損失を減少させることが可能である。

ある1つの可能な実装において、当該方法は、前記第1の画像デバイスから、前記未処理の画像に対応する基準画像を受信するステップをさらに含む。この出願のこの実施形態において、第1の画像デバイスは、未処理の画像に対応する基準画像を使用することによって、その未処理の画像を圧縮する。第1の画像デバイスが送信する基準画像を受信した後に、第2の画像デバイスは、その基準画像を使用することによって、第1の圧縮されている画像を解凍するという逆操作を実行して、第1の解凍されている画像を取得してもよい。このように、ターゲット差分情報及び第1の解凍されている画像に基づいて画像処理を実行して、精度がより高い第2の解凍されている画像を取得し、その結果、第2の解凍されている画像と未処理の画像との間の精度損失を減少させるとともに、第2の解凍されている画像の精度を改善する。

ある1つの可能な実装において、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得する前記ステップは、前記基準画像に基づいて、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するステップを含む。この出願のこの実施形態において、第1の画像デバイスは、未処理の画像に対応する基準画像を使用することによって未処理の画像を圧縮して、圧縮されている画像を取得し、一方で、第2の画像デバイスは、圧縮されている画像の未処理の画像に対応する基準画像を使用することによって、その圧縮されている画像を解凍して、第1の解凍されている画像を取得してもよい。各々の圧縮されている画像のために、基準画像として前のフレームの画像を使用してもよく、各々の圧縮されている画像の基準画像に基づいて解凍を実行して、解凍されている画像を取得してもよく、そのときに、ターゲット差分情報を使用することによって解凍されている画像を復元して、精度がより高い第2の解凍されている画像を取得し、第2の解凍されている画像と未処理の画像との間の精度損失を減少させるということを理解することが可能である。

ある1つの可能な実装において、前記ターゲット差分情報及び前記第1の解凍されている画像の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含み、前記圧縮されているターゲット差分情報に基づいて、前記第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得する前記ステップは、前記圧縮されているターゲット差分情報を解凍して、前記ターゲット差分情報を取得するステップと、前記第1の解凍されている画像の中に含まれる前記画像マトリクス及び前記ターゲット差分情報の中に含まれる前記画像マトリクスに対して加算処理を実行して、前記第2の解凍されている画像の中に含まれる画像マトリクスを取得するステップと、前記第2の解凍されている画像の中に含まれる前記画像マトリクスに基づいて、前記第2の解凍されている画像を決定するステップと、を含む。この出願のこの実施形態において、第2の画像デバイスは、ターゲット差分情報の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスに対してマトリクス加算演算を実行して、第1の解凍されている画像に、その第1の解凍されている画像と未処理の画像との間の差分情報を加算し、その結果、精度がより高い第2の解凍されている画像を取得することが可能であるとともに、復元した第2の解凍されている画像と未処理の画像との間の精度損失を減少させることが可能である。

第3の態様によれば、この出願のある1つの実施形態は、画像処理装置を提供する。画像処理装置は、第1の態様にしたがった第1の画像デバイスを実装する複数の機能のうちの一部又はすべてを有する。例えば、その装置の機能は、この出願における第1の画像デバイスの複数の実施形態のうちのいくつか又はすべてにおける機能を含んでもよく、或いは、この出願の複数の実施形態のうちのいずれか1つを個別に実装する機能を含んでもよい。その機能は、ハードウェアによって実装されてもよく、又は、対応するソフトウェアを実行するハードウェアによって実装されてもよい。ハードウェア又はソフトウェアは、その機能に対応する1つ又は複数のユニット或いはモジュールを含む。その画像処理装置は、未処理の画像の圧縮されている画像を取得するように構成される取得ユニットと、前記圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成される解凍ユニットと、ターゲット差分情報を決定するように構成される決定ユニットであって、前記ターゲット差分情報は、前記未処理の画像と前記第1の解凍されている画像との間の差分情報に基づいて取得される、決定ユニットと、前記ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得するように構成される圧縮ユニットと、第2の画像デバイスに前記圧縮されている画像及び前記圧縮されているターゲット差分情報を送信するように構成される送信ユニットと、を含んでもよい。

ある1つの可能な実装において、前記差分情報及び前記ターゲット差分情報の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。前記決定ユニットは、特に、前記差分情報の中に含まれる前記画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、前記ターゲット差分情報の中に含まれる前記画像マトリクスを取得するように構成される。

ある1つの可能な実装において、前記取得ユニットは、特に、撮像装置からの前記未処理の画像を受信し、前記未処理の画像に対応する基準画像を取得し、そして、前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得する、ように構成される。

ある1つの可能な実装において、前記取得ユニットは、特に、撮像によって前記未処理の画像を取得し、前記未処理の画像に対応する基準画像を取得し、そして、前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得する、ように構成される。

ある1つの可能な実装において、前記送信ユニットは、さらに、前記第2の画像デバイスに前記基準画像を送信するように構成される。

第4の態様によれば、この出願のある1つの実施形態は、画像処理装置を提供する。その画像処理装置は、第2の態様にしたがった第2の画像デバイスを実装する複数の機能のうちの一部又はすべてを有する。例えば、その装置の機能は、この出願における第2の画像デバイスの複数の実施形態のうちのいくつか又はすべてにおける機能を含んでもよく、或いは、この出願の複数の実施形態のうちのいずれか1つを個別に実装する機能を含んでもよい。その機能は、ハードウェアによって実装されてもよく、又は、対応するソフトウェアを実行するハードウェアによって実装されてもよい。ハードウェア又はソフトウェアは、その機能に対応する1つ又は複数のユニット或いはモジュールを含む。その画像処理装置は、第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信するように構成される受信ユニットであって、ターゲット差分情報は、前記未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される、受信ユニットと、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するように構成される解凍ユニットと、前記圧縮されているターゲット差分情報に基づいて、前記第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得するように構成される画像処理ユニットと、を含む。

ある1つの可能な実装において、前記受信ユニットは、さらに、前記第1の画像デバイスから、前記未処理の画像に対応する基準画像を受信するように構成される。

ある1つの可能な実装において、前記解凍ユニットは、特に、前記基準画像に基づいて、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するように構成される。

ある1つの可能な実装において、前記ターゲット差分情報及び前記第1の解凍されている画像の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。前記解凍ユニットは、特に、前記圧縮されているターゲット差分情報を解凍して、前記ターゲット差分情報を取得し、前記第1の解凍されている画像の中に含まれる前記画像マトリクス及び前記ターゲット差分情報の中に含まれる前記画像マトリクスに対して加算処理を実行して、前記第2の解凍されている画像の中に含まれる画像マトリクスを取得し、そして、前記第2の解凍されている画像の中に含まれる前記画像マトリクスに基づいて、前記第2の解凍されている画像を決定する、ように構成される。

第5の態様によれば、この出願のある1つの実施形態は、コンピュータデバイスを提供する。そのコンピュータデバイスは、プロセッサを含み、そのプロセッサは、コンピュータデバイスが、第1の態様によって提供される画像処理方法において対応する機能を実装するのを支援するように構成される。コンピュータデバイスは、メモリをさらに含んでもよく、メモリは、プロセッサと結合されるように構成され、コンピュータデバイスに必要なプログラム命令及びデータを格納する。そのコンピュータデバイスは、通信インターフェースをさらに含んでもよく、その通信インターフェースは、コンピュータデバイスと他のデバイス又は他の通信ネットワークとの間の通信のために使用される。

第6の態様によれば、この出願のある1つの実施形態は、コンピュータデバイスを提供する。そのコンピュータデバイスは、プロセッサを含み、そのプロセッサは、コンピュータデバイスが、第2の態様によって提供される画像処理方法において対応する機能を実装するのを支援するように構成される。コンピュータデバイスは、メモリをさらに含んでもよく、メモリは、プロセッサと結合されるように構成され、コンピュータデバイスに必要なプログラム命令及びデータを格納する。そのコンピュータデバイスは、通信インターフェースをさらに含んでもよく、その通信インターフェースは、コンピュータデバイスと他のデバイス又は他の通信ネットワークとの間の通信のために使用される。

第7の態様によれば、この出願のある1つの実施形態は、コンピュータ読み取り可能な記憶媒体を提供し、そのコンピュータ読み取り可能な記憶媒体は、第1の態様によって提供される第1の画像デバイスが使用するコンピュータソフトウェア命令を格納するように構成される。コンピュータ読み取り可能な記憶媒体は、第1の態様を実行するように設計されるプログラムを含む。

第8の態様によれば、この出願のある1つの実施形態は、コンピュータ読み取り可能な記憶媒体を提供し、そのコンピュータ読み取り可能な記憶媒体は、第2の態様によって提供される第2の画像デバイスが使用するコンピュータソフトウェア命令を格納するように構成される。コンピュータ読み取り可能な記憶媒体は、第2の態様を実行するように設計されるプログラムを含む。

第9の態様によれば、この出願のある1つの実施形態は、コンピュータプログラムを提供し、そのコンピュータプログラムは、命令を含み、そのコンピュータプログラムがコンピュータによって実行されるときに、そのコンピュータが、第1の態様において第1の画像デバイスが実行する手順を実行することを可能とする。

第10の態様によれば、この出願のある1つの実施形態は、コンピュータプログラムを提供し、そのコンピュータプログラムは、命令を含み、そのコンピュータプログラムがコンピュータによって実行されるときに、そのコンピュータが、第2の態様において第2の画像デバイスが実行する手順を実行することを可能とする。

第11の態様によれば、この出願は、チップシステムを提供する。そのチップシステムは、プロセッサを含み、そのプロセッサは、コンピュータデバイスが、例えば、第1の態様における画像処理方法において情報を生成し又は処理するといったように、第1の態様における機能を実装するのを支援するように構成される。ある1つの可能な設計において、チップシステムは、メモリをさらに含み、そのメモリは、第1の画像デバイスのために必要なプログラム命令及びデータを格納するように構成される。チップシステムは、チップを含んでもよく、又は、チップ及び他の個別の構成要素を含んでもよい。

第12の態様によれば、この出願は、チップシステムを提供する。そのチップシステムは、プロセッサを含み、そのプロセッサは、コンピュータデバイスが、例えば、第2の態様における画像処理方法において情報を生成し又は処理するといったように、第2の態様における機能を実装するのを支援するように構成される。ある1つの可能な設計において、チップシステムは、メモリをさらに含み、そのメモリは、第2の画像デバイスのために必要なプログラム命令及びデータを格納するように構成される。チップシステムは、チップを含んでもよく、又は、チップ及び他の個別の構成要素を含んでもよい。

この出願のある1つの実施形態にしたがった画像処理システムのアーキテクチャの概略的な図である。 この出願のある1つの実施形態にしたがった産業用のビジョンの分野における画像処理システムのアーキテクチャの概略的な図である。 この出願のある1つの実施形態にしたがった画像処理方法の概略的なフローチャートである。 この出願のある1つの実施形態にしたがって産業用のビジョンに画像処理方法を適用する適用シナリオの図である。 この出願のある1つの実施形態にしたがった圧縮後の画像と圧縮前の画像との間の画像精度損失の概略的な図である。 この出願のある1つの実施形態にしたがった圧縮後の画像と圧縮前の画像との間の画像精度損失の概略的な図である。 この出願のある1つの実施形態にしたがった画像処理方法の概略的なタイミング図である。 この出願のある1つの実施形態にしたがった画像処理装置の構成の概略的な図である。 この出願のある1つの実施形態にしたがった他の画像処理装置の構成の概略的な図である。 この出願のある1つの実施形態にしたがったコンピュータデバイスの構成の概略的な図である。 この出願のある1つの実施形態にしたがった他のコンピュータデバイスの構成の概略的な図である。

当業者がより良く理解するのに役立つように、最初に、この出願における用語のうちのいくつかを説明する。

1. 画像マトリクス

画像マトリクスは、また、マトリクスとして又は画像のマトリクスとして説明されてもよい。画像マトリクスは、画像のマトリクス表現である。画像マトリクスの行は、画像の高さに対応し、画像マトリクスの列は、画像の幅に対応する。

この出願においては、第1の画像デバイスは、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスの2つのマトリクスに対して減算演算を実行して、差分情報を取得してもよい。第2の画像デバイスは、第1の解凍されている画像の中に含まれる画像マトリクス及びターゲット差分情報の中に含まれる画像マトリクスの2つのマトリクスに対して加算演算を実行して、第2の解凍されている画像の中に含まれる画像マトリクスを取得してもよく、それによって、第2の解凍されている画像の中に含まれる画像マトリクスに基づいて、第2の解凍されている画像を取得することが可能である。

2. 画像要素値

画像要素値は、また、要素値、画像の要素値、画像マトリクスの要素値、マトリクスの要素値、画像マトリクスの画像要素値、又は画像要素の値として説明されてもよい。画像要素値の数は、画素の数と同じであり、各々の画像要素値は、画像の中の1つの画素に対応するということを理解することが可能である。画像マトリクスの中の画像要素値の位置は、画像の中の画素の位置に対応し、画像要素値は、画素のグレースケール値である。

この出願において、第1の画像デバイスが、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスの2つのマトリクスに対して減算演算を実行して、差分情報を取得することは、具体的には、未処理の画像の中に含まれる画像マトリクスの中の各々の画像要素値及び第1の解凍されている画像の中に含まれる画像マトリクスの中で対応するマトリクスの中の画像要素値に対して減算演算を実行して、差分情報の中に含まれる画像マトリクスを取得することである。

3. ビデオコーディング

ビデオコーディングは、また、ビデオ圧縮として説明されてもよい。ビデオは、連続した画像フレームを含む。人間の目の視覚効果の持続性に起因して、画像フレームシーケンスがある特定の速度で再生されるときに、連続した動作を伴うビデオを視聴することが可能である。より便利にビデオを格納し及び伝送するために、ビデオはコーディングされてもよい。ビデオの中の複数の連続する画像フレームの間の類似性は極めて高いので、ビデオコーディングは、通常、そのビデオの中の空間的冗長性及び時間的冗長性を取り除くように構成される。一般的なビデオコーディング規格は、高度なビデオコーディング(advanced video coding, H.264/AVC)及び高効率ビデオコーディング(high efficiency video coding, HEVC/H.265)等を含む。

この出願において、第1の画像デバイスは、撮像装置が撮像する未処理の画像を取得し、そして、ビデオコーディング方式によって未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得してもよい。説明を容易にするために、この出願においては、説明のためのある1つの例として、H.264圧縮技術を使用する。

H.264圧縮技術は、主として、フレーム内予測を使用して、空間領域データ冗長性を減少させ、フレーム間予測(動き推定及び補償)を使用して、時間領域データ冗長性を減少させ、変換及び量子化を使用して、残差データを圧縮し、そして、コーディングを使用して、動きベクトル伝送及び信号伝送の際の残差及び冗長性を減少させる。H.264圧縮技術を使用することによって実行される画像圧縮は、主として、ブロック分割、フレームグループ化、フレーム間予測、フレーム内予測、離散コサイン変換、及びコーディング圧縮の部分を含む。

具体的には、ブロック分割は、マクロブロック分割及びサブブロック分割を含んでもよい。ある画像の中のサイズが16×16又は8×8の領域は、マクロブロックとして使用される。サブブロック分割は、マクロブロックとして使用される領域をより小さなサブブロックへと分割することを指してもよい。マクロブロック分割及びサブブロック分割は、以降の予測及び圧縮のために使用されてもよい。

フレームグループ化は、ピクチャグループ(group of pictures, GOP)(ある1つの画像シーケンス)へと、複数の密接に関連する画像フレームをグループ化することである。その画像シーケンスは、フレーム内コーディングされているフレーム(Iフレーム intra picture)、順方向予測コーディングされているフレーム(Pフレーム predictive-frame)、及び双方向の内挿補間されている予測フレーム(Bフレーム bi-directional interpolated prediction frame)の3つのタイプの画像フレームを含む。

Iフレームは、圧縮の際に完全な画像を保つことが可能であり、他の画像フレームを参照してIフレームを生成する必要はない。Iフレームは、大きな量の画像情報を含み、後続のPフレーム及びBフレームの基準画像フレームとして使用されてもよいということを理解することが可能である。Pフレームは、画像シーケンスの中でコーディングされている画像フレームの時間的冗長情報を使用することによって、伝送されるデータの量を圧縮するためのコーディングされている画像である。Pフレームは、画像フレームと前のIフレーム(又は、Pフレーム)との間の差を示す。復号化の際に、現在のフレームが定義する差分とバッファリングされている画像(Iフレーム)とを重畳して、最終的な画像を生成する必要がある。Pフレームは、完全な画像データを有しないが、前のフレームの画像からの差分のデータのみを有するということを理解することが可能である。復号化の際に、前のIフレーム(又は、Pフレーム)を参照する必要があり、従属的に復号化を実行することは不可能である。差分に基づいてPフレームを伝送するため、Pフレームの圧縮比は高くなる。Bフレームは、画像シーケンスの中のコーディングされている画像フレーム及びその画像シーケンスの後に続くコーディングされている画像フレームの時間的冗長情報の双方を考慮することによって、伝送されるデータの量を圧縮するためのコーディングされている画像である。Bフレームを復号化するために、その画像フレームの前に画像フレームバッファリングされている画像を取得する必要があり、同様に、画像フレーム復号化されている画像を取得する必要があるということを理解することが可能である。最終的な復号化されている画像は、現在のフレームのデータと前の画像及び次の画像とを重畳することによって取得される。

フレーム間予測は、ある画像シーケンスにおいて、Pフレームと前のIフレームとの間の画像の差分であってもよい2つの連続する画像フレームの間の画像の差分を使用することによって、同じ部分が除去され、圧縮のためのデータとして異なる部分のみが格納されるということを示す。フレーム内予測は、現在の画像フレームに基づいて圧縮を実行するということを示し、フレーム内予測は、隣接する前の画像フレーム及び次の画像フレームとは無関係である。画像の同じフレームの中の隣接するコーディングされている画素を使用し、且つ、画像の中の隣接する画素の彩度の値が急激に変化しないという特徴を使用して、現在の画素を予測することによって、フレーム内予測の結果を取得する。H.264圧縮技術は、9つのフレーム内予測モードを含み、未処理の画像からフレーム内予測画像を減算することによって得られる差分及び予測モードを格納してもよく、それによって、復号化の際に未処理の画像を復元することが可能である。

離散コサイン変換(discrete cosine transform, DCT)は、得られた差分に対して整数DCTを実行し、データの間の相関を取り除き、そして、データをさらに圧縮するのに使用されてもよい。

コーディング圧縮は、データに対して可逆的圧縮を実行することが可能であるということを示し、コーディング圧縮は、一般的に、ビデオ圧縮の終わりの部分に位置している。可逆的エントロピーコーディングは、情報エントロピー原理にしたがって実行されてもよい。エントロピーコーディングは、伝送又は格納のために使用される圧縮されているデータストリームへと、ビデオシーケンスを表現するのに使用される一連の要素シンボルを変換する。入力シンボルは、量子化されている変換係数、動きベクトル情報、又は予測モード情報等を含んでもよい。エントロピーコーディングは、これらのビデオ要素シンボルの統計的冗長性を効果的に取り除くことが可能であり、ビデオコーディングの圧縮効率を保証する重要なツールのうちの1つである。H.264においては、コーディング圧縮は、コンテキストベースの適応バイナリ算術コーディング(context-based adaptive binary arithmetic coding, CABAC)を使用することによって実行されてもよい。

以下の記載は、この出願の複数の実施形態における添付の図面を参照して、この出願の複数の実施形態を説明する。

この出願の複数の実施形態の理解を容易にするために、以下の記載は、最初に、この出願の複数の実施形態が基づいている画像処理システムのアーキテクチャを説明する。図1は、この出願のある1つの実施形態にしたがった画像処理システムのアーキテクチャの概略的な図である。この出願における画像処理システムのアーキテクチャは、図1における第1の画像デバイス101及び第2の画像デバイス102を含んでもよい。第1の画像デバイス101及び第2の画像デバイス102は、ネットワークを使用することによって互いに通信してもよい。第1の画像デバイス101及び第2の画像デバイス102は、画像処理に関連するいずれかのコンピュータデバイスの中に個別に配置されてもよい。例えば、第1の画像デバイス101及び第2の画像デバイス102は、クラウド環境の中の(例えば、中央サーバ等の)1つ又は複数のコンピューティングデバイスの中、或いは、エッジ環境の中の(エッジコンピューティングデバイス等の)1つ又は複数のコンピューティングデバイスの中に個別に配置されてもよい。エッジコンピューティングデバイスは、サーバであってもよい。クラウド環境は、中央コンピューティングデバイスクラスタであり、その中央コンピューティングデバイスクラスタは、クラウドサービスプロバイダによって所有されるとともに、計算リソース、記憶リソース、及び通信リソースを提供するように構成される。クラウド環境の中には、記憶リソース及び計算リソースが数多く存在する。エッジ環境は、エッジコンピューティングデバイスクラスタであり、そのエッジコンピューティングデバイスクラスタは、未処理のデータ収集デバイスに地理的に近接しているとともに、計算リソース、記憶リソース、及び通信リソースを提供するのに使用される。代替的に、この出願におけるターゲット追跡システムは、1つ又は複数の端末デバイスの中に配置されてもよい。例えば、ターゲット追跡システムは、ある1つの端末デバイスの中に配置されてもよい。その端末デバイスは、ある特定の計算リソース、記憶リソース、及び通信リソースを有し、コンピュータ、車載型端末、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パームトップコンピュータ、携帯インターネットデバイス(mobile internet device, MID)、又は、ゲートウェイ等であってもよい。

具体的には、第1の画像デバイス101は、未処理の画像の圧縮されている画像を解凍し、未処理の画像と解凍によって得られる第1の解凍されている画像との間のターゲット差分情報を取得し、ターゲット差分情報を圧縮し、そして、第2の画像デバイス102に未処理の画像及び圧縮されたターゲット差分情報を送信してもよい。第2の画像デバイス102は、受信した圧縮されている画像及び圧縮されているターゲット差分情報を解凍して、ターゲット差分情報及び第1の解凍されている画像を取得し、解凍によって得られるターゲット差分情報を使用することによって第1の解凍されている画像を補償し、それによって、より精度の高い第2の解凍されている画像を取得することが可能である。

図1に示されているように、画像処理システムは、撮像装置103をさらに含んでもよく、撮像装置103は、ネットワークを使用することによって第1の画像デバイス101との間で通信してもよい。第1の画像デバイスは、撮像装置103が撮像する未処理の画像を受信し、そして、その未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得してもよい。撮像装置103は、第1の画像デバイス101の中に配置されてもよく、又は、第1の画像デバイス101の外側に配置されてもよいということに留意するべきである。撮像装置103は、これらには限定されないが、カメラ、赤外線カメラ、及び、レーザーレーダー等を含んでもよい。

図1における画像処理システムのアーキテクチャは、この出願の複数の実施形態における例示的な実装であるにすぎないということを理解することが可能である。この出願の複数の実施形態における画像処理システムのアーキテクチャは、画像処理システムの上記のアーキテクチャを含むが、これらに限定されない。

この出願の複数の実施形態によって提供される画像処理方法によれば、圧縮後の画像と圧縮前の画像との間の損失誤差を追跡し、そして、その損失誤差を減少させることが可能である。この出願において説明される画像処理方法は、自己駆動、拡張現実感(augmented reality, AR)、産業用のビジョン、及び、医療用の画像処理等の多くの分野で使用されて、特定の機能を実装してもよい。

例えば、この出願における画像処理システムは、産業用のビジョンの分野において使用されてもよい。

産業用の視覚の分野は、産業用の自動生産ラインに視覚システムを追加し、画像を取り込むことによって、人間の視覚的な機能をシミュレートし、情報を抽出し、そして、産業用の自動生産ラインに存在する加工対象物の検出、測定、及び制御のために、情報を処理して、手動の検査を置き換えることによって生産品質及び生産を改善することを指す。例えば、ある工場の中のパイプラインでのコンベアベルトに存在する加工対象物の画像を取得してもよく、その画像の中の加工対象物を識別し及び分析する。コンベアベルトに存在する不適格な加工対象物を検出して、制御命令を生成してもよい。それらの制御命令は、プログラム可能な論理コントローラ(programmable logic controller, PLC)を使用することによって、機械的なアームを制御して、コンベヤベルトの外側へとその不適格な加工対象物を移動するのに使用されてもよい。ところが、産業分野における現在の画像処理は、静止画像の圧縮及び伸長の国際標準規格(joint photographic experts group, JPEG)フォーマットにおける圧縮アルゴリズムに基づいている。この圧縮アルゴリズムにおける量子化テーブルは、人間の眼球の知覚に基づいて設計されている。人間の眼球は、低周波数部分に対してよりも高周波数部分に対する方が感度がより低いため、圧縮によって得られる画像は、未処理の画像と比較して予期しない精度損失をもたらす。加えて、高周波数部分は、ある程度まで、以降の画像認識及び画像分析のために抽出される必要があるコーナーポイント、エッジ、及び線等の特徴を含んでいる。このことは、認識精度の差を生じさせ、分析結果に影響を与える。

この場合には、圧縮されている画像に基づいて、圧縮されている画像を解凍することによって得られる画像と未処理の画像との間の差分情報を決定することが可能であり、それによって、解凍されている画像を取得した後に、その差分情報を使用することによって、圧縮プロセスにおける精度損失を補償することが可能である。加えて、差分情報の圧縮は、また、解凍されている画像の精度を改善しつつ、伝送されるデータの量を減少させ、伝送待ち時間を減少させるということを保証することが可能である。図2は、この出願のある1つの実施形態にしたがった産業用のビジョンの分野における画像処理システムのアーキテクチャの概略的な図である。図2に示されているように、この出願における画像処理システムのアーキテクチャは、第1の画像デバイス201及び第2の画像デバイス202を含んでもよい。撮像装置201a及び産業用ゲートウェイ201bは、第1の画像デバイス201の中に配置されてもよい。撮像装置201aは、産業用カメラであってもよく、第2の画像デバイス202は、モバイルエッジコンピューティング(mobile edge computing, MEC)サーバであってもよい。第1の画像デバイス201は、第2の画像デバイス202への有線通信接続又は無線通信接続を確立してもよい。第1の画像デバイス201において、撮像装置201a及び産業用ゲートウェイ201bは、また、有線通信接続又は無線通信接続を有してもよい。上記の通信接続方式は、これらには限定されないが、無線忠実度(wireless fidelity, Wi-Fi)、ブルートゥース、及び、近距離通信near field communication, NFC)等を含んでもよい。第1の画像デバイス201の中の撮像装置201aが、産業用ゲートウェイ201bへの無線通信接続を確立するとき、又は、第1の画像デバイス201が、第2の画像デバイス202への無線通信接続を確立するときに、この出願のこの実施形態によって提供される画像処理システムは、ネットワークデバイスをさらに含んでもよい。ネットワークデバイスは、アクセスネットワークデバイス、基地局、又は、無線アクセスポイント(wireless access point, AP)等であってもよい。5Gフィールドにおいて使用される場合に、撮像装置201a及び産業用ゲートウェイ201bは、GigE Visionプロトコルを使用することによって、且つ、ギガビットイーサネットインターフェイスによって、高速画像伝送を実行してもよい。

ある1つの可能な実装において、撮像装置201aは、(例えば、パイプラインにおけるコンベアベルトに存在する加工対象物等の)ターゲット対象の未処理の画像を取り込み、そして、産業用ゲートウェイ201bにその未処理の画像を送信してもよい。産業用ゲートウェイ201bは、取得されている未処理の画像を圧縮して、第1の圧縮されている画像を取得し、第1の圧縮されている画像を解凍して、第1の解凍されている画像を取得し、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて、ターゲット差分情報を取得し、ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得し、そして、MECサーバ(すなわち、第2の画像デバイス202)に圧縮されている画像及び圧縮されているターゲット差分情報を送信する、ように構成されてもよい。さらに、産業用ゲートウェイ201bが圧縮されている画像及び圧縮されているターゲット差分情報を無線により伝送するときに、圧縮されている画像及び圧縮されているターゲット差分情報は、基地局を使用することによって、ユーザプレーン機能(user plane function, UPF)に転送されてもよく、そのUPFは、モバイルエッジコンピューティング(MEC)サーバに、その圧縮されている画像及び圧縮されているターゲット差分情報を転送する。

ある1つの可能な実装において、画像処理システムの中の撮像装置201aは、ターゲット対象の未処理の画像を取り込み、そして、未処理の画像を直接的に圧縮して、圧縮されている画像を取得し、さらに、圧縮されている画像を解凍して、第1の解凍されている画像を取得し、その次に、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて、ターゲット差分情報を取得し、そして、そのターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得してもよい。撮像装置201aは、基地局を使用することによって、UPFに、圧縮されている画像及び圧縮されているターゲット差分情報を転送し、そして、その次に、UPFを使用することによって、MECサーバに、圧縮されている画像及び圧縮されているターゲット差分情報を送信する。

エッジコンピューティングサーバは、圧縮されている画像及び圧縮されているターゲット差分情報を受信し、圧縮されている画像及び圧縮されているターゲット差分情報を解凍して、第1の解凍されている画像及びターゲット差分情報を取得し、そして、その次に、ターゲット差分情報を使用することによって、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得する。さらに、第2の解凍されている画像を識別し、分析し、及び、処理して、結果を取得してもよく、制御命令は、その結果を使用することによってトリガされる。例えば、エッジコンピューティングサーバが生成する制御命令は、不適格な加工対象物を識別するための命令であってもよく、又は、不適格な加工対象物を識別し、管理アプリケーションにその不適格な加工対象物を報告するための命令であってもよい。

図2における画像処理システムのアーキテクチャは、この出願の複数の実施形態における例示的な実装であるにすぎないということを理解することが可能である。この出願の複数の実施形態における画像処理システムのアーキテクチャは、これらには限定されないが、画像処理システムの上記のアーキテクチャを含む。

図1によって提供される画像処理システムのアーキテクチャ及び図2によって提供される他の画像処理システムのアーキテクチャに基づいて、且つ、この出願によって提供される画像処理方法を参照して、この出願によって提案される技術的課題は、具体的に、分析され及び解決される。図3は、この出願のある1つの実施形態にしたがった画像処理方法の概略的なフローチャートである。その方法は、図1又は図2における上記の画像処理システムのアーキテクチャの中で使用されてもよい。図1又は図2における第1の画像デバイスは、図3に示されている方法手順におけるステップS301乃至ステップS305をサポートし及び実行するように構成されてもよく、図1又は図2における第2の画像デバイスは、図3に示されている方法手順におけるステップS306及びステップS307をサポートし及び実行するように構成されてもよい。その方法は、以下のステップS301乃至S307を含んでもよい。

ステップS301: 第1の画像デバイスは、未処理の画像の圧縮されている画像を取得する。

具体的には、第1の画像デバイスは、撮像装置が送信する未処理の画像を取得し、そして、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得してもよい。第1の画像デバイスが撮像装置を含む場合に、第1の画像デバイスは、また、ターゲット対象を撮像して、未処理の画像を取得してもよい。さらに、第1の画像デバイスは、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得する。

画像圧縮方法は、圧縮のために使用されてもよい。ハードウェアエンコーダは、第1の画像デバイスに内蔵されていてもよく、未処理の画像は、H.264、H.265、及びJPEG等の圧縮技術を使用することによって圧縮されてもよい。パイプラインおいてカメラが撮像する加工対象物は、極めて類似している。したがって、産業分野においてより良く使用されるように、この出願のこの実施形態における圧縮方法においては、さらに、圧縮のためにビデオ圧縮解決方法を使用してもよい。例えば、この出願における未処理の画像は、高度なビデオコーディング(advanced video coding, AVC/H.264)を使用することによって圧縮されてもよく、又は、この出願における未処理の画像は、高効率のビデオコーディング(high efficiency video coding, HEVC/H.265)を使用することによって圧縮されてもよい。このことは、本明細書においては限定されない。

H.264圧縮アルゴリズム又はH.265圧縮アルゴリズムを使用することによって画像を圧縮するプロセスにおいては、画像の複数のフレームは、グループ化されて、1つのピクチャグループGOPとなり、そのピクチャグループは、Iフレーム、Pフレーム、及びBフレームを含むということに留意するべきである。この出願のこの実施形態において、1つのGOPは、1つのIフレーム及び複数のPフレームを含んでもよい。未処理の画像の1番目のフレームに対する圧縮の際に、あらかじめ設定されている基準画像を取得してもよく、Iフレームとしてそのあらかじめ設定されている基準画像を使用し、圧縮のために、Pフレームとして、未処理の画像の1番目のフレームを使用する。類推によって、基準画像として画像のフレームの前のフレームを使用することによって、画像の複数の後続のフレームの各々を圧縮して、マルチフレームのオリジナル画像の圧縮されている画像を取得してもよい。

例えば、その方法は、産業用のビジョンの分野において使用されてもよい。あわせて図4を参照するべきである。図4は、画像処理方法がこの出願のある1つの実施形態にしたがった産業用のビジョンにおいて使用される適用シナリオの図である。図4に示されているように、産業分野においてその方法を使用するときに、例えば、図4に示されている4つの加工対象物等の加工対象物が、コンベアベルトによって移動させられている。第1の画像デバイスは、撮像装置及び産業用ゲートウェイを含んでもよい。その撮像装置は、コンベアベルトに存在する加工対象物を撮像して、マルチフレームのオリジナル画像を取得し、そして、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得してもよい。代替的に、撮像装置が撮像する未処理の画像は、第1の画像デバイスの中の産業用ゲートウェイに送信されてもよく、その産業用ゲートウェイは、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得する。図4に示されているように、撮像装置が撮像する未処理の画像の未処理の画像の1番目のフレームは、P1である。未処理の画像の1番目のフレームP1は、クラウドからの局所的に格納されている基準画像を参照して圧縮されて、未処理の画像の1番目のフレームP1の圧縮されている画像を取得する。さらに、未処理の画像の各々のフレームの圧縮されている画像を取得するまで、未処理の画像の第1番目のフレームP1は、圧縮のために、未処理の画像の2番目のフレームP2に対応する基準画像として使用されて、未処理の画像の第2番目のフレームP2の圧縮されている画像を取得してもよく、未処理の画像の2番目のフレームP2は、圧縮のために、未処理の画像の3番目のフレームP3に対応する基準画像として使用されて、未処理の画像の3番目のフレームP3の圧縮されている画像を取得してもよい。

ステップS302: 第1の画像デバイスは、圧縮されている画像を解凍して、第1の解凍されている画像を取得する。

具体的には、第1の画像デバイスは、圧縮の逆操作に基づいて、圧縮されている画像を解凍して、第1の解凍されている画像を取得してもよい。ある1つの例として、H.264圧縮方式を使用する。解凍は、エントロピーコーディングに対して個別に実行されてもよく、フレーム内予測及びフレーム間予測に対して個別に実行されてもよく、その結果、未処理の画像の第1の解凍されている画像を取得する。例えば、復号化処理は、エントロピーコーディングに対応する復号化方法を使用することによって実行される。さらに、解凍は、フレーム間圧縮及びフレーム内圧縮に対して実行される。解凍は、格納されている予測モード情報を使用することによって、フレーム内圧縮に対して実行されてもよく、また、解凍は、画像の各々のフレームに対応する基準画像を使用することによって、フレーム間圧縮に対して実行されてもよく、その結果、第1の解凍されている画像を取得する。第1の解凍されている画像は、以降の処理のために格納される。

ステップS303: 第1の画像デバイスは、ターゲット差分情報を決定し、ターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される。

具体的には、H.264を使用することによってこの出願における未処理の画像に対して実行される圧縮は、不可逆的圧縮である。より大きな圧縮比を取得するために、圧縮の際に、一部の情報は失われる。したがって、第2の画像デバイスにおける解凍されている画像の精度を改善するために、この出願においては、解凍の後に、未処理の画像及び第1の解凍されている画像を使用することによって、ターゲット差分情報を決定し、決定したターゲット差分情報を圧縮し、そして、第2の画像デバイスに送信し、それによって、第2の画像デバイスは、画像を解凍した後に、ターゲット差分情報に基づいて、画像に対して画像処理を実行して、より精度の高い解凍されている画像を取得することが可能である。

ある1つの可能な実装において、未処理の画像及び第1の解凍されている画像の双方は、1つの画像マトリクスを含む。未処理の画像の画像サイズ及び第1の解凍されている画像の画像サイズは同じであり、未処理の画像及び第1の解凍されている画像の画像マトリクスの幅及び高さは、また、同じであり、未処理の画像の中に含まれる画像マトリクスの中に含まれる各々の画像要素値は、第1の解凍されている画像の中に含まれる画像マトリクスの中に含まれる各々の画像要素値との間で1対1の対応関係にあるということを理解することが可能である。未処理の画像の中に含まれる画像マトリクスは、第1の解凍されている画像の中に含まれる画像マトリクスから減算され、具体的にいうと、未処理の画像の中に含まれるマトリクスの中の各々の画像要素は、第1の解凍されている画像の中に含まれるマトリクスの中の対応する位置にある各々の画像要素値から減算されて、差分情報の中に含まれる画像マトリクスを取得する。減算演算を実行する操作は、ソフトウェアプログラムを呼び出すことによって、第1の画像デバイスによって実行されてもよい。

さらに、伝送されるデータを減少させるために、差分情報に対して軽減処理を実行して、ターゲット差分情報を取得する。具体的にいうと、取得した差分情報の中に含まれる画像マトリクスの中の各々の画像要素値は、あらかじめ設定されているしきい値範囲と比較され、画像要素値がそのあらかじめ設定されているしきい値範囲の中に入るということを決定するときに、画像要素値は、あらかじめ設定されている値に変更されて、ターゲット差分情報の中に含まれる画像マトリクスを取得する。設定されているしきい値範囲は、手動で設定されてもよく、又は、第1の画像デバイスによってあらかじめ設定されてもよく、又は、複数の異なる適用シナリオに基づいて調整されてもよい。複数の異なるあらかじめ設定されているしきい値範囲は、この出願の中で使用される画像処理方法の圧縮の精度に影響を与える場合があり、それによって、圧縮精度を制御することが可能であるということを理解することが可能である。この出願のこの実施形態において、あらかじめ設定されている値は、0又は1等であってもよい。このことは、本明細書においては限定されない。

ある1つの可能な実装において、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスの中の画像要素値の多くが同じであり、且つ、未処理の画像の中に含まれる画像マトリクスと第1の解凍されている画像の中に含まれる画像マトリクスとの間で実行される減算演算によって得られる差分情報の中に含まれる画像マトリクスの中の画像要素値の多くが、0であるときに、あらかじめ設定されている値を0であると決定して、ターゲット差分情報を圧縮してもよい。差分情報の中に含まれる画像マトリクスの中で最も多くの数の同じ画像要素値が有している値及びその最も多くの数についての統計量を収集してもよく、最も多くの数の同じ画像要素値が有している値は、あらかじめ設定されている値として使用されて、ターゲット差分情報を取得する。

ターゲット差分情報の場合には、未処理の画像及び第1の解凍されている画像の画像マトリクスの中で画像要素値の間の差が大きい部分をそのままにし、未処理の画像及び第1の解凍されている画像の画像マトリクスの中で画像要素値の間の差が小さい部分を軽減する。したがって、第2の画像デバイスにターゲット差分情報を送信した後に、そのターゲット差分情報を使用することによって、解凍されている画像を処理してもよい。未処理の画像の中の画像マトリクスとの間で差分が大きな部分は、解凍によって得られる画像に補足されて、解凍されている画像の精度を改善する。未処理の画像の中の画像マトリクスの中の画像要素値との間で差分が小さな部分のデータの量を軽減して、伝送されるデータの量を減少させる。

ステップS304: 第1の画像デバイスは、ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得する。

ある1つの可能な実装において、伝送されるデータの量を減少させるために、第1の画像デバイスは、ターゲット差分情報を圧縮してもよい。具体的には、ターゲット差分情報をコーディングして、圧縮されているターゲット差分情報を取得してもよく、ターゲット差分情報に対してエントロピーコーディングを実行して、圧縮されているターゲット差分情報を取得してもよい。エントロピーコーディング方法は、シャノン(Shannon)コーディングであってもよく、或いは、ハフマン(Huffman)コーディング又は算術コーディング(arithmetic coding)等であってもよい。エントロピーコーディング方式は、本明細書においては限定されない。情報の量は、ターゲット差分情報がコーディングされる前及び後で、失われないということを理解することが可能である。第2の画像デバイスに圧縮されているターゲット差分情報を送信した後に、第2の画像デバイスは、圧縮されているターゲット差分情報を解凍し、それによって、無損失のターゲット差分情報を取得することが可能である。

ステップS305: 第1の画像デバイスは、第2の画像デバイスに圧縮されている画像及び圧縮されているターゲット差分情報を送信する。

第1の画像デバイスは、第2の画像デバイスに圧縮されている画像及び圧縮されているターゲット差分情報を送信し、それによって、第2の画像デバイスは、圧縮されている画像及び圧縮されているターゲット差分情報を解凍し、そして、さらに、ターゲット差分情報を使用することによって、解凍されている画像を処理して、画像精度を改善する。

例えば、図4に示されているように、(例えば、図4における撮像装置及び産業用ゲートウェイ等の)第1の画像デバイスは、MECサーバに圧縮されている画像及び圧縮されているターゲット差分情報を送信する。圧縮されている画像及び圧縮されているターゲット差分情報を受信した後に、MECサーバは、圧縮されている画像及び圧縮されているターゲット差分情報を解凍する。

ステップS306: 第2の画像デバイスは、圧縮されている画像を解凍して、第1の解凍されている画像を取得する。

ある1つの可能な実装において、第2の画像デバイスは、ハードウェアデコーダを含み、そのハードウェアデコーダは、受信した圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成されてもよい。具体的には、ビデオコーディングシーケンスに基づいて逆演算を実行して、未処理の画像の第1の解凍されている画像を取得してもよい。さらに、第2の画像デバイスは、以降の処理のために、第1の解凍されている画像を格納する。

ステップS307: 第2の画像デバイスは、圧縮されているターゲット差分情報に基づいて、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得する。

ある1つの可能な実装において、第2の画像デバイスは、ソフトウェアプログラムを呼び出して、ターゲット差分情報の中に含まれる画像マトリクス及び第1の解凍されている画像の中の画像マトリクスに対してマトリクス加算演算を実行し、その結果、第2の解凍されている画像の中に含まれる画像マトリクスを取得してもよい。具体的にいうと、ターゲット差分情報の中の画像マトリクスの中の各々の画像要素値は、第1の解凍されている画像の中の画像マトリクスの中の対応する位置において、各々の画像要素値に加算されて、第2の解凍されている画像の中に含まれる画像マトリクスの中の画像要素値を取得する。さらに、第2の解凍されている画像の中に含まれる画像マトリクスに基づいて、第2の解凍されている画像の中の各々の画素の画素値を取得して、第2の解凍されている画像を取得してもよい。図4に示されているように、MECサーバは、受信した画像を解凍し及び復元して、第2の解凍されている画像を取得してもよい。さらに、第2の解凍されている画像を識別し及び分析して、制御命令を生成する。

あわせて図5a及び図5bを参照するべきである。図5a及び図5bの各々は、この出願のある1つの実施形態にしたがった圧縮後の画像と圧縮前の画像との間の画像精度損失の概略的な図である。図5aは、この出願のこの実施形態によって提供される画像処理方法を使用することなく、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスに対して減算演算を実行することによって得られる結果の概略的な図である。図5bは、この出願のこの実施形態によって提供される画像処理方法を使用することによって、未処理の画像の中に含まれる画像マトリクス及び第2の解凍されている画像の中に含まれる画像マトリクスに対して減算演算を実行することによって得られる結果の概略的な図である。

図5a及び図5bに示されているように、黒い枠の中の0、1、及び255は、それぞれ、グレースケール値と未処理の画像の同じ位置における画素のグレースケール値との間の差分が、0、1、及び255であるということを示す。0は、処理によって得られる画像のグレースケール値と未処理の画像のグレースケール値との間に差分が存在しないということを示し、1及び255は、処理によって得られる第2の解凍されている画像のグレースケール値と未処理の画像のグレースケール値との間の差分が±1であるということを示す等であるということに留意するべきである。0, 1, 255の後の数は、画素の数を示す。例えば、図5aの1番目の行の中の"0: 7568827"は、グレイスケール値が第1の解凍されている画像と未処理の画像との間で同じである画素の数が7568827であるということを示す。同様に、図5bの1番目の行の中の"0: 12900307"は、また、グレイスケール値が第2の解凍されている画像と未処理の画像との間で同じである画素の数が12900307であるということを示す。図5aに示されている結果と比較して、この出願によって提供される画像処理方法を実装することは、グレースケール値と未処理の画像の同じ位置における画素のグレースケール値との間の差分が0である画素の数を増加させることを可能とする、言い換えると、解凍によって得られる第2の解凍されている画像のグレースケール値が未処理の画像と比較して変化しないままに維持される画素の数を増加させることを可能とする。したがって、解凍の後の圧縮されている画像の精度を改善することを可能とし、第2の画像デバイスが復元する画像と未処理の画像との間の精度誤差を減少させることを可能とする。

この出願のこの実施形態において、圧縮されている画像は、元の圧縮されている画像に基づいて解凍され、ターゲット差分情報は、未処理の画像と解凍されている第1の解凍されている画像との間の差分情報に基づいて決定される。第2の画像デバイスに圧縮されている画像を送信した後に、さらに、圧縮されている画像を解凍した後に得られる第1の解凍されている画像と未処理の画像との間のターゲット差分情報を送信する。第2の画像デバイスが画像を解凍した後に、ターゲット差分情報を使用することによって、未処理の画像と圧縮及びその後の解凍によって得られる画像との間の圧縮精度損失を決定することが可能であり、それによって、第2の画像デバイスは、画像を解凍する。そのとき、ターゲット差分情報は、圧縮され、そして、その次に、第2の画像デバイスに送信され、それによって、第2の画像デバイスは、画像に対して画像処理を実行する。ターゲット差分情報及び解凍によって得られる画像(すなわち、第1の解凍されている画像)に基づいて、精度がより高い解凍されている画像(すなわち、第2の解凍されている画像)を取得して、解凍されている画像と未処理の画像との間の精度損失を減少させることを可能とするとともに、第2の解凍されている画像の精度を改善することを可能とする。

図6は、この出願のある1つの実施形態にしたがった画像処理方法の概略的なタイミング図である。図6に示されているように、P1: 第1の画像デバイスは、未処理の画像及び基準画像を取得する。P2: 第1の画像デバイスは、内蔵型のハードウェアエンコーダを使用することによって、未処理の画像を圧縮して、未処理の画像の圧縮されている画像を取得する。P3: 第1の画像デバイスは、第2の画像デバイスに未処理の画像の圧縮されている画像を送信してもよい。P4: 第1の画像デバイスの中のハードウェアデコーダは、未処理の画像の圧縮されている画像を解凍して、第1の解凍されている画像を取得してもよい。P5: 第1の画像デバイスは、ソフトウェアプログラムを呼び出して、未処理の画像の中に含まれる画像マトリクス及び第1の解凍されている画像の中に含まれる画像マトリクスに対して差分処理を実行し、その結果、差分情報を取得してもよい。P6: 第1の画像デバイスは、差分情報の中に含まれる画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、ターゲット差分情報を取得する。P7: 第1の画像デバイスは、ターゲット差分情報を符号化して、圧縮されているターゲット差分情報を取得する。P8: 第1の画像デバイスは、第2の画像デバイスに、圧縮されているターゲット差分情報を送信する。第2の画像デバイスは、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信する。P9: 第2の画像デバイスは、内蔵型のハードウェアデコーダを使用することによって、未処理の画像の圧縮されている画像を解凍して、第1の解凍されている画像を取得してもよい。P10: 第2の画像デバイスは、圧縮されているターゲット差分情報を解凍して、ターゲット差分情報を取得する。P11: 第2の画像デバイスは、ターゲット差分情報に基づいて、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得する。

P3は、P8が実行される前に実行されてもよく、P3は、P8が実行された後に実行されてもよく、又は、P3及びP8は、同時に実行されてもよい。このことは、本明細書においては限定されない。

この出願のこの実施形態において、圧縮されている画像は、元の圧縮されている画像に基づいて解凍され、ターゲット差分情報は、未処理の画像と解凍されている第1の解凍されている画像との間の差分情報に基づいて決定される。第2の画像デバイスに圧縮されている画像を送信した後に、さらに、圧縮されている画像を解凍した後に得られる第1の解凍されている画像と未処理の画像との間のターゲット差分情報を送信する。第2の画像デバイスが画像を解凍した後に、ターゲット差分情報を使用することによって、圧縮及びその後の解凍によって得られる画像と未処理の画像との間の圧縮精度損失を決定してもよく、それによって、第2の画像デバイスは、画像を解凍する。その次に、ターゲット差分情報を圧縮し、そして、その次に、第2の画像デバイスにターゲット差分情報を送信し、それによって、第2の画像デバイスは、画像を復元する。したがって、復元されている画像と未処理の画像との間の精度損失誤差を減少させることが可能であるとともに、復元されている画像の精度を改善することが可能である。

図7は、この出願のある1つの実施形態にしたがった画像処理装置の構成の概略的な図である。画像処理装置700は、取得ユニット701、解凍ユニット702、決定ユニット703、圧縮ユニット704、及び送信ユニット705を含んでもよい。それらのユニットの詳細な説明は、以下のようになる。

画像処理装置は、この出願の複数の実施形態において説明されている第1の画像デバイスを実装する機能を有する。例えば、画像処理装置は、この出願の複数の実施形態において説明されているように、コンピュータデバイスが実行する第1の画像デバイスのステップに対応するモジュール、ユニット、又は手段(means)を含む。機能、ユニット、又は手段(means)は、ソフトウェアによって実装されてもよく、ハードウェアによって実装されてもよく、対応するソフトウェアを実行するハードウェアによって実装されてもよく、又は、ソフトウェア及びハードウェアの組み合わせによって実装されてもよい。詳細については、上記の対応する方法の実施形態における対応する説明を参照するべきである。

取得ユニット701は、未処理の画像の圧縮されている画像を取得するように構成される。解凍ユニット702は、圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成される。決定ユニット703は、ターゲット差分情報を決定するように構成され、ターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される。圧縮ユニット704は、ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得するように構成される。送信ユニット705は、第2の画像デバイスに圧縮されている画像及び圧縮されているターゲット差分情報を送信するように構成される。

ある1つの可能な実装において、差分情報及びターゲット差分情報の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。決定ユニット703は、特に、差分情報の中に含まれる画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、ターゲット差分情報の中に含まれる前記画像マトリクスを取得するように構成される。

ある1つの可能な実装において、取得ユニット701は、特に、撮像装置からの未処理の画像を受信し、未処理の画像に対応する基準画像を取得し、そして、基準画像に基づいて未処理の画像を圧縮して、圧縮されている画像を取得する、ように構成される。

ある1つの可能な実装において、取得ユニット701は、特に、撮像によって未処理の画像を取得し、未処理の画像に対応する基準画像を取得し、そして、基準画像に基づいて未処理の画像を圧縮して、圧縮されている画像を取得する、ように構成される。

ある1つの可能な実装において、送信ユニット705は、さらに、第2の画像デバイスに基準画像を送信するように構成される。

この出願のこの実施形態において説明されている画像処理装置700の中の機能ユニットの機能については、図3における上記の実施形態の中のステップS301乃至ステップS305の関連する説明を参照するべきであるということに留意するべきである。本明細書においては、詳細は繰り返しては説明されない。

図8は、この出願のある1つの実施形態にしたがった他の画像処理装置の構成の概略的な図である。画像処理装置800は、受信ユニット801、解凍ユニット802、及び画像処理ユニット803を含んでもよい。それらのユニットの詳細な説明は、以下のようになる。

画像処理装置は、この出願の複数の実施形態において説明されている第2の画像デバイスを実装する機能を有する。例えば、画像処理装置は、この出願の複数の実施形態において説明されているように、コンピュータデバイスが実行する第2の画像デバイスのステップに対応するモジュール、ユニット、又は手段(means)を含む。機能、ユニット、又は手段(means)は、ソフトウェアによって実装されてもよく、ハードウェアによって実装されてもよく、対応するソフトウェアを実行するハードウェアによって実装されてもよく、又は、ソフトウェア及びハードウェアの組み合わせによって実装されてもよい。詳細については、上記の対応する方法の実施形態における対応する説明を参照するべきである。

受信ユニット801は、第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信するように構成され、ターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される。解凍ユニット802は、圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成される。画像処理ユニット803は、圧縮されているターゲット差分情報に基づいて、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得するように構成される。

ある1つの可能な実装において、受信ユニット801は、さらに、第1の画像デバイスから、未処理の画像に対応する基準画像を受信するように構成される。

ある1つの可能な実装において、解凍ユニット802は、特に、基準画像に基づいて、圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成される。

ある1つの可能な実装において、ターゲット差分情報及び第1の解凍されている画像の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含む。画像処理ユニット802は、特に、圧縮されているターゲット差分情報を解凍して、ターゲット差分情報を取得し、第1の解凍されている画像の中に含まれる画像マトリクス及びターゲット差分情報の中に含まれる画像マトリクスに対して加算処理を実行して、第2の解凍されている画像の中に含まれる画像マトリクスを取得し、そして、第2の解凍されている画像の中に含まれる画像マトリクスに基づいて、第2の解凍されている画像を決定する、ように構成される。

この出願のこの実施形態において説明されている画像処理装置800の中の機能ユニットの機能については、図3における上記の方法の実施形態の中のステップS306及びステップS307の関連する説明を参照するべきであるということに留意するべきである。本明細書においては、詳細は繰り返しては説明されない。

図9に示されているように、図9は、この出願のある1つの実施形態にしたがったコンピュータデバイスの構成の概略的な図である。コンピュータデバイス900は、この出願の複数の実施形態において説明されている第1の画像デバイスを実装する機能を有する。コンピュータデバイス900は、少なくとも1つのプロセッサ901、少なくとも1つのメモリ902、及び少なくとも1つの通信インターフェイス903を含む。加えて、そのデバイスは、アンテナ等の汎用の構成要素をさらに含んでもよい。本明細書においては、詳細は繰り返しては説明されない。

プロセッサ901は、汎用の中央処理ユニット(CPU)、マイクロプロセッサ、特定用途向け集積回路(application-specific integrated circuit, ASIC)、或いは、上記の解決方法のプログラムの実行を制御するように構成される1つ又は複数の集積回路であってもよい。

通信インターフェイス903は、イーサネット、無線アクセスネットワーク(RAN)、コアネットワーク、又は無線ローカルエリアネットワーク(wireless local area network, WLAN)等の他のデバイス又は通信ネットワークとの間で通信するように構成される。

メモリ902は、読み取り専用メモリ(read-only memory, ROM)、静的な情報及び命令を格納することが可能である他のタイプの静的な記憶デバイス、ランダムアクセスメモリ(random access memory, RAM)、又は、情報及び命令を格納することが可能である他のタイプの動的な記憶デバイスであってもよく、或いは、電気的に消去可能な且つプログラム可能な読み取り専用メモリ(electrically erasable programmable read-only memory, EEPROM)、コンパクトディスク読み取り専用メモリ(compact disc read-only memory, CD-ROM)又は他のコンパクトディスク記憶装置、(コンパクトディスク、レーザディスク、光ディスク、ディジタル多用途ディスク、又はブルーレイディスク等を含む)光ディスク記憶装置、磁気ディスク記憶媒体、他の磁気記憶デバイス、或いは、命令又はデータ構造の形態で予期されるプログラムコードを搬送し又は格納するように構成されてもよく、且つ、コンピュータによってアクセスすることが可能であるいずれかの他の媒体であってもよい。しかしながら、メモリは、それらには限定されない。メモリは、独立して存在してもよく、バスを介してプロセッサに接続される。メモリは、代替的に、プロセッサと一体化されてもよい。

メモリ902は、上記の解決方法を実行するのに使用されるアプリケーションプログラムコードを格納するように構成され、プロセッサ901は、その実行を制御する。プロセッサ901は、メモリ902の中に格納されているアプリケーションプログラムコードを実行するように構成される。

メモリ902の中に格納されているコードは、図3によって提供される画像処理方法を実行してもよく、例えば、未処理の画像の圧縮されている画像を取得し、圧縮されている画像を解凍して、第1の解凍されている画像を取得し、ターゲット差分情報を決定し、そのターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得され、ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得し、そして、第2の画像デバイスに圧縮されている画像及び圧縮されているターゲット差分情報を送信してもよい。

この出願のこの実施形態において説明されているコンピュータデバイス900の中の機能ユニットの機能については、図3における上記の方法の実施形態の中のステップS301乃至ステップS305の関連する説明を参照するべきであるということに留意するべきである。本明細書においては、詳細は繰り返しては説明されない。

上記の実施形態においては、各々の実施形態の説明は、それぞれの着目点を有する。ある実施形態において詳細には説明されていない部分については、他の実施形態における関連する説明を参照するべきである。

図10に示されているように、図10は、この出願のある1つの実施形態にしたがった他のコンピュータデバイスの構成の概略的な図である。デバイス1000は、この出願の複数の実施形態において説明されている第2の画像デバイスを実装する機能を有する。そのコンピュータデバイス1000は、少なくとも1つのプロセッサ1001、少なくとも1つのメモリ1002、及び少なくとも1つの通信インターフェイス1003を含む。加えて、そのデバイスは、アンテナ等の汎用の構成要素をさらに含んでもよい。本明細書においては、詳細は繰り返しては説明されない。

プロセッサ1001は、汎用の中央処理ユニット(CPU)、マイクロプロセッサ、特定用途向け集積回路(application-specific integrated circuit, ASIC)、又は上記の解決方法のプログラムの実行を制御するように構成される1つ又は複数の集積回路であってもよい。

通信インターフェイス1003は、イーサネット、無線アクセスネットワーク(RAN)、コアネットワーク、又は無線ローカルエリアネットワーク(Wireless Local Area Network, WLAN)等の他のデバイス又は通信ネットワークとの間で通信するように構成される。

メモリ1002は、読み取り専用メモリ(read-only memory, ROM)、静的な情報及び命令を格納することが可能である他のタイプの静的な記憶デバイス、ランダムアクセスメモリ(random access memory, RAM)、又は、情報及び命令を格納することが可能である他のタイプの動的な記憶デバイスであってもよく、或いは、電気的に消去可能な且つプログラム可能な読み取り専用メモリ(electrically erasable programmable read-only memory, EEPROM)、コンパクトディスク読み取り専用メモリ(compact disc read-only memory, CD-ROM)又は他のコンパクトディスク記憶装置、(コンパクトディスク、レーザディスク、光ディスク、ディジタル多用途ディスク、又はブルーレイディスク等を含む)光ディスク記憶装置、磁気ディスク記憶媒体、他の磁気記憶デバイス、或いは、命令又はデータ構造の形態で予期されるプログラムコードを搬送し又は格納するように構成されてもよく、且つ、コンピュータによってアクセスすることが可能であるいずれかの他の媒体であってもよい。しかしながら、メモリは、それらには限定されない。メモリは、独立して存在してもよく、バスを介してプロセッサに接続される。メモリは、代替的に、プロセッサと一体化されてもよい。

メモリ1002は、上記の解決方法を実行するのに使用されるアプリケーションプログラムコードを格納するように構成され、プロセッサ1001は、その実行を制御する。プロセッサ1001は、メモリ1002の中に格納されているアプリケーションプログラムコードを実行するように構成される。

メモリ1002の中に格納されているコードは、図3によって提供される画像処理方法を実行してもよく、例えば、第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信し、ターゲット差分情報は、未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得され、圧縮されている画像を解凍して、第1の解凍されている画像を取得し、そして、圧縮されているターゲット差分情報に基づいて、第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得してもよい。

この出願のこの実施形態において説明されているコンピュータデバイス1000の中の機能ユニットの機能については、図3における上記の方法の実施形態の中のステップS306及びステップS307の関連する説明を参照するべきであるということに留意するべきである。本明細書においては、詳細は繰り返しては説明されない。

上記の実施形態においては、各々の実施形態の説明は、それぞれの着目点を有する。ある実施形態において詳細には説明されていない部分については、他の実施形態における関連する説明を参照するべきである。

説明を簡潔にするために、上記の方法の実施形態は、一連の動作として表現されるということに留意するべきである。しかしながら、この出願によれば、他の順序で又は同時に複数のステップのうちのいくつかを実行してもよいので、当業者は、この出願が、それらの動作の説明されている順序には限定されないということを理解するはずである。さらに、当業者は、本明細書の中で説明されている複数の実施形態のすべてが、好ましい実施形態に属し、且つ、関連する動作及びモジュールが、必ずしも、この出願によっては要求されないということを理解するはずである。

この出願によって提供される複数の実施形態のうちのいくつかにおいて、他の方式によって、開示されている装置を実装することが可能であるということを理解するべきである。例えば、説明されている装置の実施形態は、ある1つの例であるにすぎない。例えば、複数のユニットへの分割は、論理的な機能の分割であるにすぎず、実際の実装においては他の分割であってもよい。例えば、複数のユニット又は構成要素を組み合わせ又は一体化して、他のシステムとしてもよく、或いは、複数の特徴のうちのいくつかを無視してもよく又は実行しなくてもよい。加えて、複数のインターフェイスのうちのいくつかによって、示され又は説明されている相互の結合又は直接的な結合、又は、通信接続を実装してもよい。電子的な形態によって又は他の形態によって、複数の装置又は複数のユニットの間の間接的な結合又は通信接続を実装することが可能である。

個別の部分として説明されている上記のユニットは、物理的に分離されていてもよく、又は、物理的に分離されいなくてもよく、複数のユニットとして示されている部分は、物理的なユニットであってもよく、又は、物理的なユニットでなくてもよく、1つの場所に位置していてもよく、又は、複数のネットワークユニットにわたって分散されていてもよい。実際の必要性に基づいて、それらの複数のユニットのうちの一部又はすべてを選択して、複数の実施形態の複数の解決方法の目的を達成してもよい。

加えて、この出願の複数の実施形態における複数の機能ユニットを一体化して、1つの処理ユニットとしてもよく、或いは、複数のユニットの各々は、物理的に単独で存在してもよく、又は、2つ又はそれ以上のユニットを一体化して、1つのユニットとしてもよい。一体化されているユニットは、ハードウェアの形態で実装されてもよく、又は、ソフトウェア機能ユニットの形態で実装されてもよい。

上記の一体化されているユニットがソフトウェア機能ユニットの形態で実装され、且つ、独立した製品として販売され又は使用されるときに、コンピュータ読み取り可能な記憶媒体の中に、その一体化されているユニットを格納してもよい。そのような理解に基づいて、この出願のそれらの複数の技術的解決方法は、本質的に、或いは、従来技術に寄与する部分、或いは、それらの複数の技術的解決方法のすべて又は一部は、ソフトウェア製品の形態で実装されてもよい。コンピュータソフトウェア製品は、記憶媒体の中に格納され、いくつかの命令を含み、それらのいくつかの命令は、この出願の複数の実施形態の中で説明されている複数の方法の複数のステップのうちのすべて又は一部を実行するように、(パーソナルコンピュータ、サーバ、又はネットワークデバイスであってもよく、具体的には、コンピュータデバイスの中のプロセッサであってもよい)コンピュータデバイスに指示する。上記の記憶媒体は、プログラムコードを格納することが可能であるUSBフラッシュドライブ、取り外し可能なハードディスク、磁気ディスク、光ディスク、読み取り専用メモリ(read-only memory, ROM)、又は、ランダムアクセスメモリ(random access memory, RAM)等のいずれかの媒体を含んでもよい。

この出願の明細書、特許請求の範囲、及び添付の図面の中で、"第1の"、"第2の"、"第3の"、及び"第4の"等の語は、複数の異なる対象を判別することを意図しているが、ある特定の順序を示すことを意図してはいない。加えて、"含む"及び"有する"の語、及び、それらのいずれかの他の変形は、非排他的含有関係を含めることを意図している。例えば、一連のステップ又はユニットを含むプロセス、方法、システム、製品、又はデバイスは、記載されているステップ又はユニットには限定されず、選択的に、記載されていないステップ又はユニットをさらに含むか、又は、選択的に、プロセス、方法、製品、又はデバイスの他の固有のステップ又はユニットをさらに含む。

本明細書の中で言及されている"実施形態"は、この実施形態を参照して説明されているある特定の特徴、構成、又は特性が、この出願の少なくとも1つの実施形態の中に含まれる場合があるということを意味する。明細書のさまざまな箇所に示されている字句は、必ずしも、同じ実施形態を指していなくてもよく、他の実施形態とは無関係な実施形態又は他の実施形態から排他的な且つ随意的な実施形態ではない。当業者は、明細書の中で説明されている実施形態を他の実施形態と組み合わせてもよいということを明示的に且つ黙示的に理解する。

本明細書の中で使用されている"構成要素"、"モジュール"、及び"システム"等の語は、コンピュータに関連するエンティティ、ハードウェア、ファームウェア、ハードウェア及びソフトウェアの組み合わせ、ソフトウェア、又は実行されているソフトウェアを示す。例えば、構成要素は、これらには限定されないが、プロセッサによって実行されるプロセス、プロセッサ、オブジェクト、実行可能なファイル、実行スレッド、プログラム、及び/又はコンピュータであってもよい。複数の図を使用することによって図示されているように、コンピューティングデバイス及びコンピューティングデバイスによって実行されているアプリケーションの双方は、構成要素となってもよい。1つ又は複数の構成要素は、プロセス及び/又は実行スレッドの中に存在してもよく、構成要素は、1つのコンピュータに位置していてもよく、及び/又は、2つ又はそれ以外のコンピュータの間で分散されていてもよい。加えて、これらの構成要素は、さまざまなデータ構造を格納するさまざまなコンピュータ読み取り可能な媒体を使用して実行されてもよい。例えば、それらの複数の構成要素は、局所的なプロセス及び/又はリモートプロセスを使用することによって、且つ、例えば、(例えば、局所的なシステム、分散システムの中の他の構成要素と対話する2つの構成要素からのデータ、及び/又は、信号を使用することによって他のシステムと対話するインターネット等のネットワークを横断するデータ等の)1つ又は複数のデータパケットを有する信号に基づいて通信してもよい。

上記の実施形態は、この出願を限定するのではなく、この出願の複数の技術的解決方法を説明することを意図しているにすぎない。この出願は、上記の複数の実施形態を参照して詳細に説明されているが、当業者は、この出願の複数の実施形態の複数の技術的解決方法の趣旨及び範囲から離れることなく、当業者が、さらに、上記の複数の実施形態の中で説明されている複数の技術的解決方法に対して修正を行ってもよく、又は、上記の複数の実施形態の複数の技術的特徴のうちのいくつかに対して等価な置換を行ってもよいということを理解するはずである。

Claims (20)

1. 画像処理方法であって、当該方法は、第1の画像デバイスに適用され、
   未処理の画像の圧縮されている画像を取得するステップと、
   前記圧縮されている画像を解凍して、第1の解凍されている画像を取得するステップと、
   ターゲット差分情報を決定するステップであって、前記ターゲット差分情報は、前記未処理の画像と前記第1の解凍されている画像との間の差分情報に基づいて取得される、ステップと、
   前記ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得するステップと、
   第2の画像デバイスに前記圧縮されている画像及び前記圧縮されているターゲット差分情報を送信するステップと、を含む、
   方法。
2. 前記差分情報及び前記ターゲット差分情報の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含み、
   ターゲット差分情報を決定する前記ステップは、
   前記差分情報の中に含まれる前記画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、前記ターゲット差分情報の中に含まれる前記画像マトリクスを取得するステップを含む、請求項1に記載の方法。
3. 未処理の画像の圧縮されている画像を取得する前記ステップは、
   撮像装置からの前記未処理の画像を受信するステップと、
   前記未処理の画像に対応する基準画像を取得するステップと、
   前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得するステップと、を含む、請求項1又は2に記載の方法。
4. 未処理の画像の圧縮されている画像を取得する前記ステップは、
   撮像によって前記未処理の画像を取得するステップと、
   前記未処理の画像に対応する基準画像を取得するステップと、
   前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得するステップと、を含む、請求項1又は2に記載の方法。
5. 当該方法は、
   前記第2の画像デバイスに前記基準画像を送信するステップをさらに含む、請求項3又は4に記載の方法。
6. 画像処理方法であって、当該方法は、第2の画像デバイスに適用され、
   第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信するステップであって、ターゲット差分情報は、前記未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される、ステップと、
   前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するステップと、
   前記圧縮されているターゲット差分情報に基づいて、前記第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得するステップと、を含む、
   方法。
7. 当該方法は、
   前記第1の画像デバイスから、前記未処理の画像に対応する基準画像を受信するステップをさらに含む、請求項6に記載の方法。
8. 前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得する前記ステップは、
   前記基準画像に基づいて、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するステップを含む、請求項7に記載の方法。
9. 前記ターゲット差分情報及び前記第1の解凍されている画像の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含み、
   前記圧縮されているターゲット差分情報に基づいて、前記第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得する前記ステップは、
   前記圧縮されているターゲット差分情報を解凍して、前記ターゲット差分情報を取得するステップと、
   前記第1の解凍されている画像の中に含まれる前記画像マトリクス及び前記ターゲット差分情報の中に含まれる前記画像マトリクスに対して加算処理を実行して、前記第2の解凍されている画像の中に含まれる画像マトリクスを取得するステップと、
   前記第2の解凍されている画像の中に含まれる前記画像マトリクスに基づいて、前記第2の解凍されている画像を決定するステップと、を含む、請求項7又は8に記載の方法。
10. 画像処理装置であって、当該装置は、第1の画像デバイスのために使用され、
    未処理の画像の圧縮されている画像を取得するように構成される取得ユニットと、
    前記圧縮されている画像を解凍して、第1の解凍されている画像を取得するように構成される解凍ユニットと、
    ターゲット差分情報を決定するように構成される決定ユニットであって、前記ターゲット差分情報は、前記未処理の画像と前記第1の解凍されている画像との間の差分情報に基づいて取得される、決定ユニットと、
    前記ターゲット差分情報を圧縮して、圧縮されているターゲット差分情報を取得するように構成される圧縮ユニットと、
    第2の画像デバイスに前記圧縮されている画像及び前記圧縮されているターゲット差分情報を送信するように構成される送信ユニットと、を含む、
    装置。
11. 前記差分情報及び前記ターゲット差分情報の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含み、
    前記決定ユニットは、特に、
    前記差分情報の中に含まれる前記画像マトリクスのうちであらかじめ設定されているしきい値範囲の中に入る画像要素値をあらかじめ設定されている値に変更して、前記ターゲット差分情報の中に含まれる前記画像マトリクスを取得するように構成される、請求項10に記載の装置。
12. 前記取得ユニットは、特に、
    撮像装置からの前記未処理の画像を受信し、
    前記未処理の画像に対応する基準画像を取得し、そして、
    前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得する、ように構成される、請求項10又は11に記載の装置。
13. 前記取得ユニットは、特に、
    撮像によって前記未処理の画像を取得し、
    前記未処理の画像に対応する基準画像を取得し、そして、
    前記基準画像に基づいて前記未処理の画像を圧縮して、前記圧縮されている画像を取得する、ように構成される、請求項10又は11に記載の装置。
14. 前記送信ユニットは、さらに、
    前記第2の画像デバイスに前記基準画像を送信するように構成される、請求項12又は13に記載の装置。
15. 画像処理装置であって、当該装置は、第2の画像デバイスのために使用され、
    第1の画像デバイスから、未処理の画像の圧縮されている画像及び圧縮されているターゲット差分情報を受信するように構成される受信ユニットであって、ターゲット差分情報は、前記未処理の画像と第1の解凍されている画像との間の差分情報に基づいて取得される、受信ユニットと、
    前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するように構成される解凍ユニットと、
    前記圧縮されているターゲット差分情報に基づいて、前記第1の解凍されている画像に対して画像処理を実行して、第2の解凍されている画像を取得するように構成される画像処理ユニットと、を含む、
    装置。
16. 前記受信ユニットは、さらに、
    前記第1の画像デバイスから、前記未処理の画像に対応する基準画像を受信するように構成される、請求項15に記載の装置。
17. 前記解凍ユニットは、特に、
    前記基準画像に基づいて、前記圧縮されている画像を解凍して、前記第1の解凍されている画像を取得するように構成される、請求項16に記載の装置。
18. 前記ターゲット差分情報及び前記第1の解凍されている画像の双方は、画像マトリクスを含み、各々の画像マトリクスは、複数の画像要素値を含み、
    前記画像処理ユニットは、特に、
    前記圧縮されているターゲット差分情報を解凍して、前記ターゲット差分情報を取得し、
    前記第1の解凍されている画像の中に含まれる前記画像マトリクス及び前記ターゲット差分情報の中に含まれる前記画像マトリクスに対して加算処理を実行して、前記第2の解凍されている画像の中に含まれる画像マトリクスを取得し、そして、
    前記第2の解凍されている画像の中に含まれる前記画像マトリクスに基づいて、前記第2の解凍されている画像を決定する、ように構成される、請求項16又は17に記載の装置。
19. プロセッサ及びメモリを含むコンピュータデバイスであって、前記プロセッサは、前記メモリに結合され、前記メモリは、コンピュータ命令を格納するように構成され、前記プロセッサは、前記コンピュータ命令を実行するように構成され、それによって、前記画像処理装置は、請求項1乃至5又は請求項6乃至9のうちのいずれか1項に記載の方法を実装する、コンピュータデバイス。
20. コンピュータ読み取り可能な記憶媒体であって、当該コンピュータ読み取り可能な記憶媒体は、命令を格納するように構成され、前記命令が実行されるときに、請求項1乃至5又は請求項6乃至9のうちのいずれか1項に記載の方法を実装する、コンピュータ読み取り可能な記憶媒体。
    
    

Images