JP6543517B2

JP6543517B2 - 画像処理方法、画像処理装置及びプログラム

Info

Publication number: JP6543517B2
Application number: JP2015120340A
Authority: JP
Inventors: 田岡　峰樹; 峰樹田岡
Original assignee: Hanwha Techwin Co Ltd
Current assignee: Hanwha Techwin Co Ltd
Priority date: 2015-06-15
Filing date: 2015-06-15
Publication date: 2019-07-10
Anticipated expiration: 2035-06-15
Also published as: KR102366524B1; KR20160147628A; JP2017005614A

Description

本発明は画像処理方法、画像処理装置及びプログラムに関する。

画像処理システムでは、要求される画像の高精細化に伴い、単位時間当たりに必要な画像処理量も大幅に増加している。画像が高精細化することにより画像の横方向について扱う空間のみならず、単位オブジェクトにおけるライン数も増加するため、ノイズ除去やデモザイキングといった２次元処理の処理量が大幅に増加する。半導体装置の微細化も進歩しているが、微細化に伴い開発に必要な費用も増加し、必ずしも最新の生産プロセスを使って面積を減らせば価格を抑えられるとは限らない。このため、画像処理システムの抜本的な規模削減が必要となる。

画像処理システムで最も大きな領域を占めるのが前述の２次元処理に必要なラインメモリ等のＳＲＡＭである。これらは、画像を小領域に分割して順次処理することによりラインメモリのアドレスを削減することが可能となる。例えば、特許文献１には、撮像装置において、画像データに補正処理をするときに、画像をＸ軸方向に複数の短冊（Ｓｔｒｉｐ）に断片化し、短冊毎に処理をすることが記載されている。

特開２００４−０６４７１０号公報

ところで、２次元画像処理システムにおいては、処理ウインドウが存在するために、ウインドウ処理が可能になるまで入力を待つ必要がある。また、入力が終了した後も出力が存在することがある。このため、画像を短冊状に分割した短冊構造では短冊と短冊との間に大きな入力待ち時間が生じ、処理時間を多く必要とする。

図８は、背景技術に係る入出力のイネーブルを説明するための図である。上が入力のイネーブル、下が出力のイネーブルである。また、Ｓ０〜Ｓ３はそれぞれ短冊を意味する。ライン遅延は垂直タップ数に依存する。
入力後、ライン遅延に相当する期間は出力が行われない。また、短冊構造を考慮しない設計では、図８のように、Ｓ０が完全に出力した後にＳ１の入力が開始される。このため、画像全体では短冊毎のライン遅延が蓄積されて大きな入力待ち時間が生じる。

また、動画像のように一定の期間内に１つの画像処理を完了させようとした場合には、短冊構造ではない場合と比較して高い周波数の動作クロックが必要となり、消費電力が増大してしまう。
処理時間を削減するためには、ＩＳＰ（Image Signal Processing）内部にＳＲＡＭに書き込みをするカウンタと読み出しをするカウンタとを別途搭載すればよい。ただし、この場合にも、現在処理している短冊に比べて次の短冊の幅が小さい場合には、次に述べる別の問題が生じ得る。

図９は、背景技術に係る短冊処理の問題点を説明するための図である。入力が始まってから出力されるまでのライン遅延が２ライン、入力終了後の出力ライン数が２ラインの場合の短冊処理である。
Ｃａｓｅ１のように、次に処理する短冊（Ｓｔｒｉｐ１）の幅が現在の短冊（Ｓｔｒｉｐ０）の幅よりも大きい場合、現在の短冊の最終出力（２ライン）が終了するまでに、次に処理する短冊の入力（２ライン）が終了することはない。このため、短冊間の入力待ち時間は最小限で済む。

しかし、Ｃａｓｅ２のように、次に処理する短冊（Ｓｔｒｉｐ１）の幅が現在の短冊（Ｓｔｒｉｐ０）の幅よりも小さい場合、現在の短冊の最終出力（２ライン）が終了するまでの間に次に処理する短冊の入力（２ライン）が終了してしまう可能性がある。このため、入力段を待たせる必要が生じ、短冊間の入力待ち時間が増大する。
本発明は、このような問題を解決するためになされたものであり、消費電力が小さく、処理時間が短い画像処理方法、画像処理装置及びプログラムを提供することを目的とする。

本発明に係る画像処理方法は、画像を短冊状に分割するステップと、短冊の幅の小さいものから順番に画像処理を行うステップとを有するものである。
この構成により、画像処理を行うときの消費電力を小さくし、また、処理時間を短くすることができる。

また、本発明に係る画像処理装置は、画像を蓄積するメモリ部と、メモリ部に蓄積された画像を所定の幅以下の短冊に分割し、短冊の幅が小さいものから順番に読み出すように制御する読み出し制御部と、読み出し制御部からの制御内容に基づいて、メモリ部から画像データを読み出すＲＤＭＡ部と、ＲＤＭＡ部から出力された画像データに対して画像処理を行う画像処理部と、画像処理部の出力をメモリ部に書き込むＷＤＭＡ部とを備えるものである。
この構成により、画像処理を行うときの消費電力を小さくし、また、処理時間を短くすることができる。

本発明により、消費電力が小さく、処理時間が短い画像処理方法、画像処理装置及びプログラムを提供することができる。

実施の形態に係る画像処理装置１０の概略構成を示す図である。実施の形態に係るＩＳＰ１７及びＩＰコア２１の概略構成を示す図である。実施の形態に係る画像１を短冊状に分割したときの、短冊の処理順番を説明するための図である。実施の形態に係る画像処理方法の処理手順を示すフローチャートである。実施の形態に係る画像処理方法の処理手順を説明するための図である。実施の形態に係る画像処理方法の別の処理手順を説明するための図である。実施の形態に係る入出力のイネーブルを説明するための図である。背景技術に係る入出力のイネーブルを説明するための図である。背景技術に係る短冊処理の問題点を説明するための図である。

以下、図面を参照して本実施の形態に係る画像処理方法及び画像処理装置について説明する。
まず、本実施の形態に係る画像処理装置の構成について説明する。
図１は、本実施の形態に係る画像処理装置１０の概略構成を示す図である。画像処理装置１０はカメラシステムを構成する。

画像処理装置１０は、撮像部１１、ＷＤＭＡ（Write Direct Memory Access）１２、バス（Bus）１３、ＤＤＲＳＤＲＡＭ（Double-Data-Rate Synchronous Dynamic Random Access Memory、メモリ部）１４、Ｓｔｒｉｐ分割制御部（読み出し制御部）１５、ＲＤＭＡ（Remote Direct Memory Access、ＲＤＭＡ部）１６、ＩＳＰ（画像処理部）１７、ＷＤＭＡ（ＷＤＭＡ部）１８、ＣＰＵ（Central Processing Unit、制御部）１９などを備えている。

撮像部１１は、被写体を撮像して画像データを生成する。ＤＤＲＳＤＲＡＭ１４は、撮像部１１が生成した画像データをＷＤＭＡ１２、バス１３を介して入力して蓄積する。
Ｓｔｒｉｐ分割制御部１５は、ＤＤＲＳＤＲＡＭ１４に蓄積された画像データをどのように分割するかを決定し、また、ＲＤＭＡ１６による画像データの読み出しを制御する。ＲＤＭＡ１６は、Ｓｔｒｉｐ分割制御部１５による制御に従って、ＤＤＲＳＤＲＡＭ１４に蓄積された画像データを読み出し、ＩＳＰ１７に入力する。

ＩＳＰ１７は入力された画像データに各種の画像処理を行い、画像処理後の画像データを出力する。ＷＤＭＡ１８は、画像処理後の画像データを入力し、ＤＤＲＳＤＲＡＭ１４に書き込む。ＣＰＵ１９は、画像処理装置１０全体の動作を制御する。

図２は、本実施の形態に係るＩＳＰ１７及びＩＰコア２１の概略構成を示す図である。
ＩＳＰ１７は、ＩＰ（Intellectual Property）コア２１〜２４などを備える。ＲＤＭＡ１６から入力した画像データに対して、ＩＰコア２１が第１の画像処理を行う。また、第１の画像処理後の画像データに対して、ＩＰコア２２が第２の画像処理を行う。

同様に、ＩＰコア２３が第３の画像処理を行い、ＩＰコア２４が第４の画像処理を行って、画像処理終了後の画像データをＷＤＭＡ１８に出力する。
なお、ＩＰコア２１〜２４はそれぞれ４画素単位、１６画素単位、６４画素単位などのように処理できる画素数に一定の制限があり、大きさも異なっている。

ＩＰコア２１は、ＳＲＡＭ３１、２次元画像処理部３２、ＳＲＡＭ制御部３３などを備える。ＩＰコア２１は、ライン遅延が２ラインの短冊処理を行っている。
ＳＲＡＭ３１は、ＲＤＭＡ１６から短冊状の画像データのうちの５ライン（画素行）分の画像データ４１〜４５を入力する。

２次元画像処理部３２は、当該５ライン分の画像データ４１〜４５について、画像処理を行い、ＩＰコア２２に出力する。
ＳＲＡＭ制御部３３は、ＳＲＡＭ３１、２次元画像処理部３２の動作を制御する。
なお、ＩＰコア２２〜２４の構成も、ＩＰコア２１の構成と同様であり、説明を省略する。

ここで、本実施の形態に係る画像処理方法の短冊の処理順番について説明する。
図３は、本実施の形態に係る画像１を短冊状に分割したときの、短冊の処理順番を説明するための図である。
図３（Ａ）に示す分割前の画像１を、短冊の幅が同じになるように分割した場合には、図３（Ｂ）に示すように幅が同じ短冊Ｓ０〜Ｓ３ができる。この場合に、本実施の形態に係る画像処理方法では、短冊Ｓ０〜Ｓ３を順不同で読み出して画像処理を行う。例えば、短冊Ｓ０、Ｓ１、Ｓ２、Ｓ３の順番で読み出して画像処理を行う。

また、画像１をハードウェアなどに依存して決まる所定の幅で分割した場合には、図３（Ｃ）に示すように所定の幅の短冊Ｓ０〜Ｓ３と、所定の幅より小さな幅の短冊Ｓ４とができる。この場合に短冊Ｓ０、Ｓ１、Ｓ２、Ｓ３、Ｓ４の順番で読み出して画像処理を行うと、Ｓ３からＳ４に移行するときに、Ｗａｉｔが発生し、入力待ち時間が生じてしまう。そこで、本実施の形態に係る画像処理方法では、短冊Ｓ４、Ｓ０、Ｓ１、Ｓ２、Ｓ３の順番（Ｓ０〜Ｓ３は順不同）で読み出して画像処理を行う。すなわち、短冊の幅が小さいＳ４を先に処理する。

また、レンズの歪は画像の外側に行くほど大きくなるので、ＬＤＣ（Lens Distortion Correction）による歪み補正のような画像処理の前では、メモリ資源の有効活用のために画像１を画像中心に近いほど短冊の幅が大きくなるように分割する。そして、図３（Ｄ）に示すように幅の大きな短冊Ｓ２と、次に幅の大きな短冊Ｓ１、Ｓ３と、幅の小さな短冊Ｓ０、Ｓ４とができる。この場合に、本実施の形態に係る画像処理方法では、短冊Ｓ０、Ｓ４、Ｓ１、Ｓ３、Ｓ２の順番（Ｓ０、Ｓ４は順不同、Ｓ１、Ｓ３は順不同）で読み出して画像処理を行う。やはり、幅が小さい短冊を先に処理する。

つぎに、上記した短冊の処理順を実現するための、本実施の形態に係る画像処理方法の処理手順について説明する。
図４は、本実施の形態に係る画像処理方法の処理手順を示すフローチャートである。
まず、処理を開始すると、Ｓｔｒｉｐ分割制御部１５が、ＤＤＲＳＤＲＡＭ１４に蓄積された画像のサイズと、分割情報(例えば、ＬＤＣの情報、設定できる画素数制限など)とを入力し（ステップＳ１０）、画像１を短冊状に分割する（ステップＳ２０）。

図５は、本実施の形態に係る画像処理方法の処理手順を説明するための図である。
図５（Ａ）は分割前の画像１を示し、図５（Ｂ）はステップＳ２０で短冊Ｓ０〜Ｓ３に分割した後の画像を示す。短冊Ｓ０〜Ｓ３の幅はそれぞれ異なっている。
つぎに、Ｓｔｒｉｐ分割制御部１５が、短冊の幅に基づいて短冊情報の並べ替え（ソート）を行い（ステップＳ３０）、並べ換えの結果をＳｔｒｉｐ分割制御部１５内部に保存する（ステップＳ４０）。図５（Ｃ）はステップＳ３０で並べ変えた後の短冊情報を示す。短冊の幅の小さいＳ３、Ｓ１、Ｓ０、Ｓ２の順番に並べ替えられている。

つぎに、Ｓｔｒｉｐ分割制御部１５が、保存した短冊情報を順次読み出し、ＤＭＡのコマンドとして発行する（ステップＳ５０）。
つぎに、ＲＤＭＡ１６が上記コマンドに従い、短冊Ｓ３のライン毎の画像データをＤＤＲＳＤＲＡＭ１４から読み出し、ＩＳＰ１７に入力する（ステップＳ６０）。

つぎに、ＩＳＰ１７が入力した画像データに対して画像処理を行って出力する（ステップＳ７０）。
そして、ＷＤＭＡ１８が画像処理済みの画像データをＤＤＲＳＤＲＡＭ１４に書き込み（ステップＳ８０）、処理を終了する。

なお、Ｓｔｒｉｐ分割制御部１５はハードウェアとして構成しても良いが、画像サイズや設定などに合わせて一度しか計算しないため、ＣＰＵ１９のソフトウェアとして実現することもできる。また、事前にこのような情報を計算しておき、ファームウェア内部に埋め込んでおく方法を採用することもできる。

また、ＲＤＭＡ１６とＷＤＭＡ１８とを一つのＤＭＡとして構成しても良い。
また、Ｓｔｒｉｐ分割制御部１５は、上記のように分割後に短冊の幅に基づいて短冊情報を並べ替える処理方法に代えて、画像を短冊状に分割するときに、画像端から順番に短冊の幅が同じか大きくなるように分割する処理方法を採用しても良い。

図６は、本実施の形態に係る画像処理方法の別の処理手順を説明するための図である。
Ｓｔｒｉｐ分割制御部１５は、図６（Ａ）に示した画像１を分割するときに、図６（Ｂ）に示すように、画像左端の短冊Ｓ０の幅が小さくなるように、短冊Ｓ１〜Ｓ４の幅を短冊Ｓ０の幅よりも大きく、また、短冊Ｓ２〜Ｓ４の幅が同じになるように分割する。この処理方法は、ＩＳＰ１７による画像処理が、短冊の幅の影響を受けないような場合に有効である。
また、短冊の読み出し方向によっては、画像を短冊状に分割するときに、画像端から順番に短冊の幅が同じか小さくなるように分割する処理方法を採用しても良い。

図７は、本実施の形態に係る入出力のイネーブルを説明するための図である。図７（Ａ）は比較のための背景技術に係る入出力のイネーブルを示し、図７（Ｂ）、（Ｃ）は、本実施の形態に係る入出力のイネーブルを示している。
本実施の形態に係る入出力のイネーブルでは、短冊間のライン遅延が１ライン以下と背景技術に係るものよりも小さくなっており、入力待ち時間の蓄積を大幅に減らすことができている。この結果、本実施の形態に係る画像処理方法では、最低動作周波数を下げ、消費電力を下げることができる。

以上、説明したように、本実施の形態に係る画像処理方法は、画像を短冊状に分割するステップＳ２０と、短冊の幅の小さいものから順番に画像処理を行うステッＳ７０とを有するものである。
また、本実施の形態に係る画像処理方法は、分割するステップＳ２０と画像処理を行うステップＳ７０との間に、短冊を短冊の幅の順番に並べ替えるステップＳ３０を更に有することが好ましい。
また、本実施の形態に係る画像処理方法は、画像を短冊状に分割するステップＳ３０が、画像を画像端から順番に短冊の幅が同じか大きくなるように分割する、または、画像を画像端から順番に短冊の幅が同じか小さくなるように分割するステップであることが好ましい。

また、本実施の形態に係る画像処理方法は、読み出し制御部１５が、メモリ部１４に蓄積された画像を所定の幅以下の短冊に分割するステップＳ２０と、読み出し制御部１５が、短冊の幅が小さいものから順番に読み出すように制御するステップＳ５０と、ＲＤＭＡ部１６が、制御内容に基づいて、メモリ部１４から画像データを読み出すステップＳ６０と、画像処理部１７がＲＤＭＡ部１６から出力された画像データに対して画像処理を行うステップＳ７０と、ＷＤＭＡ部１８が画像処理部１７から出力された画像処理後の画像データをメモリ部１４に書き込むステップＳ８０とを有するものである。

１０画像処理装置
１４ＤＤＲＳＤＲＡＭ
１５Ｓｔｒｉｐ分割制御部
１６ＲＤＭＡ
１７ＩＳＰ
１８ＷＤＭＡ
１９ＣＰＵ
２１、２２、２３、２４ＩＰコア
３１ＳＲＡＭ
３２２次元画像処理部
３３ＳＲＡＭ制御部

Claims

画像を短冊状に分割するステップと、
前記短冊の幅の小さいものから順番に画像処理を行うステップと
を有する画像処理方法。
前記分割するステップと前記画像処理を行うステップとの間に、
前記短冊を前記短冊の幅の順番に並べ替えるステップを更に有する
請求項１記載の画像処理方法。
前記分割するステップは、
前記画像を前記画像端から順番に前記短冊の幅が同じか大きくなるように分割する、
または、前記画像を前記画像端から順番に前記短冊の幅が同じか小さくなるように分割するステップである
請求項１記載の画像処理方法。
読み出し制御部が、メモリ部に蓄積された画像を所定の幅以下の短冊に分割するステップと、
前記読み出し制御部が、前記短冊の幅が小さいものから順番に読み出すように制御するステップと、
ＲＤＭＡ部が、前記制御内容に基づいて、前記メモリ部から画像データを読み出すステップと、
画像処理部が、前記ＲＤＭＡ部から出力された前記画像データに対して画像処理を行うステップと、
ＷＤＭＡ部が、前記画像処理部から出力された前記画像処理後の画像データを前記メモリ部に書き込むステップと
を有する画像処理方法。
前記制御するステップは、
前記読み出し制御部が、前記分割した短冊を前記短冊の幅の順番に並べ替え、前記短冊の幅が小さいものから順番に読み出すように制御するステップである
請求項４記載の画像処理方法。
前記分割するステップは、
前記読み出し制御部が、前記画像を前記画像端から順番に前記短冊の幅が同じか大きくなるように分割する、または、前記画像を前記画像端から順番に前記短冊の幅が同じか小さくなるように分割するステップである
請求項４記載の画像処理方法。
画像を蓄積するメモリ部と、
前記メモリ部に蓄積された画像を所定の幅以下の短冊に分割し、前記短冊の幅が小さいものから順番に読み出すように制御する読み出し制御部と、
前記読み出し制御部からの前記制御内容に基づいて、前記メモリ部から画像データを読み出すＲＤＭＡ部と、
前記ＲＤＭＡ部から出力された前記画像データに対して画像処理を行う画像処理部と、
前記画像処理部から出力された前記画像処理後の画像データを前記メモリ部に書き込むＷＤＭＡ部と
を備えた画像処理装置。
前記読み出し制御部は、
前記分割した短冊を前記短冊の幅の順番に並べ替え、前記短冊の幅が小さいものから順番に読み出すように制御する
請求項７記載の画像処理装置。
前記読み出し制御部は、
前記画像を前記画像端から順番に前記短冊の幅が同じか大きくなるように分割する、
または、前記画像を前記画像端から順番に前記短冊の幅が同じか小さくなるように分割する
請求項７記載の画像処理装置。
画像処理装置に、請求項１乃至６のいずれか１項記載の画像処理方法の各ステップを実行させるためのプログラム。