JP4849392B2 - 画像処理装置 - Google Patents

Description

本発明は、画像処理装置に関し、特に、ディジタル画像の回転処理を含む画像処理を行う画像処理装置に関する。

下記特許文献１には、スキャナ等から入力された画像データを複数のブロックに分割する画像ブロック化回路と、各ブロックの画像データ（ブロックデータ）に対して回転処理を行うブロック回転回路と、回転後のブロックデータに対してＪＰＥＧ圧縮処理を行う画像圧縮プロセッサとを備える画像処理装置が開示されている。

特開平１０−１１２７９６号公報

しかしながら、上記特許文献１では、画像データのフォーマットについて全く言及されておらず、回転処理の前後でフォーマット変換を行いたい場合に、その対応が不十分であるという問題がある。

本発明はかかる問題を解決するために成されたものであり、ディジタル画像の回転処理を含む画像処理を行う画像処理装置において、回転処理の前後で画像データのフォーマット変換を効率良く実行し得る画像処理装置を得ることを目的とする。

第１の発明に係る画像処理装置は、ディジタル画像の回転処理を含む画像処理を行う画像処理装置であって、第１フォーマットの第１画像データに基づいて、前記第１フォーマットよりもデータ量の少ない第２フォーマットに適合した第２画像データを作成する第２処理部と、前記第２画像データに基づいて、前記第２画像データが回転され、前記第２フォーマットに適合した第３画像データを作成する第３処理部とを備え、前記第１画像データには、第１色差信号を有する第１画素と、第２色差信号を有する第２画素とが含まれ、前記第１色差信号は、前記第３画像データでは必要であるが、前記第２フォーマットに適合させるためには前記第１画素から削除を要する色差信号であり、前記第２色差信号は、前記第３画像データでは不要な色差信号であり、前記第２処理部は、前記第１画像データに対して、前記第２画素から前記第２色差信号が削除され、前記第１画素の前記第１色差信号が前記第２画素に移動された、前記第２画像データを作成し、前記第３処理部は、前記第２画像データに対して、前記第２画像データが回転され、前記第２画素の前記第１色差信号が前記第１画素に移動された、前記第３画像データを作成することを特徴とする。

第２の発明に係る画像処理装置は、第１の発明に係る画像処理装置において特に、前記第１フォーマットはＹＵＶ４４４フォーマットであり、前記第２フォーマットはＹＵＶ４２２フォーマットであることを特徴とする。

第３の発明に係る画像処理装置は、第１又は第２の発明に係る画像処理装置において特に、前記画像処理装置は、少なくとも一つのラインメモリを使用してリサイズ処理を行う処理部を備え、前記第２処理部は、前記第１画像データの行データを格納するラインメモリを使用して、前記第２画像データを作成し、前記第２処理部は、前記第２画像データを作成するためのラインメモリとして、前記リサイズ処理を行うために使用されるラインメモリを使用することを特徴とする。

第１の発明に係る画像処理装置によれば、第２処理部は、不要な第２色差信号を第２画素から削除し、必要な第１色差信号を第１画素から第２画素に移動することにより、第２フォーマットに適合した第２画像データを作成する。また、第３処理部は、第２画像データを回転した後、第２画素に待避していた第１色差信号を第１画素に戻すことにより、第２フォーマットに適合した第３画像データを作成する。

従って、画像の回転処理を行いつつ、第１フォーマットの第１画像データから第２フォーマットの第３画像データへのフォーマット変換を実現することができる。

また、第３画像データには第１色差信号が含まれているため、回転後の第３画像データにおける画質の低下を回避することもできる。

第２の発明に係る画像処理装置によれば、ディジタルスチルカメラ等ではＹＵＶ４２２フォーマットの画像データに対してＪＰＥＧ圧縮処理が行われる場合が多いため、ＹＵＶ４４４フォーマットの第１画像データから、ＹＵＶ４２２フォーマットの第３画像データを得ることにより、ディジタルスチルカメラ等への適用が容易となる。

第３の発明に係る画像処理装置によれば、リサイズ処理を行うためのラインメモリと、第２画像データを作成するためのラインメモリとを兼用することにより、装置構成を簡略化できるとともに、コストの低減を図ることができる。

第３の発明に係る画像処理装置によれば、リサイズ処理用のラインメモリと、第２画像データを作成するためのラインメモリとを兼用することにより、リサイズ機能を損なうことなく第２画像データの作成を行うことが容易となる。また、リサイズされた第３画像データを得ることも可能となる。

実施の形態１．
図１は、本発明の実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。図１に示すように本実施の形態１に係る画像処理装置は、第１処理ユニット１と、その後段に接続された第２処理ユニット２とを備えている。

第１処理ユニット１は、第１処理部３と、その後段に接続された第２処理部４とを有している。第１処理部３は、ディジタルスチルカメラの撮像素子から送られてきたＲＡＷデータＤ１に対して色補完等の処理を行い、ＹＵＶ４４４フォーマットの画像データＤ２を出力する。第２処理部４は、ラインメモリ５を有しており、第１処理部３から入力したＹＵＶ４４４フォーマットの画像データＤ２を、ＹＵＶ４２２フォーマットに適合した画像データＤ３にフォーマット変換して出力する。

第２処理ユニット２は、第３処理部６と、その後段に接続された第４処理部７とを有している。第３処理部６は、第２処理部４から入力した画像データＤ３に対して回転処理（本実施の形態１では、右回り９０度の回転を例にとる）を行った後、回転後の画像データに対して所定の色差信号を並び替える処理を行うことにより、ＹＵＶ４２２フォーマットに適合した画像データＤ４を出力する。第４処理部７は、第３処理部６から入力した画像データＤ４に対してＪＰＥＧ圧縮処理を行い、圧縮後の画像データＤ５を出力する。

以下、本実施の形態１に係る画像処理装置の動作について、詳細に説明する。

図２は、第１処理部３から出力された、ＹＵＶ４４４フォーマットの画像データＤ２を示す図である。図２では、簡単化のため、行方向に４画素、列方向に４画素の、合計１６画素のデータのみを示している。ＹＵＶ４４４フォーマットでは、各画素が輝度信号Ｙと色差信号Ｕ，Ｖとを有している。例えば第１行第１列の画素は、輝度信号Ｙ１１と色差信号Ｕ１１，Ｖ１１とを有している。

第１処理部３は、画像データＤ２を各行のデータ（行データ）ごとに分割して、後段の第２処理部４に向けて順に出力する。具体的には、まず、画像データＤ２の第１行の行データとして、Ｙ１１→Ｕ１１→Ｖ１１→Ｙ１２→Ｕ１２→Ｖ１２→・・・→Ｙ１４→Ｕ１４→Ｖ１４なるデータストリームを出力し、次に、第２行の行データとして、Ｙ２１→Ｕ２１→Ｖ２１→Ｙ２２→Ｕ２２→Ｖ２２→・・・→Ｙ２４→Ｕ２４→Ｖ２４なるデータストリームを出力する。その後は同様に、第３行及び第４行の各行データを順に出力する。

第２処理部４は、第１処理部３から入力した画像データＤ２に基づいて、ＹＵＶ４２２フォーマットに適合した画像データＤ３を作成する。図３は、第２処理部４によって作成された画像データＤ３を示す図である。ＹＵＶ４２２フォーマットでは、第ｎ列の各画素が輝度信号Ｙと色差信号Ｕ，Ｖとを有しており、第ｎ＋１列の各画素が輝度信号Ｙのみを有している。例えば第１行第１列の画素は、輝度信号Ｙ１１と色差信号Ｕ１１，Ｖ１１とを有しており、第１行第２列の画素は、輝度信号Ｙ１２のみを有している。

注目すべき点は、砂地のハッチングを付して示したように、図２に示した画像データＤ２における第２行第１列の画素の色差信号Ｕ２１，Ｖ２１が、画像データＤ２における第１行第２列の画素の色差信号Ｕ１２，Ｖ１２によって置き換えられている点である。同様に、第２行第３列の画素の色差信号Ｕ２３，Ｖ２３が第１行第４列の画素の色差信号Ｕ１４，Ｖ１４によって置き換えられ、第４行第１列の画素の色差信号Ｕ４１，Ｖ４１が第３行第２列の画素の色差信号Ｕ３２，Ｖ３２によって置き換えられ、第４行第３列の画素の色差信号Ｕ４３，Ｖ４３が第３行第４列の画素の色差信号Ｕ３４，Ｖ３４によって置き換えられている。画像データＤ３の作成手法の詳細は、以下の通りである。

第２処理部４は、第１処理部３から送られてきた画像データＤ２の第１行の行データから、色差信号Ｕ１２，Ｖ１２，Ｕ１４，Ｖ１４を削除することによって、画像データＤ３の第１行の行データを作成する。

また、第２処理部４は、第１処理部３から送られてきた画像データＤ２の第２行の行データと、ラインメモリ５に格納しておいた画像データＤ２の第１行の行データとに基づいて、画像データＤ３の第２行の行データを作成する。具体的には、画像データＤ２の第２行の行データにおける全ての色差信号Ｕ２１〜Ｕ２４，Ｖ２１〜Ｖ２４を削除するとともに、第２行第１列の画素に色差信号Ｕ１２，Ｖ１２を追加し、第２行第３列の画素に色差信号Ｕ１４，Ｖ１４を追加することにより、画像データＤ３の第２行の行データを作成する。

画像データＤ３の第３行の行データは、第１行の行データと同様の手法により作成することができ、第４行の行データは、第２行の行データと同様の手法により作成することができる。

第２処理部４は、画像データＤ３を各行の行データごとに分割して、後段の第３処理部６に向けて順に出力する。具体的には、まず、画像データＤ３の第１行の行データとして、Ｙ１１→Ｕ１１→Ｖ１１→Ｙ１２→Ｙ１３→Ｕ１３→Ｖ１３→Ｙ１４なるデータストリームを出力し、次に、第２行の行データとして、Ｙ２１→Ｕ１２→Ｖ１２→Ｙ２２→Ｙ２３→Ｕ１４→Ｖ１４→Ｙ２４なるデータストリームを出力する。その後は同様に、第３行及び第４行の各行データを順に出力する。このように、各行の行データは、Ｙ→Ｕ→Ｖ→Ｙ→Ｙ→Ｕ→Ｖ→Ｙという、ＹＵＶ４２２フォーマットに準拠したデータストリームとして出力される。

第３処理部６は、第２処理部４から入力した画像データＤ３を、右回りに９０度回転させることにより、図４に示す画像データＤ４ａを作成する。次に、第３処理部６は、画像データＤ４ａ内の所定の色差信号を並び替えることにより、画像データＤ４を作成する。

図５は、第３処理部６によって作成された画像データＤ４を示す図である。図４に示した画像データＤ４ａにおける第１行第１列の画素の色差信号Ｕ３２，Ｖ３２が、第２行第２列の画素に移動されている。同様に、第１行第３列の画素の色差信号Ｕ１２，Ｖ１２が第２行第４列の画素に移動され、第３行第１列の画素の色差信号Ｕ３４，Ｖ３４が第４行第２列の画素に移動され、第３行第３列の画素の色差信号Ｕ１４，Ｖ１４が第４行第４列の画素に移動されている。これら回転、色差信号の移動は、ＪＰＥＧやＭＰＥＧ等の圧縮で用いるローカルメモリ内で行うことが可能である。

第３処理部６は、図３に示した画像データＤ３における第４行第１列の画素が、あたかも第１行第１列の画素であるかのように上記ローカルメモリに与えるアドレスを変換し、そこから読み出されるデータを後段の第４処理部７に向けて出力する。他のデータについても同様のアドレス変換を行うことで、回転及び移動を行い、第３処理部６から後段の第４処理部７に向けてＹＵＶ４２２フォーマットに準拠したデータストリームが出力される。

第４処理部７は、第３処理部６から入力した画像データＤ４に対してＪＰＥＧ圧縮処理を行い、圧縮後の画像データＤ５を出力する。

図２，５を参照して、例えば、図２に示した画像データＤ２において輝度信号Ｙ１２を有する画素（説明の便宜上「第１画素」と称す）の色差信号Ｕ１２，Ｖ１２は、回転後の図５に示した画像データＤ４に含まれている。一方、画像データＤ２において輝度信号Ｙ２１を有する画素（「第２画素」と称す）の色差信号Ｕ２１，Ｖ２１は、画像データＤ４には含まれていない。つまり、図２に示した画像データＤ２において、第１画素の色差信号Ｕ１２，Ｖ１２は画像データＤ４の作成に必要な信号であり、第２画素の色差信号Ｕ２１，Ｖ２１は画像データＤ４の作成には不要な信号である。

ＹＵＶ４４４フォーマットの画像データＤ２を、単純にＹＵＶ４２２フォーマットの画像データにフォーマット変換したのでは、図６に示すように、変換後の画像データＤ１００には、第１画素の色差信号Ｕ１２，Ｖ１２は残らずに、第２画素の色差信号Ｕ２１，Ｖ２１は残る。従って、画像データＤ１００を回転させたとしても、回転後の画像データには色差信号Ｕ１２，Ｖ１２は残らないこととなる。

そこで、本実施の形態１に係る画像処理装置では、回転後に不要となる色差信号Ｕ２１，Ｖ２１を第２画素から削除するとともに、回転後に必要となる色差信号Ｕ１２，Ｖ１２を第２画素に待避させておくことにより、ＹＵＶ４２２フォーマットに適合した画像データＤ３（図３参照）を作成する。そして、画像データＤ３を回転させた後に、第２画素に待避しておいた色差信号Ｕ１２，Ｖ１２を元の第１画素に戻すことにより、ＹＵＶ４２２フォーマットに適合した画像データＤ４を作成する。これにより、作成された画像データＤ４に色差信号Ｕ１２，Ｖ１２を残すことができ、画像データＤ４の画質の低下を回避できるとともに、画像の回転処理を行いつつ、ＹＵＶ４４４フォーマットの画像データＤ２からＹＵＶ４２２フォーマットの画像データＤ４へのフォーマット変換を実現することができる。

また、画質と圧縮率とのトレードオフの関係から、ディジタルスチルカメラ等では、ＹＵＶ４２２フォーマットの画像データに対してＪＰＥＧ圧縮処理が行われる場合が多い。そのため、本実施の形態１に係る画像処理装置のように、ＹＵＶ４４４フォーマットの画像データＤ２からＹＵＶ４２２フォーマットの画像データＤ４を得ることにより、ディジタルスチルカメラ等への適用が容易となる。但し、フォーマットはこれに限定されるものではなく、例えばＹＵＶ４１１フォーマットへの変換を行うことも可能である。

実施の形態２．
上記実施の形態１に係る画像処理装置では、画像データＤ３を作成するための専用の処理部４を設けたが、処理部４の機能を、画像処理装置においてラインメモリを用いて各種のフィルタ処理を行う他の処理部の機能と兼用させてもよい。

図７は、本発明の実施の形態２に係る画像処理装置が備える、リサイズ処理を行うリサイズフィルタの構成を示すブロック図である。リサイズフィルタは、ラインメモリ５１を有する処理部１０と、ラインメモリ５２を有する処理部１１と、セレクタ６０〜６２とを有している。

処理部１０，１１は、フォーマット変換処理とリサイズ処理とを行う。

処理部１０は、図１に示した第２処理部４と同様に、第１処理部３からＹＵＶ４４４フォーマットの画像データＤ２を入力し、画像データＤ２の第ｍ行の行データと、ラインメモリ５１に格納されている第ｍ−１行の行データとに基づいて、図３に示したＹＵＶ４２２フォーマットの画像データＤ３と同様の画像データＤ２ａを作成する。作成された画像データＤ２ａは、セレクタ６０の第１入力端子（０）に入力される。

また、処理部１０は、第１処理部３から入力した画像データＤ２の第ｍ行の行データと、ラインメモリ５１に格納されている第ｍ−１行の行データとを平均することにより、第ｍ−１及び第ｍの２行分の行データから、１行分の行データを作成する。かかる処理を画像データＤ２の全ての行に関して行うことにより、データ量が１／２にリサイズされた画像データＤ２ｂを作成する。作成された画像データＤ２ｂは、セレクタ６０の第２入力端子（１）と、セレクタ６１の第１入力端子（０）とに入力される。

セレクタ６０は、セレクト信号に応じて画像データＤ２ａ又は画像データＤ２ｂを出力する。

セレクタ６１の第２入力端子（１）には、画像データＤ２が入力されている。セレクタ６１は、セレクト信号に応じて画像データＤ２ｂ又は画像データＤ２を出力する。

処理部１１は、セレクタ６１から入力した画像データに対して、ラインメモリ５２を用いて、処理部１０と同様の手法により、フォーマット変換処理及びリサイズ処理を行う。フォーマット変換処理によって作成された画像データは、セレクタ６２の第１入力端子（０）に入力され、リサイズ処理によって作成された画像データは、セレクタ６２の第２入力端子（１）に入力され、セレクタ６２は、セレクト信号に応じていずれか一方の画像データを出力する。

セレクタ６１，６２がいずれも第１入力端子（０）を選択した場合、セレクタ６２からは、処理部１０によってリサイズされ、処理部１１によってフォーマット変換された画像データＤ２ｃが出力される。

セレクタ６１が第１入力端子（０）を選択し、セレクタ６２が第２入力端子（１）を選択した場合、セレクタ６２からは、処理部１０によってリサイズされ、処理部１１によってさらにリサイズされた画像データＤ２ｄが出力される。

セレクタ６１が第２入力端子（１）を選択し、セレクタ６２が第１入力端子（０）を選択した場合、セレクタ６２からは、画像データＤ２が処理部１０によってフォーマット変換された画像データＤ２ｅが出力される。

セレクタ６１，６２がいずれも第２入力端子（１）を選択した場合、セレクタ６２からは、画像データＤ２が処理部１１によってリサイズされた画像データＤ２ｆが出力される。

このように本実施の形態２に係る画像処理装置によれば、各種のフィルタ処理を行うためのラインメモリと、フォーマット変換処理を行うためのラインメモリとを兼用することができる。そのため、装置構成を簡略化できるとともに、コストの低減を図ることができる。

また、リサイズ処理用のラインメモリ５１，５２を、フォーマット変換用のラインメモリとしても兼用することにより、リサイズ機能を損なうことなく、フォーマット変換された画像データを作成することが容易となる。しかも、リサイズかつフォーマット変換された画像データＤ２ｃを得ることも可能となる。

なお、複数本のラインメモリを有するフィルタ回路（ローパスフィルタやエッジ強調フィルタ等）においては、そのうちの１本のラインメモリを、フォーマット変換用のラインメモリとして兼用すればよい。

本発明の実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。 第１処理部３から出力された、ＹＵＶ４４４フォーマットの画像データＤ２を示す図である。 第２処理部４によって作成された画像データＤ３を示す図である。 画像データＤ３を右方向に９０度回転させることにより作成された画像データＤ４ａを示す図である。 第３処理部６によって作成された画像データＤ４を示す図である。 ＹＵＶ４４４フォーマットの画像データＤ２が単純にＹＵＶ４２２フォーマットの画像データに変換された画像データＤ１００を示す図である。 本発明の実施の形態２に係る画像処理装置が備える、リサイズ処理を行うリサイズフィルタの構成を示すブロック図である。

符号の説明

３ 第１処理部
４ 第２処理部
５，５１，５２ ラインメモリ
６ 第３処理部
Ｄ２〜Ｄ４ 画像データ

Claims (3)

1. ディジタル画像の回転処理を含む画像処理を行う画像処理装置であって、
   第１フォーマットの第１画像データに基づいて、前記第１フォーマットよりもデータ量の少ない第２フォーマットに適合した第２画像データを作成する第２処理部と、
   前記第２画像データに基づいて、前記第２画像データが回転され、前記第２フォーマットに適合した第３画像データを作成する第３処理部と
   を備え、
   前記第１画像データには、第１色差信号を有する第１画素と、第２色差信号を有する第２画素とが含まれ、
   前記第１色差信号は、前記第３画像データでは必要であるが、前記第２フォーマットに適合させるためには前記第１画素から削除を要する色差信号であり、
   前記第２色差信号は、前記第３画像データでは不要な色差信号であり、
   前記第２処理部は、前記第１画像データに対して、前記第２画素から前記第２色差信号が削除され、前記第１画素の前記第１色差信号が前記第２画素に移動された、前記第２画像データを作成し、
   前記第３処理部は、前記第２画像データに対して、前記第２画像データが回転され、前記第２画素の前記第１色差信号が前記第１画素に移動された、前記第３画像データを作成する、画像処理装置。
2. 前記第１フォーマットはＹＵＶ４４４フォーマットであり、前記第２フォーマットはＹＵＶ４２２フォーマットである、請求項１に記載の画像処理装置。
3. 前記画像処理装置は、少なくとも一つのラインメモリを使用してリサイズ処理を行う処理部を備え、
   前記第２処理部は、前記第１画像データの行データを格納するラインメモリを使用して、前記第２画像データを作成し、
   前記第２処理部は、前記第２画像データを作成するためのラインメモリとして、前記リサイズ処理を行うために使用されるラインメモリを使用する、請求項１又は２に記載の画像処理装置。

Images