JP7438736B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像に情報を埋め込むための技術に関する。

従来、文字列などの付加情報（以下、多重化情報と表記）を符号化し、印刷対象の画像に埋め込むことで、画像だけでない多重化情報を不可視に近い状態で印刷できる多重化の技術がある。

特許文献１には、印刷物に複数の多重化情報を埋め込む場合において、読み取り側が読み取りエラーを起こさぬよう多重化情報同士の埋め込み領域の重複を避ける技術として、多重化情報の埋め込み領域を示すマーカを適切に配することが記載されている。

特許第５５４１３６０号

しかしながら特許文献１では、適切な多重化情報を選択し、選択した多重化情報を画像領域に埋め込む際の負荷軽減について考慮されていなかった。

そこで本発明の一実施形態は、上記の課題に鑑み、多重化情報を画像に埋め込む際、ユーザの負荷を軽減することを目的とする。

本発明の一実施形態は、撮像して解析することにより抽出可能な付加情報が埋め込まれた画像を生成するための画像処理装置であって、画像内のオブジェクトを認識する認識手段と、記憶手段に記憶された付加情報の中から、前記認識手段によって認識されたオブジェクトに紐付けられた付加情報を選択する選択手段と、前記選択手段によって選択された付加情報を埋め込む埋め込み領域の少なくとも一部が、前記認識手段によって認識されたオブジェクトの領域と重畳するように、該付加情報をレイアウトするレイアウト手段と、を有し、前記レイアウト手段は、複数のオブジェクトにそれぞれ対応する複数の埋め込み領域に付加情報をレイアウトする場合、前記複数の埋め込み領域が互いに重ならないように、前記複数の埋め込み領域の位置またはサイズを調整することを特徴とする画像処理装置である。

本発明の一実施形態によれば、多重化情報を画像に埋め込む際、ユーザの負荷を軽減することが可能になる。

第１の実施形態における多重化エンコード処理部の基本構成を示す図 第１の実施形態における多重化デコード処理部の基本構成を示す図 第１の実施形態における多重化エンコード処理部のブロック図 画像データの処理に用いるマスクパターンを示す図 第１の実施形態における多重化部の詳細な構成を示すブロック図 図４のマスクパターンを数値化したパターンを示す図 多重化エンコード処理後の画像データに基づく記録処理を説明するためのフローチャート 第１の実施形態における多重化デコード処理部のブロック図 多重化位置の検出部による画像データの周波数特性の判定方法の説明図 画像データの周波数特性と、判定領域との関係の説明図 第１の実施形態における多重化デコード処理のフローチャート 第１の実施形態におけるオブジェクト情報、多重化情報に関わるＤＢと、紐付けに関わるＤＢとの関係を説明するための図 第１の実施形態における情報選択処理のフローチャート 第１の実施形態における多重化情報レイアウト処理のフローチャート 第１の実施形態におけるレイアウト処理を説明するための図 第２の実施形態におけるオブジェクト情報、多重化情報に関わるＤＢと、紐付けに関わるＤＢとの関係を説明するための図 第２の実施形態における情報選択処理のフローチャート 第３の実施形態における情報選択処理のフローチャート 第３の実施形態における多重化情報レイアウト処理のフローチャート

以下、本発明の実施形態を図面に基づいて説明する。

［第１の実施形態］
本実施形態は、画像情報に多重化情報を埋め込む多重化エンコード処理部に関わるが、ここでは撮像画像から多重化情報を抽出する多重化デコード処理部を含んで説明する。また以下では、情報処理システムの基本構成と、情報処理システムの特徴的な構成と、に分けて説明する。

（１）基本構成
（１－１）多重化エンコード処理部のハードウェア
図１（ａ）及び図１（ｂ）は、情報処理システムにおいて、画像情報に多重化情報を埋め込む多重化エンコードのためのハードウェア（多重化エンコード処理部）の構成例を示す図である。これらのハードウェアはそれぞれ、画像データ（画像情報ともいう）Ａと、該画像データに埋め込む多重化対象のデータ（多重化情報、多重化データ、付加情報等という）Ｂとを取得し、画像データＡと多重化情報Ｂとが埋め込まれた記録物Ｃを生成する。図１（ａ）のハードウェアは、記録装置（プリンタ）とは別の装置によって、画像データＡに多重化情報Ｂを埋め込む処理を行うように構成されている。図１（ｂ）のハードウェアは、記録装置内において、画像データＡに多重化情報Ｂを埋め込む処理を行うように構成されている。

図１（ａ）の構成において、入力端子１００から入力される画像データＡは、色成分を含む多階調の画像データである。これに対し、入力端子１０１から入力される多重化情報Ｂは、テキスト文書データ、音声データ、動画データ等である。或いは、多重化情報Ｂは、テキスト文書データ、音声データ、画像データ、動画データ等が圧縮されたデータであってもよいし、他のバイナリ値に変換されたデータであってもよい。情報を多重化する多重化装置１０２は、後述するように、画像データＡに多重化情報Ｂを埋め込む処理（多重化処理、埋め込み処理等という）を行う。記録装置１０３は、多重化情報Ｂが埋め込まれた画像データＡに基づく記録動作を行うことで、記録物Ｃを生成する。

図１（ｂ）の構成において、図１（ａ）の多重化装置１０２に相当する多重化部１０５は、記録装置１０３に含まれている。図１（ａ）の構成と同様に、入力端子１００から画像データＡが入力され、入力端子１０１から多重化情報Ｂが入力される。記録装置１０３内の多重化部１０５は、画像データＡに多重化情報Ｂを埋め込む処理を行う。また、記録装置１０３内の記録部１０６は、多重化情報Ｂが埋め込まれた画像データＡに基づく記録動作を行うことで、記録物Ｃを生成する。このように多重化情報Ｂが埋め込まれた画像データＡに基づいて記録物Ｃを生成する処理を「多重化エンコード処理」ともいう。

図２は、情報処理システムにおいて、記録物Ｃから多重化情報Ｂを抽出する多重化デコードのためのハードウェア（多重化デコード処理部）の構成例を示す図である。このハードウェアは、多重化エンコード処理によって生成された記録物Ｃをカメラ等の撮像装置によって撮像し、その撮像画像を解析することによって、埋め込まれている多重化情報Ｂを抽出する。

カメラ付きモバイル端末（情報処理装置）２０１は、撮像センサ２０２を有し、記録物Ｃの撮像機能を有する。モバイル端末２０１として、スマートフォンやＰＤＡ等が想定される。多重化情報の分離装置２０３は、撮像センサ２０２によって撮像された画像を解析することによって、多重化情報Ｂを抽出する。ＣＰＵ（中央演算装置）２０４は、プログラムに従って情報処理方法を実行する。ＲＯＭ２０５には、ＣＰＵ２０４によって実行されるプログラムが記憶されている。ＲＡＭ２０６は、ＣＰＵ２０４によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリとして機能する。ハードディスク等の２次記憶装置２０７には、画像ファイル、および、画像解析結果を含むデータベース等が記憶される。

ディスプレイ２０８には、ＣＰＵ２０４の処理結果に基づく情報等が表示され、ユーザは、ディスプレイ２０８に表示された内容を視認する。ユーザは、キー入力装置２０９を用いて、処理の指示および文字の入力等を行う。尚、ディスプレイ２０８及びキー入力装置２０９の代わりに、ディスプレイ２０８の表示機能と、キー入力装置２０９の入力機能とを併せ持つタッチパネル機能を備えるディスプレイを採用してもよい。

無線ＬＡＮ２１０はインターネットに接続されている。モバイル端末２０１は、インターネットに接続されたサイトにアクセスして、ディスプレイ２０８にサイトの画面などを表示させる。モバイル端末２０１は、無線ＬＡＮ２１０を介して、データを送信または受信できる。スピーカー２１１は、抽出された多重化情報が音声データまたは音声付動画データの場合に、音声を出力したり、インターネットの接続先に動画データがある場合に、その動画データの再生時に音声を出力したりする。

モバイル端末２０１は、撮像センサ２０２を内蔵する構成に限定されない。例えば、モバイル端末２０１とは別の装置によって撮像センサ２０２を制御し、撮像画像を多重化情報の分離装置２０３に送信する構成であってもよい。撮像センサ２０２としては、デジタルカメラおよびビデオカメラ等を採用することができる。多重化エンコード処理に対し、記録物Ｃから多重化情報Ｂを抽出する処理を「多重化デコード処理」ともいう。

（１－２）多重化エンコード処理のためのファームウェア構成
図３は、多重化エンコード処理のための基本的なファームウェア構成のブロック図である。画像データは、以下の処理が施され、記録ヘッドに接続された記録エンジンが受信可能な解像度および階調数に変換されてから、記録エンジンに送信される。なお、本実施形態においては、図３の３０１から３１１が多重化装置１０２に備えられ、３１２から３１９が記録装置１０３に備えられるものとして説明するが、その限りではない。例えば、３０１から３１９が記録装置１０３に備えられていても良いし、３０１から３１９が多重化装置１０２に備えられていても良い。

（１－２－１）付属情報の取得部
付属情報の取得部３０１は、画像データを圧縮する際に使用された各種パラメータを取得する。その取得された各種パラメータは、画像データの復元部３０２に送られて、圧縮された画像データを元の画像データに変換するための処理に利用される。また、その取得された各種パラメータは、圧縮度を算出するための処理に利用される。例えば、入力画像データは、文書データをＪＰＥＧフォーマットで圧縮して得られた非可逆画像データであり、記録媒体に記録される。非可逆画像データには、圧縮する際に使用された量子化テーブルと画像データサイズとが含まれている。取得された画像データサイズ情報および量子化テーブルは、画像データの復元部３０２に送られる。

（１－２－２）画像データの復元部
画像データの復元部３０２は、符号化された画像データを復号化して、画像データを抽出する。

（１－２－３）画像補正部
画像補正部３０３は、画像データの復元部３０２により複合化されたＲＧＢデータに対し、画像の補正処理を施す。画像の補正としては、全体の色を明るくまたは暗くする明度調整、コントラスト調整、およびカラーバランスの調整の他、写真の記録を想定した逆光補正および赤目補正などの様々な補正が挙げられる。これらの補正を画像補正部３０３において一元的に処理することにより、記録装置に依存しない処理を実現することができる。

（１－２－４）解像度変換部
解像度変換部３０４は、解像度が記録装置に対応する解像度となるように、画像データを変換する。詳しくは、解像度変換部３０４は、入力される画像データと、記録装置の解像度と、に応じて導き出された変倍量に基づいて、拡大または縮小の処理を施す。変倍処理の方法としては、ニアレストネイバー法、バイリニア法、バイキュービック法などが存在し、処理の特性、および処理速度を考慮して適切な方法を選択すればよい。

（１－２－５）オブジェクト認識部
オブジェクト認識部３０５は、画像データに対してオブジェクト認識処理を行う。図３では画像データＡに対して画像補正と解像度変換とを実施した後の画像にオブジェクト認識を実施しているが、本実施形態はこの構成に限られない。認識処理の内容や、処理全体の要求速度等に応じて、オブジェクト認識を行う画像を適宜変形してよい。

オブジェクト認識に関する技術として、例えば顔認識技術がある。顔認識の処理の流れとしては、まず画像中の顔らしい領域を特定し、該特定した顔らしい領域について特徴量を導出する。この特徴量はある計算式に従って算出され、例えば、指定領域のヒストグラムを取得することや、周波数変換を実施した結果の振幅・位相情報を取得すること等も、特徴量算出の範疇に含まれる。予め複数の顔情報について、異なる人物毎に特徴量マップを作成しておく。顔認識技術の分野では、特徴量マップの作成に用いた画像データやマッピングされたデータを「教師（データ）」と呼ぶ。オブジェクトＤＢ３０６は、教師データを保持しているデータベースである。画像中の顔らしい領域に対して導出された特徴量に基づいて、この領域内の人物が特徴量マップにマッピングされたどの人物に近いか、決定される。以上が、一般的な顔認識技術の処理内容である。

図１２（ａ）は、オブジェクト認識を実行するにあたって、記憶されている教師データのデータベースを表している。つまり、オブジェクトＤＢ３０６の一例である。図１２（ａ）に示すように、オブジェクトの種類を示すオブジェクトＮｏの値Ｉ₁は特徴クラスタ値Ｆ₁に対応し、同様に、Ｉ₂はＦ₂に対応し、Ｉ₃はＦ₃に対応する。

図１２（ｂ）は、教師データのマップの概念図である。この図では、３次元マップに特徴クラスタ値Ｆ₁～Ｆ₃がマッピングされている。オブジェクト認識部３０５は、画像内のオブジェクトの特徴量を導出し、該導出した特徴量に基づき、３次元マップ内の特徴クラスタ値Ｆ₁～Ｆ₃の何れに該当するか決定する。ここで述べるクラスタとは、マップ中で該当のオブジェクトであると判定される範囲を示している。導出された特徴量群に対応する１点が、マップの軸を基準にプロットされ、プロットされた場所がクラスタに含まれているか否かに基づいて、当該クラスタのオブジェクトであるか否かが決定される。尚、複雑な特徴を持つ情報を区別したい場合や、区別したいオブジェクトの種類が多い場合は、マップの軸はより多くなる傾向がある。また、特徴クラスタ値Ｆ_nの取りうる範囲は、特徴クラスタ値それぞれに対し数百～数千オーダーのオブジェクトの特徴をマッピングして精度を向上させたものであることが望ましい。また、画像データＡから複数のオブジェクトが認識される場合もある。

（１－２－６）情報選択部
情報選択部３０７は、オブジェクト認識部３０５によって認識されたオブジェクトに応じて、多重化情報ＤＢ３０８の中から最適な多重化情報を選択する。多重化情報ＤＢ３０８に保持されている多重化情報は、図１（ａ）の多重化装置１０２もしくは図１（ｂ）の多重化部１０５において、画像データＡに埋め込まれる多重化情報Ｂになり得る。情報選択部３０７による処理は、画像データＡに埋め込まれる多重化情報Ｂを選択する処理に相当する。

多重化情報にはテキスト文書データ等が含まれる。テキスト文書データは、例えば、既に公知である文字コードを利用して、数字および文字を数値に割り当てた数値データである。このような数値データが多重化情報として多重化情報ＤＢ３０８に保持される。

具体例として、「ｈｅｌｌｏ」という文字に対応するテキスト文書データについて説明する。テキスト文書データは、数値データいわゆるバイナリデータとする。バイナリデータとは「０」及び「１」で表現される情報であり、この「０」及び「１」の連続的なつながりが特定の意味を持つ。バイナリデータと文字との対応は、「文字コード」によって定義されている。文字コードの中の１つである「シフトＪＩＳ」の場合、「ｈ」はバイナリデータの「０１１０１０００」に対応する。同様に、「ｅ」は「０１１００１０１」、「ｌ」は「０１１０１１００」、「ｏ」は「０１１０１１１１」のバイナリデータに対応する。従って、「ｈｅｌｌｏ」という文字は、バイナリデータによれば、「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」と表現できる。逆に、「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」というバイナリデータを取得できれば、該取得したバイナリデータに基づき「ｈｅｌｌｏ」という文字を取得することができる。多重化情報ＤＢ３０８は、このようなバイナリデータに変換された数値データに対応する。

図１２（ｃ）は、多重化情報ＤＢ３０８の一例を表している。図１２（ｃ）のテーブルには、多重化情報として埋め込みたい「ｈｅｌｌｏ」、「ｂｙｅ」、「ｌｕｎｃｈ」という文字が保持されており、これらは夫々、文字を識別するための多重化情報Ｎｏの値（本例ではＢ₁～Ｂ₃の何れか）と対応する。

情報選択部３０７は、紐付け情報ＤＢ３０９を参照する。紐付け情報ＤＢ３０９には、認識したオブジェクトと、多重化情報ＤＢ３０８に保持された内容とを紐付けるための情報が保持される。

図１２（ｄ）は、紐付け情報ＤＢ３０９の具体例として、図１２（ａ）のデータベースと、図１２（ｃ）のデータベースとを紐付けるためのデータベースを表している。図１２（ｄ）では、紐付け情報である紐付けＮｏの値Ｓ₁は、Ｂ₁とＩ₃との対応関係に紐付いており、Ｓ₂は、Ｂ₂とＩ₁との対応関係に紐付いており、Ｓ₃は、Ｂ₃とＩ₂との対応関係に紐付いている。情報選択部３０７は、紐付け情報を用いて多重化情報ＤＢ３０８を参照することで、画像中のオブジェクトに最適な多重化情報を選択することが可能である。以下、情報選択部３０７によって実行される、画像中のオブジェクトに対して最適な多重化情報を選択する（情報選択処理とする）について、図１３を用いて説明する。

図１３は、本実施形態における情報選択処理のフローチャートであり、オブジェクト認識部３０５で認識されたオブジェクトに対して多重化情報を選択する手順をステップ毎に示す。尚、以下では、具体例として、認識されたオブジェクトに対するオブジェクトＮｏの値がＩ₁であったケースを挙げながら説明する。画像中で複数のオブジェクトが認識された場合は、該認識された複数のオブジェクトそれぞれについて、同様のフローの処理を実行する。なお、本実施形態においては、多重化装置１０２（または記録装置１０３）のＣＰＵがフローチャートに関わるプログラムを読み出して実行することで、各ステップの処理が実行される。

ステップＳ１３０１において、情報選択部３０７は、オブジェクト認識部３０５で認識された対象オブジェクトに対応するオブジェクトＮｏの値を取得する。図１２（ａ）では、オブジェクトＮｏの値としてＩ₁～Ｉ₃が存在するが、以下では、対象オブジェクトに対応するオブジェクトＮｏの値がＩ₁のケースを想定して説明する。つまり、オブジェクト認識部３０５が、画像内のオブジェクトから抽出された特徴量「Ｆ₁」を情報選択部３０７に出力する。そして情報選択部３０７は、特徴量「Ｆ₁」とオブジェクトＤＢ３０６に基づいて、オブジェクトＮｏの値として「Ｉ₁」を取得する。尚、以降では「ステップＳ～」を「Ｓ～」と略記する。

Ｓ１３０２において、情報選択部３０７は、最大で紐付け情報ＤＢ３０９（例えば図１２（ｄ））に保持されている紐付けＮｏの値の個数（Ｎ個とする）分の、Ｓ１３０３～Ｓ１３０４のループ処理を実行する。例えば、図１２（ｄ）のテーブルを用いる場合、紐付けＮｏの値としてＳ₁～Ｓ₃が保持されているため、繰り返しの処理を最大で３回実行することになる。尚、Ｓ１３０３～Ｓ１３０４のループ処理は、Ｓ１３０１で取得したオブジェクトＮｏの値に対応する多重化情報Ｎｏの値を見つけた時点で終了し、Ｓ１３０５に進む。

Ｓ１３０３において、情報選択部３０７は、紐付け情報ＤＢ３０９（例えば図１２（ｄ））を参照し、注目紐付けＮｏの行において、Ｓ１３０１で取得したオブジェクトＮｏの値（本例ではＩ₁）と一致するオブジェクトＮｏの値が保持されているか判定する。本ステップの判定処理が真の場合、Ｓ１３０４に進む一方、該判定結果が偽の場合、次のループ処理（Ｓ１３０３～Ｓ１３０４）に移行する。

Ｓ１３０４において、情報選択部３０７は、紐付け情報ＤＢ３０９（例えば図１２（ｄ））を参照し、認識された対象オブジェクトのオブジェクトＮｏの値と紐付けられた多重化情報Ｎｏの値を選択する。具体的には、情報選択部３０７は、対象オブジェクトに付加する情報の内容を識別するための多重化情報Ｎｏの値として、Ｓ１３０１で取得したオブジェクトＮｏの値に紐付けされている多重化情報Ｎｏの値を選択的に決定する。尚、Ｓ１３０１で取得したオブジェクトＮｏの値がＩ₁であり、かつ図１２（ｄ）のテーブルを用いる場合、本ステップでは、多重化情報Ｎｏの値としてB₂が選択される。

Ｓ１３０５において、情報選択部３０７は、オブジェクト認識部３０５で認識された対象オブジェクトに最適な多重化情報が、紐付け情報ＤＢ３０９に保持されていたか判定する。本ステップの判定結果が真の場合、Ｓ１３０７に進む一方、該判定結果が偽の場合、Ｓ１３０６に進む。なお、本実施形態の具体例では、Ｓ１３０４において多重化情報Ｎｏの値としてB₂が選択されたため、Ｓ１３０５の判定結果は、真である。

Ｓ１３０６において、情報選択部３０７は、対象オブジェクトに最適な多重化情報が紐付け情報ＤＢ３０９に保持されていなかったため、多重化情報を選択しなかった旨を示す値（「非選択」を示す値）を出力する。そして、画像処理装置のＣＰＵは、出力された値を取得する。

Ｓ１３０７において、情報選択部３０７は、Ｓ１３０４で選択した多重化情報Ｎｏの値（本実施例では、「Ｂ₂」）を出力し、画像処理装置のＣＰＵは、該出力された値を取得する。

以上が、情報選択処理の内容である。図１３のフローチャートの処理を実行することで、認識されたオブジェクトの種類（オブジェクトＮｏ）に対応する多重化情報が自動的に選択されるため、操作性が向上する。

（１－２－７）多重化情報レイアウト部
多重化情報レイアウト部３１０は、情報選択部３０７で選択された多重化情報Ｂを、画像中のどの位置にレイアウトするか決定する処理（多重化情報レイアウト処理とする）を実行する。以下、多重化情報レイアウト処理について、図１４を用いて説明する。

図１４は、多重化情報レイアウト処理のフローチャートであり、情報選択部３０７によって選択された多重化情報Ｂを画像データＡ中に埋め込む位置を決定する手順をステップ毎に示す。

Ｓ１４０１において、多重化情報レイアウト部３１０は、オブジェクト認識部３０５が認識した対象オブジェクトの位置情報を取得する。尚、本ステップで取得する位置情報は、オブジェクト認識部３０５が領域特定を行った際に取得したものであってもよいし、多重化情報レイアウト部３１０にて改めてオブジェクトが存在する領域を特定し、該特定した領域の位置情報を求めても良い。

Ｓ１４０２において、多重化情報レイアウト部３１０は、対象オブジェクトに対して選択された多重化情報があるか判定する。例えば、Ｓ１４０２は、多重化情報レイアウト部３１０が情報選択部３０７から取得される情報に基づいて判定処理を行う。具体的には、オブジェクト認識部３０５が、対象オブジェクトから抽出された特徴量「Ｆ₁」を情報選択部３０７に出力する。そして情報選択部３０７は、特徴量「Ｆ₁」とオブジェクトＤＢ３０６に基づいて、オブジェクトＮｏの値として「Ｉ₁」を取得する。さらに情報選択部３０７は、オブジェクトＮｏの値「Ｉ₁」と紐付け情報ＤＢ３０９に基づいて特定された多重化情報Ｎｏ「Ｂ₂」を多重化情報レイアウト部３１０に出力する。ここで多重化情報レイアウト部３１０は、多重化情報Ｎｏを取得できた場合、Ｓ１４０２において真と判定する。一方、多重化情報レイアウト部３１０は、多重化情報Ｎｏを取得できない場合、Ｓ１４０２において偽と判定する。本ステップの判定結果が真の場合、Ｓ１４０３に進む一方、該判定家結果が偽の場合、多重化情報レイアウト処理は終了する。

Ｓ１４０３において、多重化情報レイアウト部３１０は、Ｓ１４０１で取得した位置情報に基づき、選択した多重化情報の埋め込み位置（レイアウト位置とも呼ぶ）を決定する。

以上、図１４のフローチャートの処理を実行することで、認識されたオブジェクトの種類に基づいて自動的に選択された多重化情報が埋め込まれる位置が自動的に決定されるため、操作性が向上する。

図１５（ａ）は、多重化情報レイアウト処理を実行した場合の、多重化情報の埋め込み位置の決定例を示す。まず顔領域Ａのオブジェクトの種類に対応する多重化情報が図１３の処理により選択される。そして、Ｓ１４０１で特定されたオブジェクトの位置に基づいて、オブジェクト領域に重畳するような多重化情報埋め込み領域の位置を指定する。図１５（ａ）では、認識するオブジェクトを顔とした場合に、顔領域Ａの中心位置を基準に、多重化情報埋め込み領域Ａを決定している。つまり、認識された顔領域Ａのオブジェクトに基づいて自動的に選択された多重化情報が顔領域Ａに重畳するように、埋め込み領域Ａが決定される。このようにオブジェクト領域の中心位置に多重化情報を埋め込んだ場合、読み取り側ユーザはオブジェクトに端末をかざせば、高い精度で多重化情報を読み取ることができるようになる。多重化情報の埋め込み位置をオブジェクト領域の中心位置からずらした場合でも、読み取り側ユーザのかざす端末の視野範囲内にオブジェクト領域があれば、関連する多重化情報を読み取ることが可能である。オブジェクトの位置に対して一部でも多重化情報が重畳していれば、読み取り時に視野範囲から外れる可能性は低い。

Ｓ１４０４において、多重化情報レイアウト部３１０は、埋め込み位置の調整を行う。埋め込み位置の調整は例えば、図１５（ｂ）のような画像に対して実施される。図１５（ｂ）では２人の人物が写っているが、そのそれぞれにオブジェクト認識を実施して多重化情報をレイアウトした結果、Ｓ１４０３において、多重化情報位置Ｂと、多重化情報位置Ｃと、が決定されたとする。図示するように、複数の埋め込み情報が重畳していた場合は、読み取りデータの復号時にエラーが発生してしまう。従って、埋め込み位置が重畳した場合には、重畳を防ぐように調整を行う。

図１５（ｃ）は、重畳を防ぐように位置調整を実施した結果を示している。多重化情報埋め込み領域Ｂと、多重化情報埋め込み領域Ｃとが重畳しないように、それぞれの領域の位置を移動する。本実施形態では、重畳させない方法の一例として、多重化情報レイアウト部３１０は、異なる多重化情報埋め込み領域が重畳しないよう、互いにＸ軸上で反対方向にスライドする。但し、埋め込み位置の調整方法は、この方法に限定されない。これ以外の方法として例えば、多重化情報に紐付いているオブジェクト領域が重畳している割合が、多重化情報に紐付いていないオブジェクト領域に重畳している割合に対して大きくなるように位置を調整する方法を採用しても良い。なお、埋め込み領域のサイズを調整することにより、埋め込み位置の重畳が解消されても良い。

また本実施形態では、特に手段に限定しないが、対応するオブジェクト領域に多重化情報埋め込み位置を決定することで読み取り側ユーザが直観的に読み取りを実施できる仕組みを設ける。オブジェクトの種類によって、オブジェクトに重畳させて埋め込む／重畳しないで埋め込む、を切り替えることができるように設計する。ユーザが画像中のオブジェクトに対して多重化情報を重畳して埋め込みたいか、埋め込みたくないかがレイアウト時に考慮されることから、ユーザの負荷が軽減される。

尚、多重化情報を埋め込む際に必要な領域サイズは多重化情報のｂｉｔ数や埋め込み強度設定によって異なる場合があるが、本実施形態ではこれらが一律同じとして説明した。多重化情報によって領域サイズが異なる場合、多重化情報の埋め込みは、埋め込む多重化情報に応じた領域サイズで実施される。

（１－２－８）多重化情報の多重化部
多重化情報の多重化部３１１は、解像度変換部３０４によって変換された画像データと、情報選択部３０７で選択された多重化情報と、を受け取り、画像データに多重化情報を埋め込む。またこの際、多重化情報の多重化部３１１は、多重化情報レイアウト部３１０の処理結果に基づく埋め込み位置に対して、多重化情報を埋め込む。本実施形態における埋め込み処理（多重化処理）においては、多重化情報である「０」、「１」から成るバイナリデータが読み取れるように、画像データにマスク処理を施して、バイナリデータに対応する「０」、「１」から成る情報を埋め込む。尚、本例では、画像データにマスク処理を施すことにより、所定領域の画像データに、「０」か「１」のバイナリデータに対応する異なる周期性を持たせる。

図４（ａ）及び図４（ｂ）は、バイナリデータに対応するマスクデータを示しており、図４（ａ）のマスクデータが「０」に対応し、図４（ｂ）のマスクデータが「１」に対応する。これらのマスクデータは、５ｐｘ×５ｐｘの領域に対応する大きさである。５ｐｘ×５ｐｘの領域に対応する画像データに対して、図６（ａ）または図６（ｂ）のような異なる周期性を持つパターンを組み合わせる（適用する）ことにより、「０」か「１」のバイナリデータを埋め込む。多重化情報の多重化部３１１おいては、多重化情報のバイナリデータ（数値データ）に基づいて、画像データに、「０」、「１」のバイナリデータに対応する周期性を持たせることにより、多重化情報を埋め込む。画像データに対する多重化情報の埋め込み方法の一例として、画像データを１色のグレー画像データとし、その画像データの全体に、「０」、「１」のバイナリデータを埋め込む方法について説明する。

多重化される画像のサイズは縦幅６４０ｐｘ、横幅４８０ｐｘとし、マスクデータは、図４（ａ）、図４（ｂ）と同様に５ｐｘ×５ｐｘの大きさとする。図４（ａ）のマスクデータによって、「０」のバイナリデータが表現され、図４（ｂ）のマスクデータによって、「１」のバイナリデータが表現されるものとする。図４（ａ）または図４（ｂ）のマスクデータにおいて、５×５の画素ブロックは、黒ブロック４０１と白ブロック４０２と斜線ブロック４０３とに分けられる。黒ブロック４０１は数値「＋２」に対応し、白ブロック４０２は数値「０」に対応し、斜線ブロック４０３は数値「－１」に対応する。０を埋め込みたい場合は「０」に対応する図４（ａ）のマスクデータを用い、１を埋め込みたい場合は「１」に対応する図４（ｂ）のマスクデータを用いる。図４のパターンを数値化した図６のパターンに関わる説明で後述するように、埋め込み情報を基準値と掛け算させた値を加算することによりパターンを形成する。

多重化情報のバイナリデータ（数値データ）に対応するパターンとして、極力、人間の視覚的に目立ちづらいパターンを形成したい場合もある。本例のように、画像データが１色のグレー画像データの場合は、輝度成分によってパターンを形成しなければならないため、視覚的に目立ちやすい。パターンの形状および周波数成分にもよるものの、輝度成分の変化より、色成分の変化の方が視覚的に目立ちにくい傾向がある。例えば、ＲＧＢ成分を持つカラー画像を、ＹＣｂＣｒ、Ｌａｂ、またはＹｕｖなどの色空間の画像データに変換して、輝度成分と色成分とに分ける。そして、輝度成分ではなく、色成分にマスクデータを適用することにより、視覚的に目立ちにくいパターンを形成することができる。

本例においては、マスクデータを５ｐｘ×５ｐｘのブロックに分けて画像データに加算する。しかし、ブロックサイズの単位およびマスク形状は任意であり、マスクデータを画像データに組み込む方法として、加算、減算、乗算、および除算などを組み合わせてもよい。付加情報が埋め込まれた画像の記録物を撮像した際に、マスクデータのパターンを区別できる方法であれば、任意の方法を採用してよい。従って、多重化情報の多重化部３１１は、多重化情報が埋め込まれた画像の記録物を撮像した際に、その多重化情報を抽出できるように、多重化情報を画像データに埋め込むための処理部である。

（１－２－９）色補正部
色補正部３１２は、記録装置によって記録媒体に記録される画像の色が好適な色となるように、画像データに変換処理を施す。例えば、モニタ等の表示装置に表示された画像を記録する場合、表示装置における色再現範囲と記録装置における色再現範囲とは、必ずしも一致しない。ある色では、表示装置と比べて記録装置の再現範囲の方が狭く、また、別の色では、表示装置と比べて記録装置の再現範囲の方が広い場合がある。そのため、画像の劣化を最小限にして、適宜、色の圧縮および伸長を行う必要がある。本実施形態では一例として、それらの処理をＲＧＢ形式で実施する。つまり、記録装置の再現性を考慮して、色補正部３１２に入力されたＲＧＢ値を記録装置用のＲＧＢ値（以下、「記録装置用ＲＧＢ値」ともいう）に変換する。この変換は、マトリクス演算によって行うことが可能但し一般的には、３次元の色補正テーブル３１３が利用される。入力されるＲＧＢ値を各色８ビット（２５６階調）とした場合、全ての組み合わせを保持することは記憶容量の観点から現実的でないため、色補正テーブル３１３として、所定の間隔で間引かれたテーブルを用いる。ここでは一例として、グリッド点の数が１７のテーブルを用いるものとする。

（１－２－１０）インク色変換部
インク色変換部３１４は、色補正部３１２の変換により取得された記録装置用ＲＧＢ値をインク色の値（例えばＣＭＹＫ値）に変換する。この変換には、記録装置用ＲＧＢ値の組み合わせと、インク色の値（例えばＣＭＹＫ値）の組み合わせと、が予め対応付けられた色分解テーブル３１５を用いる。尚、色補正部３１２と同様に、インク色変換部３１４においてもグリッド点１７のテーブルを利用する。

（１－２－１１）濃度補正部
インクジェット記録装置においては、記録用紙等の記録媒体上にドットを形成するために付与されるインクの量が多くなるにしたがって、ドットの重なりが増加し、記録画像における濃度が上昇しにくくなる。濃度補正部３１６は、このような濃度の応答性を均一にするために濃度を補正する。このような濃度補正により、色補正テーブル３１３および色分解テーブル３１５の作成精度が確保しやすくなる。ＣＭＹＫの４色インクを用いる記録装置においては、それらのインク色について濃度補正を行う。本実施形態では一例として、１次元の濃度補正テーブル３１７を用いる。このテーブルとしては、インク色毎の入力８ビット（２５６階調）に対応したテーブルを用意しておけばよく、特に間引くことなく、入力信号値と補正後の出力信号値とを対応付けたテーブルを用いることができる。

（１－２－１２）階調変換部
階調変換部３１８は、インク色毎に濃度補正が施された後の多ビットデータを、記録装置において記録可能な階調数のデータに変換する。尚、本実施形態では一例として、多ビットデータを記録「１」または非記録「０」の２階調（１ビット）データに変換する。また、階調の変換方法としては、画像の低周波成分を排除して、視覚に好適な階調の再現が可能な誤差拡散法を採用する。また、入力信号（多ビットデータ）として、画素値が０～２５５の８ビットのデータを想定する。

階調変換を全てのインク色Ｃ、Ｍ、Ｙ、Ｋに対して実行することにより、記録装置１０３で記録可能な１ビットのインク色毎の記録データが得られる。

（１－３）多重化エンコード処理
図５は、多重化情報の多重化部３１１（図３参照）のファームウェア構成を説明するためのブロック図である。以下、多重化部３１１における各処理部について説明する。

（１－３－１）色空間変換部
色空間変換部５０１は、解像度変換部３０４において記録装置に対応する解像度に変更された画像データの色空間を、情報多重化のための色空間に変換する処理部である。例えば、下式のように、情報多重化を行う色空間をＹＵＶのＵとし、画像データのＲＧＢの色空間をＹＵＶの色空間に変換する。

（１－３－２）ブロック位置設定部
本実施形態では、画像データを複数のブロック領域に分け、ブロック単位で各画素の濃度を変調させて、図９（ａ）または図９（ｂ）のマスクデータに対応するパターンを形成させることにより、多重化情報を埋め込む。ブロック位置設定部５０２は、色空間変換後の画像データを取得し、指定された色のプレーン画像に対して、指定された１つのブロックのサイズに合わせて、ブロックの位置座標を設定する。例えば、ＹＵＶのＵ色のプレーン画像のサイズを縦幅６４０ｐｘ、横幅４８０ｐｘとし、ブロックサイズを縦幅５ｐｘ、横幅５ｐｘとする。この場合、縦ブロック数は１２８（＝６４０÷５）、横ブロック数は９６（＝４８０÷５）、埋め込み可能なブロック数の合計は１２２８８（＝１２８×９６）となる。複数のブロックを用いて、多重化情報の読み取り精度を高める事が出来る。あるオブジェクトに関わる多重化情報のブロックを多重化情報レイアウト部３１０で指定した画像位置内に並べて配置する事ができ、それによってあるブロックが読み取り出来ないような表面傷など劣化した場合でも他のブロックで情報を補完する事が出来る。

（１－３－３）数値化部
数値化部５０３は、受信した多重化情報を数値化したデータに変換する。例えば、数値化部５０３の受信した多重化情報がシフトＪＩＳの文字列であったとする。この場合には、シフトＪＩＳの形式によって文字と数値とが対応付けられた変換マップを予め保持しておき、その変換マップを用いて文字列を数値列に変換する。例えば、多重化情報ＤＢ３０８から取得した多重化情報が文字列「ｈｅｌｌｏ」の場合、変換後の数値列は「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」となる。

（１－３－４）パターン選択部
パターン選択部５０４は、ブロック単位で各画素の濃度変調を行うためのマスクパターンが登録されており、数値化部５０３によって数値化された多重化情報に対して適用すべきマスクパターンを選択する。

図６（ａ）、図６（ｂ）は、周波数特性が異なる図４（ａ）および図４（ｂ）のパターンを数値化した図である。前述したように、図４（ａ）および図６（ａ）のパターンは、バイナリデータの「０」に対応し、図４（ｂ）および図６（ｂ）のパターンは、バイナリデータの「１」に対応する。

（１－３－５）情報多重化部
情報多重化部５０５は、色空間変換部５０１において色空間変換した画像データと、ブロック位置設定部５０２において設定された各ブロックの位置と、パターン選択部５０４において選択されたマスクパターンと、を取得する。情報多重化部５０５は、これらの取得情報に基づき、画像データの指定領域にマスクパターンを適用した画像データを生成する。

例えば、画像データをＹＵＶのＵ色プレーンとし、それを指定領域の内部に属する１ブロック（５ｐｘ×５ｐｘ）毎に処理し、そのＹＵＶのＵ色プレーンの値に図６（ａ）または図６（ｂ）のマスクパターンの値を適用するケースを検討する。ここでは一例として、下記の式に示すように、これらのマスクパターンの数値に応じてＹＵＶのＵ色プレーンの値（Ｕ値とする）に対する加減算処理を行うものとし、その加減算処理を行う基準値を１０とする。

例えば、１ブロック内の１画素のＵ値が「２０」であり、適用するマスクパターンの数値が「０」である場合には、式（５）のようにＵ値が処理される。

また例えば、１ブロック内の１画素のＵ値が「３０」であり、適用するマスクパターンの数値が「２」の場合には、式（６）のようにＵ値が処理される。

また例えば、１ブロック内の１画素のＵ値が「４０」であり、適用するマスクパターンの数値が「－１」の場合には、式（７）のようにＵ値が処理される。

このように本実施形態では、画素毎に、適用するマスクパターンの数値と、基準値と、を掛け合わせた値を加算することによって、多重化を実現する。尚、マスクパターンの適用方法は、Ｕ色プレーン上に、マスクパターンを埋め込むことができれば任意の方法を採用してよく、ここで挙げた方法に限定されない。

このような多重化エンコード処理は、図１（ａ）の多重化装置１０２または図１（ｂ）の多重化部１０５によって実行される。尚、多重化エンコード処理を実行する構成要素は、記録装置１０３に含まれていなくてもよく、記録装置１０３に含まれていてもよい。多重化装置１０２もしくは多重化部１０５において生成された多重化エンコード処理後の画像データは、記録装置１０３もしくは記録部１０６に送信される。

（１－４）画像データに基づく記録処理
図７は、多重化エンコード処理後の画像データに基づく記録処理を説明するためのフローチャートである。

まず、Ｓ７０１において、色補正部３１２（図３参照）は、多重化情報の多重化部３１１によって多重化情報が埋め込まれた画像データ（多重化画像データとする）を取得する。

次に、Ｓ７０２において、色補正部３１２は、多重化画像データに色補正を施す。

次に、Ｓ７０３において、ＣＰＵは、記録データを生成する。具体的には、インク色変換部３１４、濃度補正部３１６、及び階調変換部３１８により、色補正後の画像データをインク色の値に変換してから濃度を補正し、その濃度補正後の画像データを、所定の階調数の画像データに変換することにより、記録データを生成する。生成された記録データは、記録エンジンに送信される。

Ｓ７０４において、記録エンジンは、送信された記録データに基づいて、各色のインクを記録媒体に付与することにより、記録物Ｃを生成する。

（１－５）多重化デコード処理のためのファームウェア構成
図８は、記録物Ｃの記録画像に埋め込まれている多重化情報を抽出する多重化デコード処理のための基本的なファームウェア構成のブロック図である。

図８に示すように、撮像センサ２０２（図２参照）は、撮像部８０１と、色調整部８０２とを有する。また、多重化情報の分離装置２０３は、多重化位置の検出部８０３と、多重化情報の分離部８０４と、抽出データの解析部８０５とを有する。また、テキスト文書データ、音声データ、動画データなどの数値化された多重化情報のデータが記録物Ｃの記録画像に埋め込まれている。

（１－５－１）撮像部
撮像部８０１は、撮像センサ２０２内の撮像素子によって、記録物Ｃの記録画像を撮像して画像データを取得する。

撮像部８０１内の撮像素子としてはＣＣＤを採用することができ、ＣＣＤは、フォトダイオード（受光素子）により光を感知して、その光を電圧に変化させる。その際、撮像素子毎に配置したＲＧＢまたはＣＭＹなどのカラーフィルタにより、光を色のデータとして変換させることができる。フォトダイオードの検出信号は、色調整部８０２に送られる。

（１－５－２）色調整部
色調整部８０２は、撮像部８０１におけるフォトダイオードの出力データを、１画素がＲＧＢ３チャンネル８ビットデータの画像データに変換する。画像データに変換する前に、撮像時の光源などに応じて、フォトダイオードの出力データに対してＲＧＢなどの色の補間処理が行われる。その補間処理は、例えば、モバイル端末２０１等を用いて撮像する際に、白い被写体を白く撮像できるように調整することに相当する。撮像部８０１は、太陽またはライト等の光源から照射されて、被写体から反射された光をフォトダイオードによって検知するため、光源に応じて画像の色が異なることになる。従って、色調整部８０２は、光源に応じた補間処理を行う。

補間処理の方法として、光源の色合いを示す色温度によって表現された光の色を数値化した単位のケルビン（Ｋ）を用いる方法がある。昼間の太陽光は５５００Ｋ、白熱電球は３０００Ｋであり、一般的に、色温度が高いと青く見え、低いと赤く見える。そのため、光源に応じて撮像画像の色が異なることになる。モバイル端末２０１には通常、撮像する際にセンサにより色温度を検知して、白い被写体が白く撮像できるよう自動的に調整する、いわゆるオートホワイトバランス調整機能が搭載されている。また、太陽光または白熱電球等の光源に応じて、手動によりホワイトバランスを調整することもできる。

色調整部８０２は、フォトダイオードの出力データに基づいて、ホワイトバランスが調整された画像データを生成し、該生成した画像データを、多重化情報の分離装置２０３に送る。

（１－５－３）多重化位置の検出部
多重化位置の検出部８０３には、色調整部８０２によって色調整された画像データが入力される。多重化位置の検出部８０３は、その画像データの周波数特性を判定することによって、多重化情報が埋め込まれている位置（多重化位置とする）を検出する。

図９（ａ）は、二次元の周波数領域における周波数特性の差の説明図であり、横軸は水平方向の周波数、縦軸は垂直方向の周波数、中心となる原点は直流成分を示し、原点から遠ざかるにつれて高周波域となる。本例においては、多重化処理により周波数特性が変化する。

例えば、前述したように、図４（ａ）のマスクパターンを適用したときの周波数特性の変化により、図９（ａ）中の直線９０１上に大きなパワースペクトルが生じる。また、図４（ｂ）のマスクパターンを適用したときの周波数特性の変化により、図９（ａ）中の直線９０２上に大きなパワースペクトルが生じる。多重化情報の分離時には、多重化信号を判定するために、このような大きなパワースペクトルが発生する周波数ベクトルを検出する。そのため、各々の周波数ベクトルを個別に強調して抽出することが必要となる。

そのためには、図６（ａ）、図６（ｂ）のマスクパターンと同様の周波数特性をもつハイパスフィルタを用いるとよい。図６（ａ）のマスクパターンに対応する空間フィルタは、図９（ａ）中の直線９０１上の周波数ベクトルを強調することが可能である。図６（ｂ）のマスクパターンに対応する空間フィルタは、図９（ａ）中の直線９０２上の周波数ベクトルを強調することが可能である。

例えば、図６（ｂ）のマスクパターンを適用する量子化条件により、図９（ａ）中の直線９０１の周波数ベクトル上に大きなパワースペクトルが発生したと仮定する。この場合、そのパワースペクトルの変化量は、図６（ａ）のマスクパターンに対応する空間フィルタによって増幅されるものの、図６（ｂ）のマスクパターンに対応する空間フィルタによっては殆ど増幅されない。即ち、複数の空間フィルタを並列に用いてフィルタリングした場合、パワースペクトルは、周波数ベクトルが一致した空間フィルタによってのみ増幅され、それ以外の空間フィルタによってはほとんど増幅されない。従って、パワースペクトルを増幅させた空間フィルタを特定することにより、いかなる周波数ベクトル上に大きなパワースペクトルが発生したかを判定することができる。このように周波数特性を判定することにより、多重化情報を抽出することが可能である。その際、多重化情報の抽出位置がずれた場合には、多重化情報を正しく抽出することが難しくなる。

図９（ｂ）は、記録物Ｃにおける記録領域の説明図である。記録物Ｃとしての記録媒体９０３は、ブロック単位で情報が多重化された領域９０４を含み、その領域９０４に対して、特定の周波数特性を持つように多重化情報が埋め込まれる。

図１０（ａ）及び図１０（ｂ）は、多重化されたブロックと、周波数特性を判定する領域との関係の説明図であり、図示するように、記録媒体は、４つのブロックにおいて多重化されている。図１０（ａ）においては、ブロック単位の周波数特性を判定する判定領域１００２がブロックの位置からずれている（つまり、判定領域１００２が複数のブロックにまたがっている）。一方、図１０（ｂ）においては、ブロック単位の周波数特性を判定する判定領域１００３がブロックの位置と一致している（つまり、判定領域１００３が複数のブロックにまたがっていない）。図１０（ａ）の場合には、判定領域１００２において周波数特性を正しく判定することができる。一方、図１０（ｂ）の場合には、判定領域１００３において、特定の周波数ベクトルのパワースペクトルが下がってしまい、周波数特性を正しく判定することが難しい。

多重化位置の検出部８０３は、空間フィルタを利用して、多重化させたブロック単位の周波数特性を判定する。その際に、多重化されたブロックの位置を特定することが必要である。その多重化されたブロックの位置は、特定の周波数ベクトルのパワースペクトルの強度に基づいて特定することができる。そのため、多重化位置の検出部８０３においては、撮像画像に対し、ブロック単位の周波数特性の判定領域をずらしながら周波数特性を検出し、該検出した周波数特性を判定することによって、多重化されたブロックの位置を特定する。

（１－５－４）多重化情報の分離部
ブロック単位の周波数特性は、多重化位置の検出部８０３によって検出されたブロックの位置を基準として判定され、多重化情報の分離部８０４は、そのブロック単位の周波数特性の判定結果に基づいて、多重化された多重化情報を抽出する。

（１－５－５）抽出データの解析部
抽出データの解析部８０５は、多重化情報の分離部８０４によって多重化情報として分離された数値列を解析し、その数値列を元々の埋め込み前の多重化情報の形式に変換する。

例えば、予め、多重化する多重化情報をテキスト文書データとして、その文字コードを「シフトＪＩＳ」に数値化しておく。シフトＪＩＳの１バイトコード（半角文字）においては、上位４ビットと下位４ビットの組み合わせによって、数値および文字に対応した変換（数値化）が可能である。例えば、上位４ビットが「０１００」、下位４ビットが「０００１」の場合、それらの数値列は文字「Ａ」と判定される。このように、変換マップを予め保持しておき、その変換マップと数値列とを対応させることによって、数値列を文字に変換することができる。例えば、多重化情報として分離された数値列は、図２のＲＡＭ２０６に一時的に保持し、「シフトＪＩＳ」変換マップは、２次記憶装置２０７に、参照可能に予め保持しておくことができる。

多重化情報の分離部８０４によって、多重化情報として、「０１１０１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」の数値列が分離された場合を想定する。この数値列は、変換マップによって次のように変換される。

最初の上位４ビット「０１１０」、下位４ビット「１０００」は、文字「ｈ」に変換される。その次の上位４ビット「０１１０」、下位４ビット「０１０１」は、文字「ｅ」に変換される。その次の上位４ビット「０１１０」、下位４ビット「１１００」は、文字「ｌ」に変換される。その次の上位４ビット「０１１０」、下位４ビット「１１００」は、文字「ｌ」に変換される。最後の上位４ビット「０１１０」、下位４ビット「１１１１」は、文字「ｏ」に変換される。従って、数値列は、「ｈｅｌｌｏ」の文字列に変換されることになる。

このように多重化情報として抽出された文字列は、例えば、図２のディスプレイ２０８に表示させることができる。また、抽出された文字列がＵＲＬの場合には、ＣＰＵ２０４は、図２の無線ＬＡＮ２１０を介してネットワークに接続し、ブラウザを利用して、ディスプレイ２０８に、ＵＲＬ先の画面を表示することもできる。また、ＣＰＵ２０４は、そのＵＲＬが動画サイトであった場合には、ディスプレイ２０８に動画を表示し、スピーカー２１１によって音声を流すこともできる。

（１－６）多重化デコード処理
図１１は、本実施形態における多重化デコード処理のフローチャートである。

まず、Ｓ１１０１において、モバイル端末２０１における撮像部８０１（図８参照）の撮像センサは、記録物Ｃの記録画像を撮像する。本ステップにより、撮像画像（データ）が取得される。撮像部８０１によって撮像された光は色データに変換されてから、色調整部８０２に送信される。

Ｓ１１０２において、色調整部８０２は、撮像部８０１におけるフォトダイオードの出力データに対してホワイトバランス調整を実施することで、画像データを生成する。色調整部８０２によって生成された画像データは、多重化情報の分離装置２０３へ送信されるか、もしくは、２次記憶装置２０７に記憶される（図２参照）。

Ｓ１１０３において、多重化位置の検出部８０３は、Ｓ１１０２でホワイトバランスが調整された画像データに基づいて、情報が多重化されている位置を検出する。

Ｓ１１０４において、多重化位置の検出部８０３は、情報が多重化されているブロックの位置を検出できたか判定する。本ステップの判定結果が真の場合、Ｓ１１０５に進む。一方、本ステップの判定結果が偽の場合、Ｓ１１０１に戻り、次の撮像画像に対する処理を行う。

Ｓ１１０５において、多重化情報の分離部８０４は、Ｓ１１０２で生成された画像データと、Ｓ１１０３で検出されたブロックの位置と、に基づいてブロック毎の周波数特性を判定する。そして、多重化情報の分離部８０４は、その判定結果に基づいて、多重化されている多重化情報を数値データとして抽出する。多重化情報の分離部８０４によって抽出された数値データは、抽出データの解析部８０５へ送信される。或いは、この数値データは、ＲＡＭ２０６に一時的に記憶された後、抽出データの解析部８０５へ送信されてもよい。

Ｓ１１０６において、抽出データの解析部８０５は、多重化情報として抽出された数値データを解析し、該解析した数値データを文字などの出力情報に変換する。 Ｓ１１０７において、抽出データの解析部８０５は、抽出された全ての数値データに関して、解析部１４０５による出力情報への変換が完了したか判定する。本ステップの判定結果が真の場合、多重化デコード処理を終了する。一方、本ステップの判定結果が偽の場合、Ｓ１１０１に戻る。文字などに変換された出力情報は、ディスプレイ２０８などに表示することができ、また、カメラ付きモバイル端末（情報処理装置）２０１は、その出力情報に基づいてネットワークにアクセスすることができる。

＜本実施形態の効果＞
本実施形態では、オブジェクト認識に用いる教師データＤＢと、多重化情報を保持しているＤＢとが紐付けられている状態において、認識したオブジェクトに対応する多重化情報を自動で選択する。これにより、埋め込み側ユーザは負荷なく、オブジェクトに対して最適な多重化情報を多重化することができる。

また本実施形態では、選択したオブジェクトに対応する多重化情報を、認識したオブジェクトの領域に重畳する位置で埋め込む。これにより、埋め込み側ユーザは負荷なく、読み取り側ユーザが端末をかざす位置を考慮した多重化情報の埋め込みを実施することができる。

［第２の実施形態］
第１の実施形態では、オブジェクト認識結果と多重化情報とが１対１対応して紐付けされており、多重化情報は、紐付け情報を用いて選択される（もしくは非選択となる）。但し、オブジェクト認識結果に対する多重化情報の選択候補が複数存在する場合がある。複数の選択候補の中から最適な多重化情報を選択するために、本実施形態では、評価処理のステップを設ける。尚、この評価処理は、図３における情報選択部３０７によって実行される。

図１６は、第２の実施形態を説明するための図であり、ＤＢの具体例を示す。図１６（ａ）は、オブジェクト認識で用いる教師データのデータベースを示している。図１６（ｂ）は、多重化情報のデータベースである。図１６（ａ）は図１２（ａ）と同様であり、図１６（ｂ）は図１２（ｃ）と同様である。本実施形態は、図１６（ｃ）のような紐付け情報を保持するデータベースを用いる点で、前述の実施形態と異なる。

図１６（ｃ）では、紐付けＮｏ値Ｓ₁～Ｓ₉に対して多重化情報Ｎｏ値Ｂ₁～Ｂ₈が対応付けられている。紐付けＮｏ値Ｓ₂及びＳ₆は双方ともに、多重化情報Ｎｏ値Ｂ₂と対応している。オブジェクトＮｏ値Ｉ₁～Ｉ₅も同様に、紐付けＮｏ値や多重化情報Ｎｏ値と１対１対応していない。本実施形態では、オブジェクトの数、オブジェクトのサイズ、及びオブジェクトの位置を、紐付け情報を選択するための条件として使用する。なお、オブジェクトの数、オブジェクトのサイズおよびオブジェクトの位置は、オブジェクトの種類以外のオブジェクトに関わる情報と呼ぶこともある。尚、図１６（ｃ）に示すデータベース（テーブル）は例示であり、図中の項目の一部を保持しないデータベースを用いてもよいし、これらの項目以外の項目を保持するデータベースを用いてもよい。

紐付けＮｏ値Ｓ₁及びＳ₄はそれぞれ、同じオブジェクトＮｏ値Ｉ₃と対応しており、あるオブジェクトに対する紐付けＮｏ値を一意に求めるために、画像内のオブジェクト領域の位置に基づいて紐付けＮｏ値を区別する。本例では図１６（ｃ）に示すように、オブジェクトの位置について、所定の閾値Ｙ＿ＴＨを設定し、画像内のオブジェクトのＹ座標がこの閾値以上の場合は紐付けＮｏ値Ｓ₁であるとして、そうでない場合は紐付けＮｏ値Ｓ₄であるとした。尚、原点が画像左上であると仮定している。このような実施形態が有効なユースケースとして、大判ポスターが挙げられる。印刷物が大きい大判ポスターの場合、同じオブジェクトであっても読み取り側のユーザに依って、スマートフォン等の端末をかざす位置が異なる。仮に、大人は高い位置のオブジェクトに端末をかざす一方、子供は低い位置のオブジェクトに端末をかざすことを想定すれば、オブジェクトに埋め込む多重化情報は大人用と子供用とで分けることが有効である。同じ文字情報による多重化情報でも、大人用は漢字と平仮名である一方、子供用は平仮名だけ、といった使い分けが可能である。図１６（ｃ）の紐付けＮｏ値Ｓ₁及びＳ₄を、大人用と子供用とで使い分けることを想定する場合、紐付けＮｏ値Ｓ₄は大人用、紐付けＮｏ値Ｓ₁は子供用になる。

紐付けＮｏ値Ｓ₂及びＳ₉はそれぞれ、同じオブジェクトＮｏ値Ｉ₁と対応しており、あるオブジェクトに対する紐付けＮｏ値を一意に求めるために、画像内のオブジェクト領域のサイズ（オブジェクトサイズとする）に基づいて紐付けＮｏ値を区別する。本例では図１６（ｃ）に示すように、オブジェクトサイズについて、所定の閾値ＳＩＺＥ＿ＴＨを設定し、画像におけるオブジェクトサイズがこの閾値以上の場合は紐付けＮｏ値Ｓ₂であるとして、そうでない場合は紐付けＮｏ値Ｓ₉であるとしている。このような実施形態が有効なユースケースとして、同じオブジェクトに対する詳細な多重化情報と簡易な多重化情報との使い分けが挙げられる。具体的に説明すると、冊子のページ中で同じオブジェクトが大きく掲載されているか小さく掲載されているかに応じて、そのオブジェクトがページ中にメインで掲載されているか否かが分かる。大きく掲載されている場合は、詳細な多重化情報を選択する一方で、小さく掲載されている場合は、簡易な多重化情報を選択する。簡易な多重化情報であれば埋め込みデータ量が小さいことから、画像中の小さな領域に埋め込むことができる。ページ中にメインで掲載されていない場合は簡易な多重化情報を選択すれば、メインで掲載されるオブジェクトに紐付く多重化情報と重畳して埋め込んでしまうことを極力避けることができる。

紐付けＮｏ値Ｓ₇及びＳ₈はそれぞれ、同じオブジェクトＮｏ値Ｉ₅と対応しており、あるオブジェクトに対する紐付けＮｏ値を一意に求めるために、画像内のオブジェクト数に基づいて紐付けＮｏ値を区別する。本例では図１６（ｃ）に示すように、オブジェクト数について、所定の閾値ＮＵＭ＿ＴＨを設定し、画像内のオブジェクト数がこの閾値以上の場合は紐付けＮｏ値Ｓ₇であるとして、そうでない場合は紐付けＮｏ値Ｓ₈であるとしている。このような実施形態が有効なユースケースとして、群情報用の多重化情報と個情報用の多重化情報との使い分けが挙げられる。例えばオブジェクトを認識した結果、複数の服が近接で認識された場合は、その服のブランドの紹介といった群情報を多重化情報として埋め込む。一方で、１枚の服が認識された場合は、その服の製品名や値段といった個情報を多重化情報として埋め込む。

紐付けＮｏ値Ｓ₅のように、オブジェクトＮｏ値がブランクの紐付け情報が用意されても良い。この場合、オブジェクトの種類に依らず、任意のオブジェクトのオブジェクトサイズが所定の条件を満たす場合（Ｓｉｚｅ≧ＳＩＺＥ＿ＴＨ）に、多重化情報Ｂ₅が選択される。

なお、図１６（ｃ）を使用する場合、１つのオブジェクトが複数の紐付け情報を選択するための条件に一致する可能性もある。例えば、画像内にオブジェクトＮｏ「Ｉ₁」に相当し、かつ、サイズがＴＨ以上のオブジェクトがあったとする。このオブジェクトは、紐付けＮｏ「Ｓ₂」と「Ｓ₅」に該当することになる。このようなケースにおいて複数の紐付け条件から多重化情報を選択するために、評価処理のステップを設けることが有効である。評価手法としては、上記のような紐付け情報を選択するための条件に基づいて選択的に決定する手法の他に、重み付け総和を算出して関連度合いを評価する手法がある。オブジェクトＮｏ、オブジェクト数、オブジェクトサイズ、オブジェクト位置の重みをそれぞれα₁、α₂、α₃、α₄と設定する。式（８）に示すように、それぞれ条件に合致していた場合は、重みを累積加算して評価値を算出する。最終的な評価値が最も高い紐付けＮｏ値を選択し、その時の多重化情報Ｎｏ値を出力する。

Ｓ_Lは紐付けＮｏの各値を示している。Ｔは紐付けＮｏに対して与えられているオブジェクトＮｏ、オブジェクト数、オブジェクトサイズ、オブジェクト位置の条件に対して合致していれば１、合致していなければ－１を表す変数である。紐付けＮｏに対して与えられている条件について図１６（ｃ）中の「－」のようにブランクである場合は、Ｔ＝０であるとする。ＳＵＭの値が大きいものに紐付く多重化情報Ｎｏの値を、最終的な選択結果とする。

例えば紐付けＮｏ値Ｓ₂とＳ₅とは両方とも、同一のオブジェクトサイズ条件を持つが、紐付けＮｏ値Ｓ₂はオブジェクトＮｏ値Ｉ₁を指定する一方で、紐付けＮｏ値Ｓ₅は指定がない。指定がない場合はＴ＝０であるため、その分評価値は下がる。仮に全ての重みが同値で、認識したオブジェクトのオブジェクトＮｏ値がＩ₁であり、オブジェクトサイズがＳｉｚｅ≧ＳＩＺＥ＿ＴＨを満たしたとすれば、評価結果として対象のオブジェクトに対して、多重化情報Ｎｏ値Ｂ₂が選択される。しかし、認識したオブジェクトのオブジェクトＮｏ値がＩ₁でなかった場合は、対象のオブジェクトに対して、多重化情報Ｎｏ値Ｂ₅が選択される。

ＳＵＭに対して閾値を設定することも可能である。その場合、全ての紐付けＮｏ値に対応するＳＵＭが閾値を超えられなかった場合は、「非選択」を示す値を選択結果として出力する。「非選択」とされた対象オブジェクトについてのレイアウト処理は、第１の実施形態と同様である。

図１７は、本実施形態における情報選択処理のフローチャートである。尚、図１７の各ステップの内、第１の実施形態と同様のステップについては、説明を割愛する（図１３参照）。

Ｓ１７０１において、情報選択部３０７は、注目する紐付けＮｏ値に対応する評価値ＳＵＭを算出する。

Ｓ１７０２において、情報選択部３０７は、全ての紐付けＮｏ値に対する評価値ＳＵＭの中で最も大きい値を、ＳＵＭ＿ＭＡＸと設定する。そして、情報選択部３０７は、ＳＵＭ＿ＭＡＸが所定の閾値ＳＵＭ＿ＴＨ以上か判定する。本ステップの判定結果が真の場合、Ｓ１７０３に進む一方、該判定結果が偽の場合、Ｓ１３０６に進む。

Ｓ１７０３において、情報選択部３０７は、ＳＵＭ＿ＭＡＸとなる紐付けＮｏ値に対応する多重化情報Ｎｏ値を出力し、画像処理装置のＣＰＵは、該出力された値を取得する。

＜本実施形態の効果＞
本実施形態では、多様なユースケースに関わるオブジェクト情報や、多重化情報を紐付けるために、複数の評価項目と評価ステップとを用いて多重化情報を選択する。これにより、多様なユースケースに対して多重化情報が自動で選択されることになり、ユーザの負荷が軽減される。

また、評価ステップを用いて、オブジェクトの種類や大きさ、位置、数に依って、多重化情報をオブジェクト領域に重畳させて埋め込むか、または、オブジェクト領域に重畳させないで埋め込むか、を判定することもできる。ユーザが画像中のオブジェクトに対して多重化情報を重畳して埋め込みたいか否かがレイアウト時に考慮されることから、ユーザの負荷が軽減される。

［第３の実施形態］
第１の実施形態、第２の実施形態では、多重化情報を選択する処理や選択された多重化情報をレイアウトする処理が自動化されている。従って、埋め込み側ユーザは、多重化情報として何が選択されたか、選択された多重化情報がどこにレイアウトされたか知る術がない。そこで本実施形態では、前述の実施形態におけるフローにおいて、手動調整処理に関するステップを追加することで、埋め込み側ユーザにとって予期せぬ情報が選択されたり、レイアウトされたりすることを、未然に防止する。

図１８は、本実施形態における情報選択処理のフローチャートである。第２の実施形態における情報選択処理（図１７参照）と比べると、追加処理（Ｓ１８０１）が発生していることが分かる。尚、以下の説明では、第２の実施形態と重複する内容については説明を割愛する。

Ｓ１８０１において、情報選択部３０７は、選択結果として出力された多重化情報をユーザに提示する。詳しくは、情報選択部３０７は、選択結果として出力された多重化情報に関する内容を、記録装置や操作端末の表示装置（具体的にはパネル等）を介して表示する。ユーザにとって不都合な情報である場合は、処理を中断して、埋め込む多重化情報を選択する処理を再び実行することが可能である。また仮に、選択結果として、複数の多重化情報の候補が出力された場合は、ユーザは提示された複数の多重化情報の候補の中から最適な多重化情報を選択することが可能である。

図１９は、本実施形態における多重化情報レイアウト処理のフローチャートである。第１の実施形態における多重化情報レイアウト処理（図１４参照）と比べると、追加処理（Ｓ１９０１）が発生していることが分かる。尚、以下の説明では、第１の実施形態と重複する内容については説明を割愛する。

Ｓ１９０１では、多重化情報レイアウト部３１０は、レイアウト結果として出力された埋め込み位置情報をユーザに提示する。詳しくは、多重化情報レイアウト部３１０は、レイアウト結果として出力された埋め込み位置情報に関する内容を、記録装置や操作端末の表示装置（具体的にはパネル等）を介して表示する。ユーザにとって不都合な埋め込み位置である場合は、処理を中断して、埋め込み位置をユーザが微調整することや、埋め込む位置を選択する処理を再び実行することが可能である。また仮に、複数の埋め込み位置候補が出力された場合は、ユーザは提示された複数の埋め込み位置候補の中から最適な埋め込み位置を選択する事が可能である。埋め込み位置のユーザへの提示は、図１５に示すように多重化情報の埋め込み領域をオブジェクトの領域に重畳させて表示することが有効である。

＜本実施形態の効果＞
本実施形態では、多重化情報の自動選択処理や自動レイアウト処理に対して、手動確認のステップを設けている。これにより、ユーザにとって最適な多重化情報を確実に埋め込むことが可能となる。尚、ユーザによる手動ステップを設けるため、前述の実施形態と比べてユーザの負荷は増える。しかし、本実施形態では、多重化情報の候補や埋め込み位置の候補を提示しており、候補を何ら提示することなくＤＢ全体から多重化情報を選択させて埋め込む形態より、ユーザの負荷は軽減されている。

［第４の実施形態］
第１の実施形態、第２の実施形態では、紐付け情報としてオブジェクトＮｏ等を用いていた。通常、紐付け情報は手動で設定するが、自動で設定することも可能である。

例えば、オブジェクトＤＢ３０６に記憶する教師データを動画から取得することを想定する。動画内のあるフレームを抜き出して、該抜き出したフレームに対してオブジェクト認識を実施することが可能である。一方で、動画には音声が含まれているため、フレームの前後数秒間の音声を多重化情報として設定する事が可能である。フレームに写る人物をオブジェクト認識した場合、その「人物」の情報と、そのときの「音声」の情報とを、互いに紐付けることが可能である。このような、ある画像に対して、画像に写るオブジェクトの種類を示す情報と、多重化可能な情報とが一揃いで含まれるような情報に対しては、紐付け情報を自動的に生成することができる。なお、多重化可能な情報（本実施形態では音声）は、付加情報に対応する情報と呼ぶこともある。

別の例として、ＳＮＳ情報がある。ＳＮＳでは一般的に、写真と、コメントとが同時に記載されている。コメントを多重化情報として埋め込みたい場合は、写真に写る「人物」の情報と、そのときの「コメント」の内容とを、互いに紐付けることが可能である。

＜本実施形態の効果＞
本実施形態によれば、紐付け情報を自動で設定することが可能となるため、手動で設定する場合と比べて、ユーザの負荷を減らすことができる。

［その他の実施形態］
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。尚、本発明は、前述の実施形態の要素を適宜組み合わせてもよい。

３０５ オブジェクト認識部
３０７ 情報選択部
３１０ 多重化情報レイアウト部

Claims (11)

1. 撮像して解析することにより抽出可能な付加情報が埋め込まれた画像を生成するための画像処理装置であって、
   画像内のオブジェクトを認識する認識手段と、
   記憶手段に記憶された付加情報の中から、前記認識手段によって認識されたオブジェクトに紐付けられた付加情報を選択する選択手段と、
   前記選択手段によって選択された付加情報を埋め込む埋め込み領域の少なくとも一部が、前記認識手段によって認識されたオブジェクトの領域と重畳するように、該付加情報をレイアウトするレイアウト手段と、
   を有し、
   前記レイアウト手段は、複数のオブジェクトにそれぞれ対応する複数の埋め込み領域に付加情報をレイアウトする場合、前記複数の埋め込み領域が互いに重ならないように、前記複数の埋め込み領域の位置またはサイズを調整することを特徴とする画像処理装置。
2. 前記記憶手段には、前記認識手段で認識されたオブジェクトと、付加情報とを紐付けるための紐付け情報が記憶されていることを特徴とする請求項１に記載の画像処理装置。
3. 前記認識手段によって認識されたオブジェクトに紐付けられた付加情報が前記記憶手段に記憶されていない場合、前記選択手段による付加情報の選択は実行されないことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記レイアウト手段は、複数のオブジェクトにそれぞれ対応する複数の埋め込み領域に付加情報をレイアウトする場合、前記複数のオブジェクトのそれぞれの中心位置を基準に決定した前記複数の埋め込み領域のそれぞれの位置を、前記複数の埋め込み領域が互いに重ならないように、互いに反対方向に移動することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記レイアウト手段は、複数のオブジェクトにそれぞれ対応する複数の埋め込み領域に付加情報をレイアウトする場合、前記複数の埋め込み領域が互いに重ならないように、前記複数の埋め込み領域のサイズを調整することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
6. 前記認識手段によって認識されたオブジェクトに対応する、１または複数の付加情報の候補をユーザに提示する提示手段を更に有し、
   前記選択手段は、前記ユーザの入力に応じた付加情報を選択する
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記レイアウト手段によってレイアウトされた結果をユーザに提示する提示手段を更に有し、
   前記ユーザは、付加情報の埋め込み位置を選択しなおすか、または手動で調整できることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 撮像して解析することにより抽出可能な付加情報が埋め込まれた画像を生成するための画像処理装置の制御方法であって、
   画像内のオブジェクトを認識する認識ステップと、
   記憶手段に記憶された付加情報の中から、前記認識ステップにおいて認識されたオブジェクトに紐付けられた付加情報を選択する選択ステップと、
   前記選択ステップにおいて選択された付加情報を埋め込む埋め込み領域の少なくとも一部が、前記認識ステップにおいて認識されたオブジェクトの領域と重畳するように、該付加情報をレイアウトするレイアウトステップと、
   を有し、
   前記レイアウトステップは、複数のオブジェクトにそれぞれ対応する複数の埋め込み領域に付加情報をレイアウトする場合、前記複数の埋め込み領域が互いに重ならないように、前記複数の埋め込み領域の位置またはサイズを調整することを特徴とする画像処理装置の制御方法。
9. コンピュータに請求項８に記載の方法を実行させるためのプログラム。
10. 少なくとも１つのコンピュータを、請求項１乃至７の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
11. 少なくとも１つのコンピュータを、請求項１乃至７の何れか１項に記載された画像処理装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images