JP5998591B2

JP5998591B2 - 情報出力装置および情報検出装置

Info

Publication number: JP5998591B2
Application number: JP2012084580A
Authority: JP
Inventors: 洋紀矢澤
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-04-03
Filing date: 2012-04-03
Publication date: 2016-09-28
Anticipated expiration: 2032-04-03
Also published as: JP2013214223A

Description

本発明は、情報出力装置および情報検出装置に関する。

従来より、ボコードと呼ばれる光学タグが知られている（例えば非特許文献１参照。）。ボコードは、コードを表示する装置にフォーカスを合わせた場合には読み取ることはできないが、フォーカスを無限遠に合わせると検出可能となるコードである。
［先行技術文献］
［非特許文献］
［非特許文献１］Ankit Mohan, Grace Woo, Shinsaku Hiura, Quinn Smithwick, Ramesh Raskar、"Imperceptible Visual tags for Camera Based Interaction from a Distance"、[online]、[２０１２年３月２１日検索]、インターネット<URL:http://web.media.mit.edu/~ankit/bokode/＞

ところで、ボコードは情報出力装置から平行光で出力されるので視野が狭かった。このため、ボコードを斜め方向から検出することができなかった。

本発明の第１の態様においては、出力すべき情報を表すコードパターンを表示する表示面と、焦点が前記表示面上に一致するように配置され、前記表示面からの光を外部へと放射する魚眼レンズと、を備える情報出力装置を提供する。

本発明の第２の態様においては、第１の態様に係る情報出力装置を撮像し、フォーカスを無限遠に設定した画像データを生成する撮像部と、前記撮像部により生成された前記画像データから、前記情報出力装置から出力された前記コードパターンを抽出して情報を検出する情報検出部と、を備える情報検出装置を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係る情報提供システム１０を示す。本実施形態に係る情報出力装置１００および情報検出装置２００の機能構成を示す。本実施形態に係る表示面１０４が表示する複数のコードパターン１１０の一例を示す。本実施形態に係る情報検出装置２００が表示するコードパターンが示す情報の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本実施形態に係る情報提供システム１０を示す。情報提供システム１０は、情報出力装置１００と、情報検出装置２００−１，２００−２，２００−３とを備える。なお、情報検出装置２００−１，２００−２，２００−３をまとめて情報検出装置２００と表す場合もある。

情報出力装置１００は、ボコードと呼ばれる光学タグであり、情報を表すコードパターンを表示する。コードパターンは、一例として、バーコードおよびＱＲ（Quick Response）等の幾何学的な図形の組み合わせである。また、コードパターンは、文字および数字等であってもよい。

また、情報出力装置１００は、１種類のコードパターンを表示してもよいし、複数種類のコードパターンを同時に表示してもよい。また、情報出力装置１００は、複数のコードパターンを定期的に切り換えて表示してもよい。

情報出力装置１００は、フォーカスを略無限遠に設定して撮像した場合において撮像画像にコードパターンが表れる光学系により、コードパターンを表示する。即ち、情報出力装置１００は、フォーカスを無限遠より手前の被写体距離に設定して撮像した場合には、撮像画像にボケた状態のコードパターンが表れる光学系により、コードパターンを表示する。なお、情報出力装置１００の構成の一例については図２を参照して更に説明する。

情報検出装置２００は、情報出力装置１００を撮像して、情報出力装置１００により提供される情報を検出する。情報検出装置２００は、撮像機能および画像処理機能を備えれば、どのような機器であってもよい。情報検出装置２００は、情報出力装置１００により提供される情報を検出する専用の機器であってもよいし、ユーザにより持ち運ばれる情報機器（携帯電話機、タブレット型情報端末、小型コンピュータ等）あるいはデジタルカメラであってもよい。なお、焦点距離が短いレンズを有する場合には、情報検出装置２００は、レンズのＦ値を小さくするコンバータレンズを取り付け可能として、コードパターンを明るく撮像できるようにしてもよい。

情報検出装置２００は、一例として、情報出力装置１００を撮像して検出した情報をユーザに対して表示する。情報検出装置２００は、一例として、検出した情報に応じた処理を行ってもよい。より具体的には情報検出装置２００は、検出した情報に関連付けられた追加情報を、ネットワークを介して取得してもよいし、検出した情報に関連付けられた音楽および動画像等を再生してもよい。なお、情報検出装置２００の構成についても、図２を参照して更に説明する。

このような情報提供システム１０によれば、例えば商品に情報出力装置１００を取り付けることにより、当該商品に関連付けられた情報を、当該商品を参照しているユーザの情報検出装置２００に提供することができる。また、このような情報提供システム１０によれば、例えば野外の建築物および標識等に情報出力装置１００を取り付けることにより、当該建築物に関連付けられた情報およびその場所に関連付けられた情報等をユーザの情報検出装置２００に提供することができる。

図２は、本実施形態に係る情報出力装置１００および情報検出装置２００の機能構成の一例を示す。情報出力装置１００は、発光部１０２と、表示面１０４と、魚眼レンズ１０６と、制御部１０８とを備える。

発光部１０２は、表示面１０４に対して光を発光する。発光部１０２は、表示面１０４の裏面側から光を照射する。これに代えて、発光部１０２は、ビームスプリッタ等を介して、表示面１０４の表面側から光を照射してもよい。

表示面１０４は、発光部１０２からの光に応じて、出力すべき情報を表すコードパターンを表示する。表示面１０４は、一例として、透過型の表示装置であって、発光部１０２により裏面側から照射された光を透過してコードパターンを表示する。また、表示面１０４は、一例として、反射型の表示装置であってもよく、発光部１０２により表面側から照射された光を反射してコードパターンを表示してもよい。なお、表示面１０４は、固定のコードパターンがプリントされたフィルムであってもよいし、制御部１０８からの指示に応じてコードパターンを変更可能な液晶表示装置等であってもよい。また、発光部１０２および表示面１０４は一体の構成であってもよい。

魚眼レンズ１０６は、半球面を平面に写像するレンズである。魚眼レンズ１０６は、表示面１０４からの光を外部へと放射する。さらに、魚眼レンズ１０６は、焦点が表示面１０４上に一致するような位置に配置される。即ち、魚眼レンズ１０６は、表示面１０４までの距離が、焦点距離に一致するように配置される。これにより、魚眼レンズ１０６は、表示面１０４からの光を無限遠からの光と同様な略平行光として外部に放射することができる。魚眼レンズ１０６の射影方式は、一例として、等距離射影方式、等立体角射影方式、あるいは正射影方式等である。

制御部１０８は、発光部１０２および表示面１０４の動作を制御する。制御部１０８は、一例として、電源から電力を受けて、発光部１０２を発光させる。制御部１０８は、一例として、外部からコードパターンの供給を受けて表示面１０４にコードパターンを表示させてもよい。制御部１０８は、一例として、外部からの制御に応じて、表示面１０４に表示させるべきコードパターンを変更してもよい。制御部１０８は、一例として、ワイヤレス通信によりコードパターンデータを取得して表示面１０４に表示させてもよい。

これにより、情報出力装置１００は、フォーカスを無限遠に設定した情報検出装置２００によりコードパターンを撮像させることができるとともに、魚眼レンズ１０６を介してコードパターンを放射することにより視野を広くすることができる。

情報検出装置２００は、撮像部２０２と、操作部２１０と、情報検出部２１２と、画像表示部２１４とを備える。撮像部２０２は、通常動作、すなわち被写体を撮像する場合、操作部２１０からの撮像指示信号を受けたことに応じて、被写体の画像データを生成する。また、撮像部２０２は、情報出力装置１００を撮像する場合、操作部２１０からの撮像指示信号を受けたことに応じて、フォーカスを無限遠に設定した画像データ、すなわちコードパターン以外がボケた画像データを生成する。

撮像部２０２は、レンズ部２０４と、撮像素子２０６と、画像処理部２０８とを有する。レンズ部２０４は、被写体からの光（被写体光）を集光する。撮像素子２０６は、レンズ部２０４により集光された被写体光を撮像面により受光して、被写体光に応じたＲＡＷ画像データを生成する。

画像処理部２０８は、一例として、撮像素子２０６により生成されたＲＡＷ画像データに対してホワイトバランス処理、ガンマ補正、画像圧縮処理などの画像処理をし、画像データを生成する。画像処理部２０８は、情報出力装置１００を撮像した場合、生成した画像データを画像表示部２１４に出力し、情報出力装置１００以外を撮像した場合、生成した画像データを情報検出部２１２に出力する。

情報検出部２１２は、撮像部２０２により生成された画像データから、情報出力装置１００から出力されたコードパターンを抽出して情報を検出する。情報検出部２１２は、一例として、例えば特定の幾何学的な図形を検出することにより、画像データからコードパターンを抽出する。情報検出部２１２は、一例として、抽出したコードパターンを解析し、解析したコードパターンが示すデータ列等を検出する。

画像表示部２１４は、画像処理部２０８により画像処理された画像データを出力画像として表示する。さらに、画像表示部２１４は、情報検出部２１２によりコードパターンから検出された情報を表示する。この場合において、画像表示部２１４は、出力画像に、情報検出部２１２が抽出した情報に応じた画像を重畳して表示してもよい。

図３は、本実施形態に係る表示面１０４が表示する複数のコードパターン１１０の一例を示す。情報出力装置１００が有する表示面１０４は、一例として、それぞれ個別の情報を表す複数のコードパターン１１０を配列して表示する。表示面１０４は、複数のコードパターン１１０を、例えば図３に示すように、縦と横との行列状に配列して表示する。また、表示面１０４は、複数のコードパターン１１０を魚眼レンズ１０６の光軸を中心に円周状に配列して表示してもよい。このように複数のコードパターン１１０を表示する場合、表示面１０４は、１つ１つのコードパターン１１０を、情報検出装置２００が少なくとも１つのコードパターン１１０を画角内に収めて撮像できるサイズで表示する。

情報出力装置１００は、魚眼レンズ１０６を介して放射することにより視野を広くしているとともに、表示面１０４の像を略平行に外部に放射して出力する。このため、情報検出装置２００は、画角内に表示面１０４の全体を収めて撮像することはできず、表示面１０４のうちの一部分の領域しか撮像することができない。従って、例えば情報出力装置１００が、表示面１０４の全表示領域に１つのコードパターンを表示した場合、情報検出装置２００は、コードパターンの一部分しか取得できず、コードパターンが示す情報を検出できなかった。

しかし、情報出力装置１００は、表示面１０４に複数のコードパターン１１０を配列して表示する。更に、情報出力装置１００は、複数のコードパターン１１０のそれぞれの大きさを、情報検出装置２００の画角に対応する大きさ以下として表示する。これにより、情報出力装置１００は、情報検出装置２００に、複数のコードパターン１１０のうちの少なくとも１つのコードパターンから情報を検出させることができる。

また、この場合において、情報出力装置１００は、それぞれが同一の情報を表す複数のコードパターン１１０を表示してもよい。これにより、情報出力装置１００は、視野の全範囲から同一の情報を検出させることができる。また、情報出力装置１００は、それぞれが異なる情報を表す複数のコードパターン１１０を表示してもよい。これにより、情報出力装置１００は、検出する位置毎に異なる情報を検出させることができる。

また、複数のコードパターン１１０を表示する場合において表示面１０４は、魚眼レンズ１０６により屈折する方向に対応した情報を表すコードパターン１１０を表示してもよい。表示面１０４は、一例として、表示面１０４上の位置（例えば、右端、左端、上、下、中央の位置）に応じて異なるコードパターンを表示してもよい。

例えば、表示面１０４の右端の位置に表示されたコードパターンは情報出力装置１００に対して左側にある情報検出装置２００−３に与えられる。また、表示面１０４の中央の位置に表示されたコードパターンは情報出力装置１００に対して前側にある情報検出装置２００−１に与えられる。また、表示面１０４の左端の位置に表示されたコードパターンは情報出力装置１００に対して右側にある情報検出装置２００−２に与えられる。これにより、情報出力装置１００は、当該情報出力装置１００を撮像する方向に応じて異なる情報を情報検出装置２００に取得させることができる。

また、表示面１０４は、一部分から情報を抽出できるコードパターンを表示してもよい。情報出力装置１００は、魚眼レンズ１０６を介して放射することにより視野を広くしているとともに、表示面１０４の像を平行に外部に放射して出力する。このため、情報検出装置２００は、情報出力装置１００が表示面１０４の全表示領域に１つのコードパターンを表示した場合、コードパターンの一部分しか画角内に収めることができず、コードパターンの全体を撮像できない。

しかし、一部分のみから情報を検出できるコードパターンを表示面１０４に表示することにより、情報出力装置１００は、少なくとも情報検出装置２００の画角に対応する部分から情報を検出できるコードパターンを表示することができる。これにより、情報出力装置１００は、情報検出装置２００に、コードパターンの少なくとも一部分から情報を検出させることができる。

また、表示面１０４は、魚眼レンズ１０６により屈折する方向に対応した色のコードパターンを表示してもよい。情報出力装置１００は、一例として、表示面１０４の領域毎に異なる色のフィルタを備え付け、発光部１０２により白色光を発光させる。または、情報出力装置１００は、制御部１０８により表示面１０４の領域毎に異なる色でコードパターンを発光表示させてもよい。これにより、コードパターンが表示面１０４の領域毎に異なる色で表示されるので、情報出力装置１００は、情報検出装置２００に当該情報出力装置１００を撮像している方向を認識させることができる。

また、表示面１０４は、魚眼レンズ１０６により生じる歪を予め逆補正したコードパターンを表示してもよい。例えば、制御部１０８は、レンズ情報として魚眼レンズ１０６の屈折率を取得し、当該レンズ情報から魚眼レンズ１０６により生じる歪を演算する。制御部１０８は、当該演算結果に基づいて、コードパターンを魚眼レンズ１０６により生じる歪とは逆方向に歪ませる逆補正し、当該逆補正したコードパターンを表示面１０４に表示させる。

これにより、情報出力装置１００は、情報検出装置２００に魚眼レンズ１０６により生じる歪を補正させずに情報を検出させることができる。この結果、情報出力装置１００は、情報検出装置２００の構成を簡易にさせることができる。

また、魚眼レンズ１０６を介して得られる像の周縁は、像の中心に比べて暗い。このため、制御部１０８は、発光部１０２の光を表示面１０４の周縁に行くほど強くしてもよい。これにより、情報出力装置１００は、表示面１０４の周縁に表示されるコードパターンと表示面１０４の中心に表示されるコードパターンとの明るさを均等にすることができる。

図４は、本実施形態に係る情報検出装置２００が表示するコードパターンが示す情報の一例を示す。情報検出装置２００は、一例として、コードパターンから抽出した情報２１６を、被写体の画像２１８に重畳して画像表示部２１４に表示する。これにより、情報検出装置２００は、コードパターンから抽出した情報２１６が、被写体の画像２１８で示された被写体に関する情報であることを示すことができる。

また、情報検出装置２００は、情報検出部２１２がコードパターンから抽出した情報２１６のみを画像表示部２１４に表示させてもよい。これにより、情報検出装置２００は、重畳させる処理を実行しない分、コードパターンから抽出した情報２１６の表示処理を簡素にすることができる。

また、情報検出装置２００は、情報出力装置１００以外を撮像した被写体の画像２１８と、情報出力装置１００を撮像して検出したコードパターンから抽出した情報２１６とを組み合わせる。そして、情報検出装置２００は、コードパターンから抽出した情報２１６に、被写体に関連する情報を加えて画像表示部２１４に表示してもよい。

例えば、情報検出装置２００は、被写体の画像２１８が光学メディア再生装置であった場合、情報検出部２１２によりコードパターンから抽出した情報２１６に、同メーカの異なるグレードの光学メディア再生装置の情報を加えて画像表示部２１４に表示する。これにより、情報検出装置２００は、１つのコードパターンと被写体画像とを組み合わせることにより、１つのコードパターンで多様な情報を取得できる。

また、撮像部２０２は、情報出力装置１００を複数回撮像して複数の画像データを生成する。そして、この場合、情報検出部２１２は、複数の画像データから１つのコードパターンを抽出して情報を検出してもよい。一例として、情報検出装置２００は、撮像部２０２により情報出力装置１００を複数回撮像した複数の画像データを生成して情報検出部２１２に出力し、情報検出部２１２により複数の画像データを組み合わせて新たな１つのコードパターンとし、当該コードパターンから抽出した情報を画像表示部２１４に表示する。

これにより、情報検出装置２００は、それぞれの画像データの品質が悪い場合であっても、コードパターンを確実に抽出して情報を検出することができる。この結果、情報検出装置２００は、解像度が低い情報検出装置２００であってもコードパターンを確実に抽出して情報を検出することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０情報提供システム、１００情報出力装置、１０２発光部、１０４表示面、１０６魚眼レンズ、１０８制御部、１１０コードパターン、２００情報検出装置、２０２撮像部、２０４レンズ部、２０６撮像素子、２０８画像処理部、２１０操作部、２１２情報検出部、２１４画像表示部、２１６コードパターンから抽出した情報、２１８被写体の画像

Claims

出力すべき情報を表すコードパターンを表示する表示面と、
焦点が前記表示面上に一致するように配置され、前記表示面からの光を外部へと放射する魚眼レンズと、
を備え、
前記表示面は、前記魚眼レンズにより生じる歪を予め逆補正したコードパターンを表示する情報出力装置。
前記表示面に対して光を発光する発光部を更に備え、
前記表示面は、前記発光部からの光に応じて前記コードパターンを表示する
請求項１に記載の情報出力装置。
前記表示面は、それぞれ個別の情報を表す複数のコードパターンを配列して表示する
請求項１または２に記載の情報出力装置。
前記表示面は、前記魚眼レンズにより屈折する方向に対応した情報を表すコードパターンを表示する
請求項３に記載の情報出力装置。
前記表示面は、一部分から情報を抽出できるコードパターンを表示する
請求項１または２に記載の情報出力装置。
前記表示面は、前記魚眼レンズにより屈折する方向に対応した色のコードパターンを表示する
請求項１から５の何れか１項に記載の情報出力装置。
請求項１から６の何れか１項に記載の前記情報出力装置を撮像し、フォーカスを無限遠に設定した画像データを生成する撮像部と、
前記撮像部により生成された前記画像データから、前記情報出力装置から出力された前記コードパターンを抽出して情報を検出する情報検出部と、
を備える情報検出装置。
前記撮像部は、前記情報出力装置を複数回撮像して複数の前記画像データを生成し、
前記情報検出部は、前記複数の画像データから１つのコードパターンを抽出して情報を検出する
請求項７に記載の情報検出装置。