JP5976240B2 - 送信装置、受信装置及び情報処理システム - Google Patents

送信装置、受信装置及び情報処理システム Download PDF

Info

Publication number
JP5976240B2
JP5976240B2 JP2015559897A JP2015559897A JP5976240B2 JP 5976240 B2 JP5976240 B2 JP 5976240B2 JP 2015559897 A JP2015559897 A JP 2015559897A JP 2015559897 A JP2015559897 A JP 2015559897A JP 5976240 B2 JP5976240 B2 JP 5976240B2
Authority
JP
Japan
Prior art keywords
image
unit
data
code
code image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015559897A
Other languages
English (en)
Other versions
JPWO2015115294A1 (ja
Inventor
孝介 八木
孝介 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP5976240B2 publication Critical patent/JP5976240B2/ja
Publication of JPWO2015115294A1 publication Critical patent/JPWO2015115294A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G06K7/10871Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels randomly oriented data-fields, code-marks therefore, e.g. concentric circles-code
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114Indoor or close-range type systems
    • H04B10/116Visible light communication

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Communication System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は送信装置、受信装置及び情報処理システムに関し、特に送信装置で表示されたコード画像を受信装置で撮像することで行われる情報の伝達に関する。
携帯機器の高性能化に伴い、携帯電話回線、無線ネットワークを通じた情報の交換が行われるようになってきた。一方で、病院、飛行機内又は混雑した場所などの電波の使用を避けるべき状況も存在する。また、機器の不対応又はネットワーク設定の煩雑さからネットワークを使用しない場合もあり、ネットワークへの抵抗感又は懸念からネットワークを使用しない場合もある。ネットワークを使用しない簡便な情報の取得手段としてバーコード又は2次元コードの読み取りも良く使われている。
現在良く使われているQRコード(登録商標)では1つのコードでおよそ2000文字を転送することが可能であるが、写真や図形情報を転送するには転送可能なデータ量が十分でない。
そこで、特許文献1〜3に示したように、色多重又は時間多重により転送データ量を増大する方法が考えられている。
特許文献1に開示された可視光無線通信システムでは、データ送信装置が、送信すべきデータをコードに変換し、そのコードを2次元配列したセルから成るフレームを生成し、そのフレームを表示画面に表示している。データ受信装置は、表示されたフレームを撮影し、撮影したフレームを構成するセルに対応する2次元配列のコードを、変換前のデータに戻す。つまり、データ受信装置は、表示されたフレームを撮影して、2次元配列のコードを変換前のデータに戻す。そのような処理において、フレームを構成するセルの中に補正セルを挿入する方法、又は補正セルからなる補正フレームを挿入する方法で、背景光の特性又はそのばらつきの影響を低減し、又は光学デバイスの特性又はそのばらつきの影響を低減することで正確なデータ復号を可能にしている。
特許文献2に開示された通信方法では、データ送信側が転送したい2進数データを時間とともに色が変化する同心円色成分コードに変換し、動画としてモニタに表示している。データ受信側は、カメラ付き携帯端末装置のカメラで同心円色成分コードを連続撮影し、各トラックの色情報から2進数データを取り出す。
特許文献3に開示された情報処理装置では、第1の情報処理装置が、複数の第1の図形画像(例えば2次元コード)を生成して順次表示する。また、第1の情報処理装置は、他の情報処理装置において順次表示される第2の図形画像を検出し、第2の図形画像で表される入力データを取得する。第2の図形画像を検出するための検出領域は、第1の図形画像の表示のための表示領域の一部に形成されている。
特許第4749856号公報(段落0033〜0036、図1、図2) 特開2007−13786号公報(段落0032〜0044、図8) 特許第4200435号公報(段落0088〜0099、図7)
表示画面のリフレッシュレートとカメラの走査レートとは、機器によって異なる場合がある。また、リフレッシュレートが同じであっても、実際の使用時には位相がそろっているとは限らない。そのため、表示書き換え途中の画面が撮影されてしまいコードを正確に読み取れないことがある。そのため、特許文献1〜3に示した方式では転送に失敗する事があり、より信頼性の高い転送方式が望まれる。
また、手振れ、撮影期間の不足などで一部のデータが破損した場合に、すべてのデータが無効となってしまう。そこで、より堅牢性が高い仕組み、即ちデータの破損時にデータを部分的に取り出したり、再読込みしたりできる仕組みが必要となる。
また、特許文献1〜3の方式では、利用者がカメラをある程度の時間かざす必要がある。しかし、撮影期間又は撮影タイミング等が利用者にわからない場合には、かざすタイミングが適切でなく、データの読み取りを的確に行うことができないことがある。
そこで、本発明では送信装置から受信装置に効率よく情報を転送し、また利用者が簡単にデータ読み取りを行うことが出来るようにすることを目的とする。
本発明の一つの態様の送信装置は、
一連のデータを記憶する送信データ記憶部と、
前記送信データ記憶部に記憶されている前記一連のデータを複数のデータ部分に分割し、該分割により得られたデータ部分の各々をコード画像に変換し、当該変換により生成されたそれぞれのデータ部分に対応するコード画像を順次切り換えながら出力するコード生成部と、
識別画像を生成して出力する識別画像生成部と、
前記コード生成部で生成された前記コード画像と、前記識別画像生成部から出力された前記識別画像とを合成して合成画像を生成する合成部と、
前記合成部で生成された合成画像を連結して前記一連のデータに対応する動画を作成する画像連結部と、
前記画像連結部で作成された動画を再生して出力する動画再生部と、
前記動画再生部で再生された動画を画面に表示する表示部とを備え、
前記動画再生部から出力される前記動画においては、前記コード画像が順次切り換わり、該切り換わりのタイミング以外のタイミングに前記識別画像が現れ
前記画面における表示が、点順次走査方式又は線順次走査方式で行われ、
前記識別画像が、前記点順次走査方式における副走査方向又は前記線順次走査方式における走査方向において、当該識別画像と合成された前記コード画像よりも前に始まり後に終わる図形であ
ことを特徴とする。
本発明の別の態様の送信装置は、
一連のデータを記憶する送信データ記憶部と、
前記送信データ記憶部に記憶されている前記一連のデータを複数のデータ部分に分割し、該分割により得られたデータ部分の各々をコード画像に変換し、当該変換により生成されたそれぞれのデータ部分に対応するコード画像を順次切り換えながら出力するコード生成部と、
前記コード生成部で生成されたコード画像を連結して動画を作成する第1の画像連結部と、
前記第1の画像連結部で作成された動画を再生して出力する第1の動画再生部と、
識別画像を生成して出力する識別画像生成部と、
前記識別画像生成部で生成された識別画像を連結して動画を作成する第2の画像連結部と、
前記第2の画像連結部で作成された動画を再生して出力する第2の動画再生部と、
前記第1の動画再生部で作成された動画と前記第2の動画再生部で作成された動画を合成して、合成映像を生成して出力する合成部と、
前記合成部で生成された合成映像を画面に表示する表示部とを備え、
前記合成部から出力される前記合成映像においては、前記コード画像が順次切り換わり、該切り換わりのタイミング以外のタイミングに前記識別画像が現れ
前記画面における表示が、点順次走査方式又は線順次走査方式で行われ、
前記識別画像が、前記点順次走査方式における副走査方向又は前記線順次走査方式における走査方向において、当該識別画像と合成された前記コード画像よりも前に始まり後に終わる図形であ
ことを特徴とする。
本発明の一つの態様の受信装置は、
コード画像が順次切り換わり、該切り換わりのタイミング以外のタイミングに識別画像が現れる映像を表示した画面を撮像し、当該画面の画像を順次取得する撮像部と、
前記撮像部により順次取得された画像を蓄積する映像バッファと、
前記映像バッファに蓄積された画像を順次読み出す読出し部と、
前記読出し部により順次読み出される画像中の前記識別画像を順次検出する識別画像検出部と、
前記識別画像検出部により検出される前記識別画像と同じタイミングで現れた前記コード画像を復号し、対応するデータ部分を順次取得するコード復号部と、
前記コード復号部により順次取得されるデータ部分を順次書き込み、順次書き込まれるデータ部分を連結して一連のデータを構成する受信データ記憶部と
を備え
前記画面における表示が、点順次走査方式又は線順次走査方式で行なわれるものであり、
前記識別画像検出部は、前記識別画像が、前記点順次走査方式における副走査方向又は前記線順次走査方式における走査方向において、当該識別画像と合成されている前記コード画像よりも前に始まり後に終わる図形であると判定したときに、当該識別画像と合成されているコード画像が復号に適したものであると判定す
ことを特徴とする。
本発明によれば、受信装置の簡単な取り扱いで、送信装置から受信装置に情報を転送する際の転送効率を向上することができる。
本発明の実施の形態1に係る情報処理システムの構成を概略的に示す概観図である。 実施の形態1における送信装置の構成を概略的に示すブロック図である。 実施の形態1におけるコード画像とタイミングを示すマークとの合成を説明するための模式図である。 (A)〜(C)は、実施の形態1において、緑チャンネルに割り当てられたタイミングマーク、赤チャンネルに割り当てられた第1コード、及び青チャンネルに割り当てられた第2コードの表示タイミングを示すタイミングチャートである。 実施の形態1における受信装置の構成を概略的に示すブロック図である。 タイミングマークの画像の各部の寸法の一例を示す図である。 (A)〜(C)は、実施の形態1において、送信装置の表示部によるタイミングマーク及びコード画像の表示のタイミングと、受信装置の撮像部の撮像のフレーム期間の一例を示すタイミングチャートである。 実施の形態1における送信装置において、転送データに基づいて映像を表示する動作を示すフローチャートである。 図8のステップS12の詳細を示すフローチャートである。 実施の形態1における受信装置において、撮像された映像から転送データを取得して、記憶する動作を示すフローチャートである。 (A)〜(M)は、実施の形態1におけるタイミングマークの変形例を示す概略図である。 (A)及び(B)は、表示部における表示のフレーム期間と、撮像部における撮像のフレーム期間とがずれている場合の、表示画像及び撮像画像の例を示す図である。 (A)〜(D)は、表示フレーム期間内の表示画像の変化を示す図である。 (A)〜(C)は、表示フレーム期間内の表示画像の変化を示す図である。 (A)〜(C)は、表示フレーム期間内の表示画像の変化を示す図である。 本発明の実施の形態2における送信装置の構成を概略的に示すブロック図である。 本発明の実施の形態3における送信装置の構成を概略的に示すブロック図である。 実施の形態3における受信装置の構成を概略的に示すブロック図である。 本発明の実施の形態4における送信装置の構成を概略的に示すブロック図である。 実施の形態4における受信装置の構成を概略的に示すブロック図である。 本発明の実施の形態5における送信装置の構成を概略的に示すブロック図である。 実施の形態5における受信装置の構成を概略的に示すブロック図である。 本発明の実施の形態5及び6で用いられる、タイミングマークとコード画像とのレイアウトを示す概略図である。 (A)〜(C)は、実施の形態5及び6において、送信装置の表示部に表示される映像の時間的な変化を示す概略図である。 本発明の実施の形態6における送信装置の構成を概略的に示すブロック図である。 実施の形態6における受信装置の構成を概略的に示すブロック図である。 本発明の実施の形態7における送信装置の構成を概略的に示すブロック図である。 実施の形態7における受信装置の構成を概略的に示すブロック図である。 本発明の実施の形態8における、異なる種類のタイミングマークを付したQRコードのシーケンスの一例を示す図である。 実施の形態8における送信装置の構成を概略的に示すブロック図である。 実施の形態8における受信装置の構成を概略的に示すブロック図である。
図1は、本発明に係る情報処理システム1の一例を示す。
図1に示す情報処理システム1は、送信装置100と受信装置200とを備える。
情報処理システム1は、送信装置100から受信装置200にデータファイルDを転送する。送信装置100は表示画面131に画像を表示する。そして、受信装置200はその画像を撮影する。転送されるデータファイルDは、文書ファイル、画像ファイル、動画ファイル、音声ファイル又は実行ファイルなどのいずれであっても良い。音声ファイル又は実行ファイルは、例えば、QRコード等の画像データに変換されている。つまり、どのようなデータも、例えば、QRコード等の画像データに変換される。
本発明では、送信装置100において、転送されるデータファイルDが複数のデータ部分に分割され、各データ部分が1又は2以上のコード画像Dに変換されて、表示画面131に順次表示される。
受信装置200は、送信装置100の表示画面131に表示されるコード画像Dを順次撮像する。そして、受信装置200は、コード画像Dを復号化することでデータ部分を復元する。受信装置200は、復元されたデータを連結することで、元のデータファイルDを復元する。
上記のコード画像Dは、例えば、QRコード等の二次元バーコード、又は一次元のバーコードと呼ばれるものである。
送信装置100の表示のフレームレートと、受信装置200の撮像のフレームレートとは互いに同じであっても良く、異なっていても良い。
実施の形態1.
<送信装置100の構成>
図2は、実施の形態1における送信装置100の構成を概略的に示すブロック図である。
図2に示す送信装置100は、マーク生成部106、データ処理部110、合成部122及び表示部130を備える。また、送信装置100は、送信データ記憶部102、基準クロック発生部104、映像バッファ126及び動画再生部128を備えることができる。
送信データ記憶部102は、複数のデータファイルDを記憶している。
「データファイル」とは、例えば、1かたまりのデータ等である。なお、データファイルDの容量が大きい場合には、例えば、複数のQRコード等を用いてデータファイルDのデータを送信装置100から受信装置200に送ることがある。
送信データ記憶部102は、記憶している送信データDをデータ処理部110に与える。送信データDは、例えば、送信データ記憶部102の記憶しているデータファイルDである。また、送信データDは、例えば、送信データ記憶部102の記憶されているデータファイルDの容量が大きい場合には、データファイルDをデータ処理部110への送信に適した容量に分割されたものである。
基準クロック発生部104は、クロック信号CLを発生する。そして、基準クロック発生部104は、クロック信号CLをマーク生成部106及びデータ処理部110に与える。
マーク生成部106は、基準クロック発生部104で発生されたクロック信号CLに同期して、タイミングを示すマーク(タイミングマーク)Dを生成する。また、マーク生成部106は、タイミングマークDを記憶する画像記憶部107を有している。
タイミングマークDは、識別画像である。つまり、画像中にタイミングマークDが表示されている場合には、例えば、同時に表示されているQRコード等の画像は適切な情報を含むものであると認識される。逆に、画像中にタイミングマークDが表示されていない場合には、例えば、同時に表示されているQRコード等の画像は適切な情報を含まないものであると認識される。「適切な情報を含まない」とは、正しくデータを復号できないことである。
画像記憶部107は、タイミングマークDを含む画像プレーンを記憶する。
また、画像記憶部107は、タイミングマークDを含まないフレームのために、タイミングマークDを含まない画像プレーンを記憶する。
タイミングマークDは後述のようにコード画像Dと合成される。タイミングマークDは、合成部122で合成されたコード画像Dが復号するのに適したものであるか否かを識別するための識別画像として用いられる。このため、マーク生成部106は、「識別画像生成部」とも呼ばれる。ここで、「合成」とは、異なるデータを1つの画像データとして扱うことをいう。例えば、コード画像DとタイミングマークDとを1つのフレームに画像として表わすことである。
タイミングマークDは、例えば、階調値(画素値)が取り得る値の最大値を取る画素及び最小値を取る画素から成る画像である。階調値が8ビットで表される場合には、上記の最大値は「255」であり、最小値は「0」である。
図3は、コード画像DとタイミングマークDとの合成を説明するための模式図である。コード画像Dは、例えば、QRコード等を表わした画像である。つまり、データファイルDをコード化したものである。コード画像Dは、送信データDから生成される。
タイミングマークDは、例えば図3に示されるように、階調値が上記の最大値を有する画素から成る矩形の領域(クロスハッチングで示す)で構成されたものである。つまり、図3に示すタイミングマークDは、最大階調値の矩形の画像である。その場合には、上記の領域外の画素の階調値は最小値となる。図3では、タイミングマークDは、緑色(G)のデータのみで構成されている。
また、コード画像Dは、赤色(R)のデータ及び青色(B)のデータで構成されている。図3に示す例では、緑色(G)のタイミングマークDと赤色(R)及び青色(B)のコード画像Dとが1フレームの画像として合成されている。
図3で示すように、色データでコード画像Dを示す場合には、赤色(R)のデータ(コード画像D)と青色(B)のデータ(コード画像D)とを異なるコードとすることができる。つまり、1つの画像(表示フレーム)で、2個のデータを送ることができる。これにより、データファイルDの転送を高速化することができる。
データ処理部110は、送信データ記憶部102に記憶されている複数のデータファイルDのうちのいずれかを選択する。データ処理部110は、選択したデータファイルDを複数のデータ部分に分割する。つまり、データ処理部110は、選択したデータファイルDを受け取りやすい容量のデータに分割する。そして、データ処理部110は、分割されたデータ(送信データD)を受け取る。
データ処理部110は、分割された各データ部分を2つの図形コードに変換する。
図3では、分割された各データ部分は赤色(R)で表示される図形コードと青色(B)で表示される図形コードとに変換されている。データ処理部110は、図形コードからコード画像Dを生成する。コード画像Dは、図形コードを描画した際に画像となるように変換したものである。
コード画像Dは、例えば、階調値(画素値)が取り得る値の最大値を取る画素と最小値を取る画素から成る画像である。
データ処理部110は、コード生成部116を備える。コード生成部116は、第1コード生成部116A及び第2コード生成部116Bを備えることができる。
データ処理部110は、読出し部112及びデータ分割部114を備えることができる。
読出し部112は、送信データ記憶部102に記憶されているデータファイルDを複数のデータ部分(ここでは「ショット」という)に分割する。この分割されたデータ部分(ショット)は、上述のように、データファイルDをデータ処理部110への送信に適した容量に分割されたものである。つまり、送信に適した容量に分割された1データ部分を「ショット」とよぶ。送信データDは、1ショットである。なお、以下では、説明を簡単にするために、図4(A)で示す1ショット期間Tで表示される画像分のデータを「1ショット」として説明する。つまり、図3で説明するように色の画像に分けて2つのQRコード等を表示する場合には、1ショットは、2つのQRコード等の画像で表示される。また、図6で説明するように色の画像に分けずに1つのQRコード等を表示する場合には、1ショットは、1つのQRコード等の画像で表示される。
読出し部112は、データファイルDの分割により生成された複数のショット(ショットのデータD)を、順にデータ分割部114に送る。また、読出し部112は、後述する同期信号SYをマーク生成部106に送る。
データ分割部114は、読出し部112により読み出された各ショットのデータDを、さらに2つのデータ部分(ここでは「データユニットD」という)に分割する。ここで「2つのデータ部分」とは、色チャンネルごとで表示される異なるデータ部分である。実施の形態1では、赤チャンネルで表示される第1データユニットD51と、青チャンネルで表示される第2データユニットD52とである。データ分割部114は、第1のデータ部分(第1データユニットD51)を第1コード生成部116Aに与える。データ分割部114は、第2のデータ部分(第2データユニットD52)を第2コード生成部116Bに与える。
第1コード生成部116Aは、データ分割部114から与えられた第1データユニットD51を、対応するコード画像(第1コード画像)D31に変換する。即ち、第1データユニットD51を図形コードに変換し、さらにこの図形コードを、これに対応するコード画像(第1コード画像)D31に変換する。第1コード生成部116Aは、コード画像(第1コード画像)D31を出力する。なお、実際には第1コード画像D31を含む画像プレーンを出力する。しかし、図2では、簡略して、第1コード生成部116Aの出力を第1コード画像D31として記載する。
第2コード生成部116Bは、データ分割部114から与えられた第2データユニットD52を、対応するコード画像(第2コード画像)D32に変換する。即ち、第2データユニットD52を図形コードに変換し、さらにこの図形コードを、これに対応するコード画像(第2コード画像)D32に変換する。第2コード生成部116Bは、コード画像(第1コード画像)D32を出力する。なお、実際には第1コード画像D31を含む画像プレーンを出力する。しかし、図2では、簡略して、第1コード生成部116Aの出力を第1コード画像D31として記載する。
データユニットDは数値の塊としてのデータである。一方、コード画像Dは、画像として表示可能な形のデータである。コード画像Dは、例えば、ビットマップデータで表されるものである。データユニットDのコード画像への変換を「描画」と言う。各データユニットD51,D52の図形コードへの変換の規則は予め定められている。各データユニットD51,D52の図形コードへの変換の規則は、送信装置100と受信装置200とで共有されている。
第1コード画像D31及び第2コード画像D32の例が図3に示されている。例えば、赤色(R)の画像が第1コード画像D31である。例えば、青色(B)の画像が第2コード画像D32である。
図3の例では、第1コード画像D31及び第2コード画像D32は、フレーム内のタイミングマークDと同じ領域に形成されている。従って、第1コード画像D31、第2コード画像D32及びタイミングマークDは、互いに重なるように形成される。
データ分割部114には読出し部112で読み出される複数のショットのデータDが順次入力される。データ分割部114から第1コード生成部116Aに供給される第1データユニットD51は、データ分割部114に入力されるショットのデータDが切り換わることに伴って切り換わる。このため、第1コード生成部116Aから出力されるコード画像D31は、読出し部112により読み出されるショットのデータDが切り換わるごとに切り換わる。同様に、第2コード生成部116Bから出力されるコード画像D32は、読出し部112により読み出されるショットのデータDが切り換わるごとに切り換わる。
第1コード生成部116Aによる第1コード画像D31の出力及び第2コード生成部116Bによる第2コード画像D32の出力は、いずれも基準クロック発生部104からのクロック信号CLに同期して行われる。また、マーク生成部106によるタイミングマークDの出力は、クロック信号CLに同期して行われる。マーク生成部106におけるタイミングマークDの生成を、コード生成部116A,116Bにおけるコード画像D31,D32の出力と同期させるため、読出し部112は1つのショットのデータDを読み出す度に、そのことを示す同期信号SYを出力する。マーク生成部106は、読出し部112からの上記の同期信号SY(1つのショットのデータDを読み出すことを示す信号)を受けて、タイミングマークDの出力のタイミングを決める。
合成部122は、タイミングマークD、第1コード画像D31及び第2コード画像D32を、それぞれ独立した色チャンネルに割り当てる。そして、合成部122は、タイミングマークD、第1コード画像D31及び第2コード画像D32を合成し、合成画像(カラー画像)D61を生成する。タイミングマークD2は、マーク生成部106から出力される。第1コード画像D31は、第1コード生成部116Aから出力される。第2コード画像D32は、第2コード生成部116Bから出力される。
合成部122による合成は、タイミングマークDを含む画像プレーンと、第1コード画像D31を含む画像プレーンと、第2コード画像D32を含む画像プレーンとを重ね合わせることで行われる。「プレーン」とは、画像イメージを貼り付ける透明な板のようなものある。一般に、画像はプレーンと呼ばれる複数のスクリーン(平面)から構成される。プレーンには赤色、緑色及び青色を表現する3つのプレーンがあり,それらを組み合わせることで色が表現される。複数のプレーンにより表現される画像平面をフレームと呼ぶ。
上記の色チャンネルとして、例えば、赤色(R)、青色(B)及び緑色(G)の光の三原色のチャンネルが採用されている。「色チャンネル」とは、色を成分で分離した情報のことである。具体的には、赤チャンネル、緑チャンネル、青チャンネル等がある。そして、合成部122は、図3のタイミングマークDを緑(G)チャンネルに割り当てて、第1コード画像D31を赤(R)チャンネルに割り当てて、第2コード画像D32を青(B)チャンネルに割り当てて合成を行う。例えば、合成部122は、タイミングマークD、第1コード画像D31及び第2コード画像D32のそれぞれの階調値を、それぞれの色チャンネルの階調値として合成を行う。
合成画像D61においては、タイミングマークDの最大値が緑チャンネルの階調値(緑成分値)の最大値を有する。図3ではタイミングマークDは、クロスハッチングで示された部分に表わされている。第1コード画像D31の最大値が赤チャンネルの階調値(赤成分値)の最大値を有する。図3では、第1コード画像D31の最大値は、黒で示された部分である。第2コード画像D32の最大値が青チャンネルの階調値(青成分値)の最大値を有する。図3では、第2コード画像D32の最大値は、黒で示された部分である。
合成部122は、タイミングマークD、第1コード画像D31及び第2コード画像D32を合成して表示部130が表示する1フレーム分の画像を生成する。
映像バッファ126は、合成部122で生成された合成画像D61を蓄積する。そして、映像バッファ126は、蓄積した合成画像D61を連結する。つまり、映像バッファ126は、合成された1フレーム分の画像を複数つなげて、表示部130が「動画」として表示できるようにする。この1フレーム分の画像を複数つなげることを「連結」という。
映像バッファ126は、合成した画像を順次連結して合成映像D62を生成する。
「画像」とは、1フレームに表示される静止画のことである。「映像」とは、数フレームの画像がつながったもので、連続で表示されるものである。つまり、各フレームの「画像」が異なる場合には、「映像」は動画となる。
合成部122が結合する1フレーム分の画像は、同じ画像である。このため、表示部130が合成映像D62を表示しても観察者は同じ画像が表示されているものと認識する。
また、映像バッファ126は、蓄積した合成映像D62を互いに連結する。上述のように、合成映像D62は、同じ画像が数フレーム結合された画像データである。映像バッファ126が結合する合成映像D62は、互いに異なる画像のものである。このため、後述するように、受信装置200で表示部130の表示する画像を撮影すると、受信装置200は、異なる2つの画像を撮影する場合がある。このように、合成映像D62の連結の結果得られる合成映像D63は、画像の内容が切り換わる映像である。後述するように、例えば、図4(A)〜図4(C)では、合成映像D62の連結の結果得られる合成映像D63は、4フレーム周期で内容が切り換わる映像である。
映像バッファ126での画像の蓄積は、転送しようとするデータファイルDのすべてのデータ(データ部分)のコード画像Dへの変換が終了するまで続けられる。つまり、データファイルDの容量が大きい場合には、例えば、複数のQRコードを連結した合成映像D63を作成する。図3に示す例では、2種類の合成映像D62を連結した合成映像D63は、4種類のQRコードを送ることができる。映像バッファ126での画像の蓄積が終了した時点では、1つのデータファイルDに対応する映像を構成する一連のフレームのコード画像D及びこれに付加されたタイミングマークDが記憶された状態となる。
以上のように、映像バッファ126は、合成画像D61を連結して合成映像D62を生成する連結部として作用する。また、映像バッファ126は、合成映像D62を連結して合成映像D63(動画)を生成する連結部として作用する。なお、合成画像D61を連結して合成映像D62を生成する工程を、合成部122が行うようにしてもよい。
動画再生部128は、1つのデータファイルDのすべてのデータのコード画像Dへの変換が終了した後に、映像バッファ126に蓄積されたデータ(コード画像D及びタイミングマークDを含む画像フレームの列)を、フレーム毎に順次読み出して動画として再生する。ここで「画像フレームの列」とは、合成映像D63のことである。
表示部130は、動画再生部128の出力に応じてカラー映像を表示する。
図3では、表示部130で表示される映像においては、タイミングマークDが緑色で、第1コード画像D31が赤色で、第2コード画像D32が青色でそれぞれ表示される。
以下では、例えば、表示部130が、点順次走査方式或いは線順次走査方式で、かつプログレッシブ表示方式で表示を行なう液晶表示装置で構成されているものとして説明する。
<送信装置100の表示処理>
上述のように、タイミングマークDは、クロック信号CLに同期して生成される。また、第1コード画像D31の出力及び第2コード画像D32の出力は、いずれも基準クロック発生部104からのクロック信号CLに同期して行われる。そのため、第1コード画像D31及び第2コード画像D32は同時に切り換わる。この切り換わりのタイミングの直前及び直後以外のタイミングでタイミングマークDが現れるように行われる。例えば、フレームの切り換わりの直前及び直後のフレーム以外のフレームでタイミングマークDが現れるようにする。つまり、フレームの切り換わりの直前及び直後のフレームには、タイミングマークDが合成されない。
図4(A)〜図4(C)は、タイミングマークD、第1コード画像D31、及び第2コード画像D32の表示タイミングを示すタイミングチャートである。図4(A)は、タイミングマークDを表わしている。図4(B)は、第1コード画像D31を表わしている。図4(C)は、第2コード画像D32を表わしている。図4(A)〜図4(C)は、合成映像D63の一例において、コード画像Dの切り換わり、及びタイミングマークDが現れる期間を示す。図4(A)〜図4(C)において、縦軸は各信号の出力の有無を示し、「H」で信号は出力され、「L」で信号は出力されない。図4(A)〜図4(C)において、横軸は時間を示している。図4(A)〜図4(C)において、縦方向の点線は、表示部130による表示のフレーム期間の区切りを示す。符号Tは、表示のフレームレートにおける1フレーム期間(1フレーム周期)を表す。
図4(A)〜図4(C)に示される例では、1ショットのデータDから生成された合成映像D62が表示される期間(1ショット期間)Tは、4つのフレーム期間Tである。4フレーム期間ごとに表示されるコード画像Dの内容が切り換わる。1ショット期間Tのうち、最初の1フレームの期間Tt1には、タイミングマークDが表示されない。1ショット期間Tのうち、最初の1フレームの期間Tt1には、コード画像D31,D32が表示される。つまり、1ショット期間Tのうち、最初の1フレームの期間Tt1には、タイミングマークDが表示されず、1ショット期間Tのうち、最初の1フレームの期間Tt1には、コード画像D31,D32のみが表示される。次の2フレームの期間Tには、タイミングマークDとコード画像D31,D32とがともに表示される。最後の1フレームの期間Tt2には、タイミングマークDが表示されず、コード画像D31,D32のみが表示される。このように、タイミングマークDはコード画像Dの切り換わりの直後のフレーム(各ショットの期間の最初のフレーム)と、切り換わりの直前のフレーム(各ショットの最後のフレーム)には現れない。タイミングマークDは、それら以外のフレーム(各ショットの期間の2番目及び3番目のフレーム)に現れる。
コード画像Dの切り換わりの直前及び直後のフレーム(第4フレーム及び第1フレーム)では、コード画像Dの内容が一部乱れる場合がある。一方、切り換わりからある程度の時間が経過した第2フレーム及び第3フレームではコード画像Dの内容が安定していることが推定される。そこで、実施の形態1に係る発明では、第2フレーム及び第3フレームのコード画像Dを受信装置200での復号に用いる。そして、第2フレーム及び第3フレームのコード画像Dを第1フレーム及び第4フレームのコード画像Dから区別するために、送信装置100でタイミングマークDを付している。そして、受信装置200では、タイミングマークDに基づいて第2フレーム及び第3フレームのコード画像Dであるか第1フレーム及び第4フレームのコード画像Dであるかの判別をしている。
上記のように、第2フレーム及び第3フレームは受信装置200での復号に用いられるものである。そのため、これらのフレームを「ボディフレーム」とよぶ。ボディフレームの前後のフレーム(第1フレーム及び第2フレーム)を、それぞれ前側及び後側の「ガードフレーム」とよぶ。また、ボディフレームが現れる期間をボディ期間とよぶ。また、ガードフレームが現れる期間をガード期間とよぶ。図4(A)では、ボディ期間は2フレームの期間Tである。また、ガード期間は、最初の1フレーム期間Tt1及び最後の1フレーム期間Tt2である。
<受信装置200の構成>
図5は、実施の形態1における受信装置200の構成を概略的に示すブロック図である。図5で示す受信装置200は、撮像部202、マーク認識部210、画像切出し部220及びコード復号部230を備える。また、受信装置200は、映像バッファ204、読出し部206、分離部208、合成部242及び受信データ記憶部244を備えることができる。
撮像部202は、送信装置100の表示部130の表示画面131を撮像する。そして、撮像部202は、この表示画面131に表示された映像の、赤色、緑色及び青色の成分値を表す映像データDを生成する。つまり、撮像部202は、この表示画面131に表示された映像(合成映像D63)の、赤色の成分の映像データ、緑色の成分の映像データ及び青色の成分の映像データを生成する。撮像部202により生成される映像データDは、合成映像D63に対応した一連のフレームのデータである。撮像部202により生成される各フレームの映像データDは、赤色の成分値、緑色の成分値及び青色の成分値を表すデータから成る。
赤色の成分値、緑色の成分値及び青色の成分値を表すデータは、例えば、それぞれ赤色の色フィルタ、緑色の色フィルタ及び青色の色フィルタを備えた光電変換素子によって生成される。
なお、送信装置100の表示部130に表示される画像は、撮像部202の撮像面に結像しているものとする。例えば、表示部130の表示画面131までの距離が分かっており、表示部130の表示画面131に合焦されている。或いは、撮像部202にオートフォーカス機能が備わっているものとする。
映像バッファ204は、撮像部202から出力される一連のフレームから成る映像データDを蓄積する。この映像データDの蓄積は、送信装置100の表示部130に表示された、1つのデータファイルDに対応する映像を構成するすべてのフレーム(合成映像D63の全てのフレーム)の撮像が終わるまで続けられる。映像データDの蓄積が終わった時点では、データファイルDを構成する一連のフレームのデータ(合成映像D63の全てのフレーム)が記憶された状態となる。
読出し部206は、映像バッファ204に蓄積された1つのデータファイルDに対応する映像を構成する一連のフレームのデータDを順次読み出して出力する。即ち、読出し部206は、1つのデータファイルDのデータを1フレームずつ映像バッファ204から読み出してフレームのデータDとして出力する。
分離部208は、読出し部206により読み出された各フレームのデータDを、緑色の成分値のデータD9G(緑チャンネルのデータ)と、赤色の成分値のデータD9R(赤チャンネルのデータ)と、青色の成分値のデータD9B(青チャンネルのデータ)とに分離する。分離部208は、緑色の成分値のデータD9Gをマーク認識部210に与える。分離部208は、赤色の成分値のデータD9R及び青色の成分値のデータD9Bを画像切出し部220に与える。
マーク認識部210は、分離部208から与えられた緑色の成分の映像(緑色の成分のデータD9G)からタイミングマークDを検出する。マーク認識部210は、タイミングマークDを検出する検出部として機能する。
マーク認識部210は、タイミングマークDが検出されたタイミングを、コード画像Dを正しく読み込むことができるタイミングであると認識する。つまり、マーク認識部210は、タイミングマークDを検出すると、コード画像Dを正しく読み込めると認識する。
ここで言う「タイミング」は、例えば、フレーム毎のタイミングであっても良い。
また、表示画面のライン毎のタイミングであっても良い。ここで「ライン」とは、点順次走査方式における主走査線方向に延びた画素の列を意味し、線順次走査方式におけるラインを意味する。
マーク認識部210は、タイミングマークDが検出されたタイミングで、画像切出し部220に画像の切り出しを指示する。マーク認識部210は、画像切出し部220に画像の切り出し信号D10を与える。
画像切出し部220は、マーク認識部210からの指示(画像の切り出し信号D10)に応じて、予め定められた色成分の映像からコード画像Dを切り出す。例えば、実施の形態1では、赤色の成分のデータD9R及び青色の成分値のデータD9Bにコード画像Dが表わされている。この、コード画像Dが表わされている赤色の成分のデータD9R及び青色の成分値のデータD9Bが、予め定められた色成分の映像である。即ち、画像切出し部220は、マーク認識部210がタイミングマークDを検出したタイミングで、予め定められた色成分の映像からコード画像Dを切り出す。画像切出し部220は、第1切出し部222Aと、第2切出し部222Bとを備える。
第1切出し部222Aは、マーク認識部210から赤色の成分のデータD9Rを受け取る。第1切出し部222Aは、マーク認識部210から指示されたタイミングで、分離部208から与えられた赤色の成分のデータ(映像)D9Rから、第1コード画像を切り出す。
第2切出し部222Bは、マーク認識部210から青色の成分のデータD9Bを受け取る。第2切出し部222Bは、マーク認識部210から指示されたタイミングで、分離部208から与えられた青色の成分のデータ(映像)D9Bから、第2コード画像を切り出す。
コード復号部230は、画像切出し部220で切り出されたコード画像Dを復号して元のデータを復元する。即ち、コード復号部230は、コード画像Dから、これに対応する図形コードを生成する。そして、コード復号部230は、さらに図形コードを、これに対応するデータに変換する。これにより、コード復号部230は、撮像されたコード画像Dで表されているデータ(データファイルD)を取得する。コード復号部230は、第1復号部232Aと、第2復号部232Bとを備える。
第1復号部232Aは、第1切出し部222Aから第1コード画像D11Rを受け取る。第1復号部232Aは、第1切出し部222Aで切り出された第1コード画像D11Rを復号して、対応する色単位の復号済みデータD12Rを復元する。即ち、第1復号部232Aは、第1コード画像D11Rに対応する第1図形コードを生成する。ここで、色単位の復号済みデータD12Rは、1フレーム分のデータである。そして、第1復号部232Aは、生成された第1図形コードを、これに対応する色単位の復号済みデータD12Rに変換する。この復元により、第1コード生成部116Aにおけるコード画像D31の生成から第1復号部232Aにおける復号までの処理に誤りがなければ、第1コード生成部116Aに入力された第1データユニットD51と同じものが生成される。
第2復号部232Bは、第2切出し部222Bから第2コード画像D11Bを受け取る。第2復号部232Bは、第2切出し部222Bで切り出された第2コード画像D11Bを復号して、対応する色単位の復号済みデータD12Bを復元する。即ち、第2復号部232Bは、第2コード画像D11Bに対応する第2図形コードを生成する。ここで、色単位の復号済みデータD12Bは、1フレーム分のデータである。そして、第2復号部232Bは、生成された第2図形コードを、これに対応する色単位の復号済みデータD12Bに変換する。この復元により、第2コード生成部116Bにおけるコード画像D32の生成から第2復号部232Bにおける復号までの処理に誤りがなければ、第2コード生成部116Bに入力された第2データユニットD52と同じものが生成される。
このような変換のため、第1復号部232A及び第2復号部232Bは、送信装置100の第1コード生成部116A及び第2コード生成部116Bにおいて、コード画像D31,D32の生成の際に用いられる変換の規則を復号データD12R,D12Bの復号に適用する。
合成部242は、第1復号部232A及び第2復号部232Bから出力される色単位の復号済みデータD12R,D12Bを組み合わせる。合成部242は、これらの色単位の復号済みデータD12R,D12Bを合成し、1ショット分の転送データD13を復元する。
受信データ記憶部244は、合成部242で復元された1ショット分(1フレーム分)の転送データD13を記憶する。記憶される転送データD13は、同じデータファイルDのそれ以前に記憶された転送データD13と連結される。
上記の処理が繰り返されることで、受信データ記憶部244には、1つのデータファイルDのすべてのデータが蓄積される。
<受信装置200の撮像処理>
以下では簡単のため、フレーム毎に判定を行うものとし、タイミングマークDの全体が正しく検出されたフレーム内のコード画像Dのみを復号に用いるものとして説明する。また、以下では、図6に示す画像を読み取る例で受信装置200の動作を説明する。
タイミングマークD全体を正しく判別することは、タイミングマークDの形状に関する規則を予め送信装置100と受信装置200とで共有しておくことで可能である。
以下この点を図6の一例に関して説明する。図6は、タイミングマークDの画像の各部の寸法の一例を示す図である。なお、図3では、色成分の画像にタイミングマークDの画像を表わしたが、図6では、全ての色成分の画像にタイミングマークDの画像を表わしている。また、全ての色成分の画像に1つのコード画像D11を表わしている。このため、タイミングマークDの画像及びコード画像D11は、例えば、黒色の画像として表示部130に表示される。図6のように黒色の画像を用いる場合には、送信装置100のコード生成部116は1つでよい。また、受信装置200の画像切出し部220は、1つの切出し部222を有するだけでよい。
図6の例では、タイミングマークDは、コード領域Acdの両側に位置する、2本の互いに並行な黒色の帯状の領域St,Stで示されている。この領域St,Stの幅は、互いに等しく寸法Wstである。また領域St,Stの相互間の間隔Sepは、領域の幅Wstの6倍である。また、帯状の領域St,Stの高さ方向は、点順次走査方式の副走査方向、或いは線順次走査方式の走査方向(ラインに直交する方向)に一致する。さらに、領域St,Stの高さHghは、幅Wstの4倍である。表示される画像がこのような寸法関係を有する場合には、マーク認識部210は、撮影によって得られた画像中のタイミングマークDが、上記と同じ寸法関係を有するか否か(違いが許容範囲内か否か)を判定する。これにより、受信装置200はタイミングマークDの全体が正しく取得されたか否かの判定することができる。例えば、受信装置200の撮影により得られた画像において、帯状の領域St,Stの高さが幅の4倍よりも短ければ、マーク認識部210は、タイミングマークDの全体が正しく撮影されていないと判定することができる。
図7(A)、図7(B)及び図7(C)は、上記のようにマーク認識部210がタイミングマークDを検出したタイミングで画像切出し部220が画像の切出しを行なう処理を示す。図7(A)は、図4(A)と同じものを示す。図7(B)は、図4(B)及び図4(C)に対応するものを示す。つまり、図7(A)は、タイミングマークDを表わしている。図7(B)は、コード画像Dを表わしている。つまり、図7(A)〜図7(C)の説明では、図6の画像を用いて説明する。このため、各色成分のデータにはコード画像D(コード領域Acd)及びタイミングマークD(領域St,St)が表示されている。図7(C)は、撮像部202によって撮影されたフレームを表わしている。図7(C)には、撮像部202により撮影された各フレームに対して、説明のための符号Pを付している。「n」はフレームの番号を表わし、図7(C)では1〜14で示している。
図7(A)における縦方向の点線は、図4(A)〜図4(C)と同じく、表示部130による表示のフレーム期間Tの区切りを示す。一方、図7(B)及び図7(C)における縦方向の点線は、撮像部202による撮像のフレーム期間Tの区切りを示している。従って、図7(B)及び図7(C)における縦方向の線相互間の間隔Tは、撮像のフレーム期間(周期)の長さを表す。
図7(A)〜図7(C)に示す例では、撮像部202による撮像のフレームの周期(撮像のフレーム期間T)が表示部130による表示のフレーム周期(表示のフレーム期間T)に対して長さが0.9倍である場合を想定している。
図7(C)の撮像のフレーム期間Tのうち、3番目のフレームPの期間では、その全ての表示期間にわたり、タイミングマークD201が表示されている。このため、対応するフレームPの期間のコード画像D301が切り出される。同様に、第7番目のフレームP及び第8番目のフレームPでは、それらの全ての表示期間にわたり、タイミングマークD202が表示されている。このため、対応するフレームP,Pの期間のコード画像D302が切り出される。同様に、第12番目のフレームP12では、その全ての表示期間にわたり、タイミングマークD203が表示されている。このため、対応するフレームP12の期間の第1コード画像D313が切り出される。
上記の例のように、撮像のフレーム期間T(周期)が表示のフレーム期間T(周期)と異なる場合には、表示の各フレームのうちのどのフレームの画像が切出されるかは一定しない。つまり、どの表示のフレーム期間Ttの画像が切出されるかは一定しない。
どのコード画像D301,D302,D303も確実に読み出されるようにするには、各合成映像D62において、タイミングマークD201,D202,D203を付したコード画像D301,D302,D303が表示されるフレーム(ボディフレーム)の数を2以上とするのが望ましい。表示フレームのフレームレート(1/T)よりも撮像フレームのフレームレート(1/T)のほうが低い場合には、各合成映像D62におけるボディフレームの数を一層多くするのが望ましい。なお、合成映像D62は、合成部122が複数の合成画像D61を連結して作成したものである。合成映像D62は、1つのコード画像Dを表示する映像である。
上記の一例のコード画像D302のように、複数の撮像のフレームPnのコード画像D11が切出された場合には、コード画像D11を復号することで得られる色単位の復号済み復号データD12(各画素の画素値を表すデータ)は、例えば、その平均を取る処理を行うことができる。また、いずれか一方(例えば先頭のもの)を選択するなどの処理を行うことができる。
<送信装置100の表示処理方法>
次に、図8及び図9を参照して、送信装置100において行われる、送信データDに基づいて映像を表示する処理の手順を説明する。図8は、送信装置100において、転送データに基づいて映像を表示する動作を示すフローチャートである。図9は、ステップS12の詳細を示すフローチャートである。
図8に示される処理は、送信装置100において、予め定められたプログラムに基づいて開始される。例えば、図8に示される処理は、受信装置200にデータの送信を行うための送信プログラムが起動され、送信データ記憶部102に記憶されている複数のデータファイルDのうちの一つが選択されたときに開始される。
図8の処理が開始されると、ステップS11において、読出し部112は、選択したデータファイルDを複数のデータ部分(ショット)に分割する。
次にステップS12において、ステップS11における分割で生成された複数のデータ部分の一つを選択し、選択したデータ部分(1ショット分のデータ)に対する処理を行う。ここで言う「処理」とは、上述のデータ分割部114、マーク生成部106、コード生成部116及び合成部122で行われる処理のことである。
データ分割部114、マーク生成部106、コード生成部116及び合成部122で行われる処理に関しては、図9で説明する。
次にステップS13において、読出し部112は、選択されたデータファイルDのすべてのデータ部分の読出しが終わったか否かの判定を行う。読出し部112のデータファイルDのすべてのデータ部分の読出しが終わったとの判定は、例えば、データファイルDから1ショット分のデータを順次読み出し、データファイルDの終端に達した時にされる。または、読出し部112のデータファイルDのすべてのデータ部分の読出しが終わったとの判定は、例えば、データファイルDを分割して、メモリ上などに一時的に格納しておき、データ部分の読出し処理が済んだデータは消去し、一時的な格納場所のデータが全て無くなった時にされる。なお、データの消去は、データを移動させること、又はデータに処理済マークを付けること等で代替できる。
ステップS13で、すべてのデータ部分の読出しが終わっていないと判定されたとき(S13でYESのとき)は、ステップS11に戻り、次のデータ部分を選択し、それ以降ステップS12、ステップS13の処理を繰り返す。
このような処理の繰り返しにより、映像バッファ126に映像を構成する一連のフレームのデータが蓄積されていく。
ステップS13で、すべてのデータ部分に対する処理が終わったと判定されたときは、ステップS14に進み、動画再生部128は、映像バッファ126に蓄積されたデータD63の出力を行う。ここで「データ部分」とは、1ショット分のデータのことである。即ち、動画再生部128が映像バッファ126から、映像を構成する一連のフレームのデータD63を順次、表示部130に動画として表示する。
図9は図8のステップS12の詳細を示す。
まず、ステップS21において、データ分割部114は、ステップS11におけるデータファイルDの分割により生成された複数のデータ部分の一つ(1ショット分のデータ)を、第1の色チャンネルのデータ(第1データユニットD51)及び第2の色チャンネルのデータ(第2データユニットD52)に分割する。この分割により、各色チャンネルのデータユニットD51,D52は、一つの図形コードで表現可能なデータ量のデータとなる。
複数の色チャンネルとしては、例えば、赤色(R)チャンネルと青色(B)チャンネルとが使用される。データ分割部114は、第1データユニットD51を第1コード生成部116Aに与える。そして、データ分割部114は、第2データユニットD52を第2コード生成部116Bに与える。
ステップS22において、第1コード生成部116Aは、データ分割部114から与えられた第1データユニットD51を第1コード画像D31に変換し、第1コード画像D31を含む画像プレーンを出力する。
一方、ステップS23では、第2コード生成部116Bは、データ分割部114から与えられた第2データユニットD52を第2コード画像D32に変換し、第2コード画像D32を含む画像プレーンを出力する。
ステップS24では、合成部122は、ステップS22で生成された第1コード画像D31を含む画像プレーンと、ステップS23で生成された第2コード画像D32を含む画像プレーンとを、それぞれ赤チャンネル及び青チャンネルに割り当てて合成し、カラー画像を生成する。つまり、ステップS24では、合成部122は、ステップS22で生成された第1コード画像D31を含む画像プレーンを赤チャンネルに割り当てる。そして、合成部122は、ステップS23で生成された第2コード画像D32を含む画像プレーンを青チャンネルに割り当てる。また、合成部122は、画像記憶部107に記憶されているタイミングマークDを含まない画像プレーンを緑チャンネルに割り当てる。そして、合成部122は、赤チャンネルに割り当てられた第1コード画像D31を含む画像プレーン、青チャンネルに割り当てられた第2コード画像D32を含む画像プレーン及び緑チャンネルに割り当てられたタイミングマークDを含まない画像プレーンを合成し、カラー画像を生成する。
次に、ステップS25では、ステップS24で作成されたカラー画像を、予め定められた回数、例えば1回繰り返し、1フレーム分の画像を生成して、映像バッファ126に送り、映像バッファ126に書込む。つまり、ここで映像バッファ126に書込まれる第1コード画像D31の画像プレーン、第2コード画像D32の画像プレーン及びタイミングマークDを含まない画像プレーンを合成したカラー画像は、図7(A)で示した最初の1フレーム期間Tt1の画像に相当する。ここで「定められた回数」は、図7(A)の例では1回となる。
ステップS21〜S25の処理と並行して、ステップS26で、タイミングマークDの画像作成を行う。
この処理のため、例えば、マーク生成部106は、予めタイミングマークDを含む画像プレーンを生成しておく。例えば、マーク生成部106は、タイミングマークDを含む画像プレーンを画像記憶部107に記憶させておく。
そして、ステップS26では、マーク生成部106は、画像記憶部107に記憶されているタイミングマークDを含む画像プレーンを読み出して、合成部122に与える。また、タイミングマークDを含まないフレームのために、マーク生成部106は、タイミングマークDを含まない画像プレーンを画像記憶部107に記憶させておく。
ステップS25及びステップS26の次に、ステップS27において、合成部122は、ステップS22で生成された第1コード画像D31を含む画像プレーンと、ステップS23で生成された第2コード画像D32を含む画像プレーンと、ステップS26で生成されたタイミングマークDを含む画像プレーンとを、それぞれ赤チャンネル、青チャンネル及び緑チャンネルに割り当てて合成して、タイミングマークD付きのコードの画像Dを含むカラー画像(合成画像D61)を生成する。つまり、合成部122は、第1コード画像D31を含む画像プレーンを赤チャンネルに割り当てる。合成部122は、第2コード画像D32を含む画像プレーンを青チャンネルに割り当てる。合成部122は、タイミングマークDを含む画像プレーンを緑チャンネルに割り当てる。合成部122は、各色チャンネルを合成する。そして、合成部122は、合成画像D61を生成する。
次にステップS28では、ステップS27で作成された画像を予め定められた回数、例えば2回繰り返し、2フレーム分の映像を生成して、映像バッファ126に送り、映像バッファ126に書込む。この2フレームは、ステップS25で書き込まれた1フレーム分の後に続くフレームとして書き込まれる。つまり、ここで映像バッファ126に書込まれる第1コード画像D31の画像プレーン、第2コード画像D32の画像プレーン及びタイミングマークDの画像プレーンを合成したカラー画像は、図7(A)で示した2フレームの期間Tの画像に相当する。ここで「定められた回数」は、図7(A)の例では2回となる。
次に、ステップS29では、タイミングマークDを消去する。なお、この処理のため、マーク生成部106は、予めタイミングマークDを含まない画像プレーンを生成しておく。例えば、マーク生成部106は、タイミングマークDを含まない画像プレーンを画像記憶部107に記憶させておく。そして、ステップS29では、マーク生成部106は、画像記憶部107に記憶されているタイミングマークDを含まない画像プレーンを読み出して、合成部122に与える。
次に、ステップS30では、合成部122は、ステップS22で生成された第1コード画像D31を含む画像プレーンと、ステップS23で生成された第2コード画像D32を含む画像プレーンと、ステップS29で生成された、タイミングマークDが消去された画像プレーンとをそれぞれ赤チャンネル、青チャンネル、及び緑チャンネルに割り当てて合成し、タイミングマークDを含まず、第1コード画像D31及び第2コード画像D32を含むカラー画像を生成する。つまり、ステップS30では、合成部122は、第1コード画像D31の画像プレーン、第2コード画像D32の画像プレーン及びタイミングマークDが消去された画像プレーンを合成する。
なお、ステップS24における合成においても、タイミングマークDが消去された画像プレーンを合成することとしても良い。つまり、画像記憶部107に記憶されているタイミングマークDを含まない画像プレーンを合成することとしても良い。
次に、ステップS31では、ステップS30で作成された画像を、予め定められた回数、例えば1回繰り返し、1フレーム分の画像を生成する。そして、生成された1フレーム分の画像を映像バッファ126に送り、映像バッファ126に書込む。
この1フレーム分の画像は、ステップS28で書き込まれた2フレーム分の映像の後に続くフレームとして書き込まれる。つまり、ここで映像バッファ126に書込まれる第1コード画像D31の画像プレーン、第2コード画像D32の画像プレーン及びタイミングマークDが消去された画像プレーンを合成したカラー画像は、図7(A)で示した最後の1フレーム期間Tt2の画像に相当する。ここで「定められた回数」は、図7(A)の例では1回となる。このステップS30の処理は上記のステップS25の処理と同様である。
合成画像D61の映像バッファ126上への格納方式はいくつかある。ここでは、映像バッファ126は、例えば、フレーム数又は実際の画像データへの参照情報等を含む管理領域と画像データが実際に格納されるバッファ領域とを持っている。
フレームを連結する場合には、管理領域の情報から現在のバッファ領域に格納済みの画像の終端アドレスを読み出す。そして、その格納済みの画像の後ろに追加するフレームのデータをコピーする。その後、管理領域内のデータを1フレーム分追加した形で更新する。
以上のようにして映像バッファ126に書き込まれた合成映像D63を読み出して表示すると、データファイルDを構成する複数のショットは、各々4フレーム期間をかけて表示される。
なお、上述のように、1ショットは、例えば、1つのQRコードの画像データである。また、データファイルDの容量が大きい場合には、複数のQRコードの画像データでデータが送られる。つまり、データファイルDの容量が大きい場合には、データファイルDは複数のQRコードの画像データでデータが送られ、各QRコードは、4フレーム期間をかけて表示される。
1ショット分の表示の間に表示内容が以下のように変化する。最初の1フレーム期間Tt1では、第1コード画像D31及び第2コード画像D32のみが表示される。
それに続く2フレームの期間Tにおいては、第1コード画像D31、第2コード画像D32及びタイミングマークDが表示される。それに続く最後の1フレーム期間Tt2においては、第1コード画像D31及び第2コード画像D32のみが表示される。
<受信装置200の撮像処理方法>
次に、図10を参照して、受信装置200において行われる、撮像された映像データDから転送データD13を取得して、記憶する処理の手順を説明する。
図10は、受信装置200において、撮像された映像データDから転送データD13を取得して、記憶する動作を示すフローチャートである。図10に示される処理は、受信装置200において、予め定められたプログラムに基づいて開始される。例えば、図10に示される処理は、送信装置100から送信されたデータ(合成映像D63)の受信を行うための受信プログラムが起動された場合に開始される。
最初に、ステップS41では、撮像部202は、動画の撮影を行う。即ち、撮像部202で表示部130に表示される映像(合成映像D63)を撮影する。
次に、ステップS42では、撮像により得られた映像データDを構成するフレームの列を、順次映像バッファ204に格納していく。撮影を終了した後、映像バッファ204に蓄積された映像データDを構成するフレームを順に読み出して、後述する処理を行う。
まず、ステップS43において、読出し部206は、映像バッファ204から、フレームの一つを選択して、選択したフレームの画像データを読み出す。
次にステップS44において、分離部208は、ステップS43で読み出された1フレームのデータDを、色の成分値のデータDに分離する(ステップS44)。そして、マーク認識部210は、タイミングマークDの検出を行う(ステップS45)。タイミングマークDが検出されない場合で、映像バッファ204に残りのフレームがある場合には、読出し部206は、映像バッファ204からの1フレーム読み出し(ステップS43)から繰り返す。読出し部206は、タイミングマークDが検出されるまで映像バッファ204からの1フレーム読み出し(ステップS43)を行う。
即ち、ステップS44では、分離部208は、ステップS43で読み込まれた1フレームのデータDを、色チャンネル毎のデータに分離する。本実施の形態1では、赤色(R)、青色(B)及び緑色(G)の三原色が色チャンネルとして採用されている。このため、分離部208は、フレームのデータDを、赤チャンネルの画像データ(赤成分の画像データ)、青チャンネルの画像データ(青成分の画像データ)及び緑チャンネルの画像データ(緑成分の画像データ)に分離する。そして、分離部208は、赤成分の画像データを第1切出し部222Aに与え、青成分の画像データを第2切出し部222Bに与え、緑成分の画像データをマーク認識部210に与える。
ステップS45では、マーク認識部210は、タイミングマークDが検出されたか否かを判断する。即ち、マーク認識部210は、ステップS44で分離された緑色の成分値のデータD9Gで表される画像にタイミングマークDが含まれているか否かの判断を行なう。ステップS44で分離された緑色の成分値のデータD9Gで表される画像にタイミングマークDが含まれていない場合(ステップS45でNO)には、ステップS57に進む。
タイミングマークDが検出されると(ステップS45でYES)、ステップS47,S49で、画像切出し部220は、色チャンネルごとにコード画像(色の成分値のデータD9R,D9B)が含まれるエリアを切り出す。そして、ステップSS48,S50で、コード復号部230は、コード復号を実行する。
即ち、ステップS47では、第1切出し部222Aは、ステップS44で分離された赤色の成分値のデータD9Rで表される画像から、第1コード画像D11Rを切り出す。そして、ステップS48において、第1復号部232Aは、ステップS47で切り出された画像に含まれている第1コード画像D11Rを復号する。これにより、第1データユニットD51に相当する色単位の復号済み復号データD12Rを取り出す。
ステップS49では、第2切出し部222Bは、ステップS44で分離された青色の成分値のデータD9Bで表される画像から、第2コード画像D11Bを切り出す。そして、ステップS50において、第2復号部232Bは、ステップS49で切り出された画像に含まれている第2コード画像D11Bを復号する。これにより、第2データユニットD52に相当する色単位の復号済み復号データD12Bを取り出す。
ステップS48及びステップS50における復号が完了すると、ステップS51で、合成部242は、色単位の復号済み復号データD12R,D12Bの合成を行う。
ステップS52で、受信データ記憶部244は、色単位の復号済み復号データD12R,D12Bの合成の結果得られた転送データD13を保存する。
即ち、ステップS51では、合成部242は、ステップS48で取り出された色単位の復号済み復号データD12R(第1データユニットD51)と、ステップS48で取り出された色単位の復号済み復号データD12B(第2データユニットD52)とを合成して、転送データD13を復元する。
ステップS52では、合成部242は、復元された転送データD13を受信データ記憶部244に送る。そして、受信データ記憶部244は、受け取った転送データD13を記憶する。
合成部242における色単位の復号済み復号データD12R,D12Bの合成においては、たとえば赤チャンネルが先行のデータD12Rであり、青チャンネルが後続のデータD12Bだとすると、すでに保存済みのデータの後ろに今回取得した赤チャンネルのデータD12Rを追加し、その後に青チャンネルデータD12Bを追加して保存する。
ステップS52の次に、ステップS53に進み、映像バッファ204に残りのフレームがあるか否かの判定を行う。残りのフレームがなければ(ステップS50でNO)、処理を終了する。残りのフレームがあれば(ステップS50でYES)、ステップS54で、読出し部206は、さらに映像バッファ204から1フレーム分のデータDを読み出す。
次に、ステップS55では、分離部208は、ステップS54で読み込まれたフレームのデータDを、色チャンネル毎の画像(色の成分値のデータD9G,D9R,D9B)に分離する。
ステップS56では、マーク認識部210は、タイミングマークDが検出されるか(消去されたか)否かを判断する。ステップS56では、検出されていたタイミングマークDが検出されなくなったかを確認する。例えば、マーク認識部210は、ステップS55で分離された緑色の成分値のデータD9GからタイミングマークDが消去されているか否かを判断する。つまり、図7(A)で示した最後の1フレーム期間Tt2を検出する。緑色の成分値のデータD9GにタイミングマークDが残っている場合(S56でYES)には、コード画像D11R,D11Bがまだ変化していないため、分離部208は、読み出した1フレーム分のデータを廃棄して、ステップS53に戻る。
緑色の成分値のデータD9GにタイミングマークDが残っていない場合(S56でNO)には、ステップS57に進む。
ステップS57では、映像バッファ204に残りのフレームがあるか否か判定を行う。残りのフレームがあれば、ステップS43に戻る。残りのフレームが無ければ、処理を終了する。
このようにして、映像バッファ204の映像データDがなくなるまで処理することにより、受信装置200は、転送されてきたデータ(転送データD13)を復元することができる。
上記の処理により、1フレームを構成する1ショット(フレームのデータD)のうち、複数のフレームでタイミングマークDが検出された場合には、最初にタイミングマークDが検出されたフレームに含まれるコード画像D11R,D11Bのみが復号されることになる。
実施の形態1における送信装置100及び受信装置200は、以上のように構成されているため、図1に示されているように、送信装置100の表示部130と、受信装置200の撮像部202とを対向させることにより、表示部130に順次表示されるコード画像(合成画像D61)を利用して自動的に、効率よく送信データDを受信装置200に取り込ませることができる。
また、実施の形態1においては、読み込みを自動的に行う手段を実現することによって、1つ1つのコードで表される情報の量を少なくし、コード画像を構成する一つ一つの点を大きく表示させることができる。つまり、限られたサイズの画面内で、1つのQRコードで転送しようとすると、高密度のQRコードとなってしまう。そして、一つ一つのセルを小さくする必要がある。ここで、「セル」とは、白黒パターンの最小のものを示す。そのため、QRコードを撮影する際のボケ又はブレが発生しやすくなる。複数のQRコードに分割して順次送ることにより、1つのQRコードの密度を下げることができる。このQRコードを画面に大きく表示すると、一つ一つのセルを大きくすることができる。セルが大きいと、QRコードを撮影する際のボケ又はブレの発生が抑えられる。そして、QRコードのデコードに成功する確率が高くなる。このため、撮影時の焦点のずれに対する耐性と手振れに対する耐性とを向上させることができる。言い換えると、焦点のずれ及び手振れに対する撮影時の許容度が向上する。そして、送信装置100を受信装置200に向かってかざす場合に、利用者の作業性を向上させることができる。
実施の形態1のように、複数の色チャンネルを利用して、コード画像Dと独立してタイミングマークDを送る場合には、例えば、タイミングマークDは、少なくともコード画像Dの描画範囲(コード領域)の全体を占める画像として表すことができる。そして、タイミングマークDは、均一な画像として表すことができる。「均一な画像」とは、例えば、図3に示す矩形の領域(クロスハッチングで示す領域)全体に最大の階調値で表わした画像である。図3に示した例では、コード画像D31,D32の描画範囲と、タイミングマークDの占める範囲とが一致している。送信装置100の表示部130と、受信装置200の撮像部202との走査方式の関係で、撮影された1枚1枚のフレームでは、表示部130の画面が切り換わる瞬間等で、部分的に前後の画像が混ざってしまう等の不完全な映像が撮影されてしまうことがある。このため、タイミングマークDをコード画像D31,D32の全体を含む均一な画像として表すことで、タイミングマークD全体が欠けることなく読み込まれている場合には、コード画像D31,D32も全体が正しく読み込まれているとみなすことができる。
なお、上記の例では、タイミングマークD付きのコード画像D31,D32が連続して表示される期間(ボディ期間)が2フレーム期間である。そして、ボディ期間の前後の、タイミングマークD無しのコード画像D31,D32が表示される期間(ガード期間)がそれぞれ1フレーム期間である。しかし、ボディ期間の長さ(フレーム数)及びガード期間の長さ(フレーム数)は、種々の条件に応じて決められるべきであり、実施の形態1の発明は、上記の例に限定されない。
タイミングマークDは、上記のものに限られるわけではない。また、タイミングに余裕があれば、タイミングマークDの欠けをチェックする(タイミングマークDの全体が撮像されたか否かの確認をする)必要はなくなる。そして、さらに、タイミングマークDの形状の決定に関する自由度は高くなる。タイミングの余裕は、表示のフレームレートに対して撮像のフレームレートが高いほど大きくなる。また、ガードフレームの数及びボディフレームの数が多いほど大きくなる。また、例えば、タイミングマークDは、画面全体を一定の色に塗りつぶしたマーク、一様な模様で埋め尽くしたマーク、円形のマーク、多重円のマーク、四角のマーク又は四角形の周りをさらに四角く囲んだ縁取りつきのマーク等を採用することができる。
複数のタイミングマークDを用いる場合には、異なるタイミングマークDに異なる意味を持たせることができる。言い換えると、データファイルDに対するデータ部分に応じて異なるタイミングマークDを付加することができる。例えば、複数のタイミングマークDで、一連のデータの区切り、データの開始又はデータの終了等を示すことができる。
図11(A)〜図11(M)は、異なる意味を持つ異なるタイミングマークDの組合せの例を示す。
例えば、タイミングマークDとして、図11(A)に示されている円形のタイミングマークD2AによりデータファイルDの先頭のデータ部分であることを示すことができる。図11(B)に示されている円形の外側に1つの輪を描いたタイミングマークD2Bにより、データファイルDの中間(先頭及び末尾以外)のデータ部分であることを示すことができる。図11(C)に示されている円形の外側に2つの輪を描いたタイミングマークD2Cにより、データファイルDの末尾のデータ部分を示すことができる。ここで、図11(A)〜図11(C)に描かれている円形は、コード画像Dに対応する位置に表示されることが望ましい。つまり、図11(A)〜図11(C)に描かれている円形は、コード画像Dが表示される領域に表示されることが望ましい。
また、タイミングマークDとして、図11(D)に示されている矩形のタイミングマークD2DによりデータファイルDの先頭のデータ部分であることを示すことができる。図11(E)に示されている矩形の外側に1つの枠を描いたタイミングマークD2Eにより、データファイルDの中間(先頭及び末尾以外)のデータ部分であることを示すことができる。図11(F)に示されている矩形の外側に2つの枠を描いたタイミングマークD2Fにより、データファイルDの末尾のデータ部分であることを示すことができる。ここで、図11(D)〜図11(F)に描かれている矩形は、コード画像Dに対応する大きさで描画され、コード画像に対応する位置に表示されることが望ましい。つまり、図11(D)〜図11(F)に描かれている矩形は、コード画像Dが表示される領域に表示されることが望ましい。
さらに、データファイルDを、それぞれ複数の部分(ここでは「セグメント」と言う)に区切ることができる場合について説明する。「セグメント」は、「ショット」が1つ又は複数あつまったものである。1ショットでエラーが発生した場合でも、ファイル転送が全体で失敗とならないように区切ったものである。つまり、「セグメント」は、ファイル転送が「部分的に成功した」と言えるように区切ったものである。サイネージなどに応用した場合には、同じデータを何度も繰り返して表示される。1巡目で一部のショットがエラーとなっても、2巡目でそのショットを含むセグメントの転送が成功すれば、全体としてファイル転送を成功とできる。撮影する際の手ぶれ等を考えると、1回の転送に必要な複数のショットを、全てエラーなしで撮影するのは困難である。「セグメント」は、このようなエラーを救済する仕組みである。
図11(G)に示されている矩形のタイミングマークD2Gにより、データファイルDの先頭のデータ部分であることを示すことができる。
図11(H)に示されている矩形の左側に、その矩形よりも小さい矩形を1つ配置したタイミングマークD2Hにより、データファイルDの中間(先頭及び末尾以外)のデータ部分であることを示すことができる。
図11(I)に示されている矩形の左側に、その矩形よりも小さい矩形を2つ配置したタイミングマークD2Iにより、データファイルDの末尾のデータ部分であることを示すことができる。
図11(J)に示されている矩形の左側に、その矩形よりも小さい矩形を3つ配置したタイミングマークD2Jにより、各セグメントの先頭又は末尾のデータ部分であることを示すことができる。
「各セグメントの先頭又は末尾のデータ部分」とは、例えば、1セグメントが10ショットで構成されている場合には、1セグメントの1ショット目又は10ショット目のことである。
ここで、図11(G)〜図11(J)に描かれている大きな矩形は、コード画像Dに対応する大きさで描画され、コード画像Dに対応する位置に表示されることが望ましい。つまり、図11(G)〜図11(J)に描かれている大きな矩形は、コード画像Dが表示される領域に表示されることが望ましい。
なお、タイミングマークDとして、図11(K)に示されている矩形のタイミングマークD2KによりデータファイルDの先頭のデータ部分であることを示すことができる。
図11(L)に示されている矩形の両側にそれぞれ1つの長方形を描いたタイミングマークD2Eにより、データファイルDの中間(先頭及び末尾以外)のデータ部分であることを示すことができる。
図11(M)に示されている矩形の両側にそれぞれ2つの長方形を描いたタイミングマークD2Mにより、データファイルDの末尾のデータ部分であることを示すこともできる。
ここで、図11(K)〜図11(M)に描かれている大きな矩形は、コード画像Dに対応する大きさで描画され、コード画像Dに対応する位置に表示されることが望ましい。つまり、図11(K)〜図11(M)に描かれている大きな矩形は、コード画像Dが表示される領域に表示されることが望ましい。
これらのような場合には、例えば、読出し部112からマーク生成部106にデータファイルD中の各データ部分の位置(例えば、先頭、中間又は末尾)を示す情報を与えることができる。また、各データ部分が属するセグメントの先頭、中間又は末尾を示す情報を与えることができる。これらのような情報に基づいて、マーク生成部106は、対応するタイミングマークDを生成すればよい。
以上のように、実施の形態1では、データファイルD全体をコード画像Dに変換して、その後で、コード画像Dを動画として表示している。これにより、演算能力の低い端末でも効率よく転送用の映像を表示することが出来る。
一方、撮像部202で撮影された映像は、動画データとして映像バッファ204に格納されていく。そして、映像を撮影した後に、映像バッファ204から1フレームずつ映像データDが取り出されて復号処理が行われる。従って、受信装置200も演算能力の低い端末で構成することができる。
以上では、コード画像Dが1つのフレームと次のフレームの間で切り換えられるものとして説明した。しかし、ホールド型の表示装置である液晶表示装置で、点順次走査方式又は線順次走査方式で表示画像を切り替える場合には、表示される画像の切り換わりには1フレーム期間を要する。この場合には、「切り換わりの直前及び直後のタイミング」を、「切り換わりが行われたフレーム及びその直前のフレーム及び直後のフレーム」とし、1ショットについて3フレームの期間はタイミングマークDが付加されず、復号の対象とされないこととする場合もある。
以下この点に関し、図12(A)、図12(B)、図13(A)、図13(B)、図13(C)、図13(D)、図14(A)、図14(B)、図14(C)、図15(A)、図15(B)及び図15(C)を参照して説明する。図12(A)及び図12(B)は、表示フレーム期間内の表示画像の変化を示す図である。図13(A)〜図13(D)は、表示フレーム期間内の表示画像の変化を示す図である。
図14(A)〜図14(C)は、表示フレーム期間内の表示画像の変化を示す図である。図15(A)〜図15(C)は、表示フレーム期間内の表示画像の変化を示す図である。
図12(A)には、表示部130で表示される表示画像の変化を示す。上部の符号Fd〜Fdは表示フレームの番号を表す。図12(B)には、撮像部202による撮像で得られる画像(撮像画像)の変化を示す。上部の符号Fp〜Fpは、撮像フレームの番号を表す。図13(A)〜図15(C)は、表示フレーム期間内における表示画像の変化を示す。
図12(A)及び(B)に示す例では、表示のフレームレート(表示のフレーム期間T)と撮像のフレームレート(撮像のフレーム期間T)は同じである。しかし、撮像のフレームが表示のフレームに対して、半フレーム期間だけずれているものとしている。また、撮像画面が表示画面に対して傾いていないものとしている。即ち、撮像画面の水平方向と表示画面の水平方向とが一致しているものとしている。
図12(A)において、各フレーム内における画像の更新は、1フレーム期間(表示のフレーム期間T)をかけて画面の上から下へと順に行われることを斜めの線SCで示す。
簡単のため、コード画像Dが画面の中央に位置するものとする。また、順次切り換わるコード画像Dを符号D3A、符号D3B及び符号D3Cで示す。さらに、コード画像D3A,D3B,D3Cの上半分をそれぞれD3AU,D3BU,D3CUで示す。コード画像D3A,D3B,D3Cの下半分をD3AL,D3BL,D3CLで示す。また、コード画像Dに付加されるタイミングマークをDで示す。タイミングマークDの上半分をD2Uで示す。タイミングマークDの下半分をD2Lで示す。
画像の更新について、表示フレームFdで説明する。画面を更新した時点を時点tns(nはフレームの番号を表す自然数)で示す。表示フレームFdの画面の更新がコード画像の上端まで進んだ時点を時点t1bで示す。表示フレームFdの画面の更新が画面の中央まで進んだ時点を時点t1mで示す。表示フレームFdの画面の更新がコード画像の下端まで進んだ時点を時点t1eで示す。t1bでは、表示フレームFdには、コード画像D3Aが表示されている。時点t1mでは、表示フレームFdのコード画像Dの上側にはD3BUが表示されている。そして、時点t1mでは、表示フレームFdのコード画像Dの下側にはD3ALが表示されている。時点t1eでは、表示フレームFdには、コード画像D3Bが表示されている。
図12(A)及び図12(B)で示す例ではタイミングマークDは帯状のものでありコード画像Dの左側にのみ位置している。
撮像部202は、各撮像フレームの全ての撮像期間にわたりシャッターが開放されているものとする。
図12(A)の例では、コード画像Dは6フレーム周期で切り換わる。そのうち、最初のフレームFdでコード画像Dの切り換わりが行われる。タイミングマークDの付加による画像の切り換わりは3番目のフレームFdで行わる。タイミングマークDの消去による画像の切り換わりは、5番目のフレームFdで行なわれる。
表示フレームFdの画面の更新について、図13を用いて説明する。コード画像Dの切り換わりが行われる表示フレームFdにおいて、画像の更新が画面の中央まで進んだ時点t1mでは、図13(A)に示すように、表示されているコード画像Dの下半分は、切り換わり前のコード画像D3Aの下半分D3ALが表示されている。また、表示されているコード画像Dの上半分は、切り換わり後のコード画像D3Bの上半分D3BUが表示されている。表示フレームFdにおいて、画像の更新がコード画像の下端まで進んだ時点t1eでは、図13(B)に示すように、表示されているコード画像Dの下半分も切り換わり後の画像D3Bの下半分D3BLとなる。時点t1mから時点t1eまでの間は、表示されるコード画像Dの下半分が次第に切り換わり前の画像D3Aから切り換わり後の画像D3Bに変化していく。
次の表示フレームFdにおいては、その全ての表示期間にわたりコード画像D3Bの全体が表示されている。
表示フレームFdの画面の更新について、図14を用いて説明する。次の表示フレームFdにおいて、タイミングマークDの付加のための画像の切り換わりが行なわれる。画像の更新がタイミングマークDの上端の位置まで進んだ時点t3b(上端の更新が始まる直前)では、図14(A)に示すように、タイミングマークDは一切表示されていない。
画像の更新が、画面の中央まで進んだ時点t3mでは図14(B)に示すように、タイミングマークDの上半分D2Uが表示され、タイミングマークDの下半分D2Lは表示されていない。
画像の更新がタイミングマークDの下端まで進んだ時点t3eでは、図14(C)に示すように、タイミングマークDの全体が表示されている。
即ち、時点t3bから時点t3eまでの時間をかけてタイミングマークDが画面の上側から下側へと次第に現れていく。
表示フレームFdにおいては、その全ての表示期間にわたり、コード画像D3BとタイミングマークDが表示されている。
次の表示フレームFdにおいては、タイミングマークDの消去のための画像の切り換わりが行なわれる。画像の更新がタイミングマークDの上端の位置まで進んだ時点t5bでは、図15(A)に示すように、タイミングマークDはその全体が表示されている。
画像の更新が、画面の中央まで進んだ時点t5mでは図15(B)に示すように、タイミングマークDの下半分D2Lが表示され、タイミングマークDの上半分D2Uが消去されている。
画像の更新がタイミングマークDの下端まで進んだ時点t5eでは、図15(C)に示すように、タイミングマークDの全体が消去されている。
即ち、時点t5bから時点t5eまでの時間をかけてタイミングマークDが上側から下側へと次第に消去されていく。
次の表示フレームFdにおいては、その全ての表示期間にわたりコード画像D3Bが表示され、タイミングマークDが表示されない。
次にコード画像Dの切り換わりが行われる表示フレームFdにおいて、画像の更新がコード画像Dの上端まで進んだ時点t7b(上端の更新が始まる直前)では、図13(C)に示すように、表示されるコード画像Dはすべて切り換わり前の画像D3Bである。
画像の更新がコード画像Dの中心まで進んだ時点t7mでは、図13(D)に示すように、表示されるコード画像Dの下半分は、切り換わり前のコード画像D3Bの下半分D3BLである。また、コード画像Dの上半分は、切り換わり後のコード画像D3Cの上半分D3CUである。時点t7bから時点t7mまでの間では、表示されるコード画像Dの上半分が次第に切り換わり前の画像D3Bから切り換わり後の画像D3Cに変化していく。
表示フレームFdと表示フレームFdとに跨る撮像フレームFpにおける撮像で得られる画像においては、コード画像Dの上半分は、切り換わり後の画像D3Bの上半分D3BUと同じである。しかし、コード画像Dの下半分は、切り換わり前の画像D3Aの下半分D3ALと切り換わり後の画像D3Bの下半分D3BLとが混合された画像D3ABLとなる。この混合の割合は、撮像画面内の縦方向位置によって異なり、対応する表示画面の各位置において、画像D3Aが表示される時間と、画像D3Bが表示される時間の割合に等しい。
次の撮像フレームFpにおける撮像で得られる画像においては、コード画像Dは全体として、コード画像D3Bと同じものとなる。一方、表示フレームFdでは、タイミングマークDが付加されていないのに対し、表示フレームFdの前半(更新が画面の中央に達するまでの期間)では、タイミングマークDが上から順に次第に現れる。このため、撮像フレームFpにおける撮像で得られる画像においては、タイミングマークDの下半分D2Lは現れない。また、タイミングマークDの上半分D2Uは、タイミングマークDの上半分D2Uが現れる画像と現れない画像とが混合された画像D2U0となる。この混合の割合は、対応する表示画面の各位置において、タイミングマークDが現れる時間と、タイミングマークDが現れない時間との割合に等しい。従って、撮像画像におけるタイミングマークDは、上側の方ほど濃く(階調値が大きく)、下側の方ほど薄い(階調値が小さい)ものとなる。
次の撮像フレームFpにおける撮像で得られる画像においては、コード画像Dは全体として、コード画像D3Bと同じものとなる。一方、表示フレームFdの後半(更新が画面の中央に達した時点以降の期間)では、タイミングマークDは、中央まで現れた状態からさらに下方へ次第に伸びていく。つまり、タイミングマークDの下半分D2Lも次第に現れてくる。一方、表示フレームFdでは、タイミングマークDは、その全体が現れている。このため、撮像フレームFpにおける撮像で得られる画像においては、タイミングマークDはその全体が現れる。但し、撮像フレームFpにおける撮像で得られる画像の下半分は、タイミングマークDの下半分D2Lが現れる画像と現れない画像とが混合された画像D2L0となる。この混合の割合は、各位置において、タイミングマークDが現れる時間と、タイミングマークDが現れない時間との割合に等しい。従って、撮像画像におけるタイミングマークDの下半分D2Lは、下側の方ほど薄く、上側の方ほど濃いものとなる。
次の撮像フレームFpにおける撮像で得られる画像においても、コード画像Dは全体として、コード画像D3Bと同じものとなる。一方、表示フレームFdの後半(更新が画面の中央に達した時点以降の期間)では、タイミングマークDはその全体が表示されている。しかし、表示フレームFdの前半(更新が画面の中央に達するまでの期間)では、タイミングマークDが上側から順に次第に消えて行く。このため、撮像フレームFpにおける撮像で得られる画像においては、タイミングマークDはその全体が現れる。但し、撮像フレームFpにおける撮像で得られる画像の上半分はタイミングマークDの上半分D2Uが現れる画像とタイミングマークDの上半分D2Uが現れない画像とが混合された画像D2U0となる。この混合の割合は、各位置において、タイミングマークDが現れる時間と、タイミングマークDが現れない時間との割合に等しい。従って、撮像画像におけるタイミングマークDの上半分D2Uは、上側の方ほど薄く、下側の方ほど濃いものとなる。
次の撮像フレームFpにおける撮像で得られる画像においては、コード画像Dは全体として、コード画像D3Bと同じものとなる。一方、表示フレームFdの後半(更新が画面の中央に達した時点以降の期間)では、タイミングマークDが上側から順に次第に消えていく。そして、表示フレームFdでは、タイミングマークDが付加されていないので、撮像フレームFpにおける撮像で得られる画像においては、タイミングマークDの上半分D2Uは現れない。そして、タイミングマークDの下半分は、タイミングマークDの下半分D2Lが現れる画像とタイミングマークDの下半分D2Lが現れない画像とが混合された画像D2L0となる。この混合の割合は、対応する表示画面の各位置において、タイミングマークDが現れる時間と、タイミングマークDが現れない時間との割合に等しい。従って、撮像画像におけるタイミングマークDは、下側の方ほど濃く、上側の方ほど薄いものとなる。
表示フレームFdと表示フレームFdとに跨る撮像フレームFpにおける撮像で得られる画像においては、撮像フレームFpの下半分は、切り換わり前の画像D3Bの下半分D3BLと同じである。しかし、撮像フレームFpの上半分は、切り換わり前の画像D3Bの上半分D3BUと切り換わり後の画像D3Cの上半分D3CUとが、画面内の縦方向位置における、画像D3Bと画像D3Cの表示時間の割合に応じて混合された画像D3BCUとなる。
以上の検討から分かる通り、撮像フレームFpにおいては、タイミングマークDの全体が濃く写っている。このため、撮像フレームFpで得られたコード画像Dは復号に適したものであることが分かる。
撮像フレームFp及びFpでは、タイミングマークDの濃さが縦方向位置によって異なる。この場合には、タイミングマークDが現れているか否かの判断を表示画面のライン毎に行なうこととする。例えば、濃さが予め定められた閾値以上であれば、そのラインのコード画像Dは復号に適したものと判断することとしても良い。
例えば、濃さが中程度の値を閾値とすれば、撮像フレームFpのコード画像Dの下半分D3Lの全部とコード画像Dの上半分D3Uの一部とは、復号に適したものと判定される。ここで「濃さが中程度の値」とは、撮像フレームの全ての撮像期間にわたりタイミングマークDが表示された場合の濃さと、撮像フレームの全ての撮像期間にわたりタイミングマークDが表示されない場合の濃さの中間の値である。撮像フレームFpのコード画像Dの上半分D3Uの全部とコード画像Dの下半分D3Lの一部とは、復号に適したものと判定されることになる。
このように判定する場合には、例えば、撮像フレームFpのコード画像Dの下半分D3Lと、撮像フレームFpのコード画像Dの上半分D3Uとを組み合わせたものを一つのコード画像Dの全体として、復号を行なうこととしても良い。
なお、タイミングマークDの濃さが閾値以上であるラインが、所定の数以上あると判定されたフレームのコード画像Dは、その全体が復号に適したものであると判定することとしても良い。
撮像フレームFpにおいては、タイミングマークDの下半分D2Lは現れない。そして、タイミングマークDの上半分D2Uは現れる。そのため、撮像フレームFpにおいては、タイミングマークDの濃さは縦方向位置によって異なる。
このような場合には、コード画像D3Bを全体として、復号に適さないものと判定することとしても良い。または、閾値を低くすることで、コード画像D3Bの上半分D3BUの一部を復号に適したものとしても良い。さらにまた、予め定められた数以上のラインにおいて、タイミングマークDの濃さが閾値以上と判定された場合には、コード画像D3Bの全体を復号に適したものと判定することとしても良い。
同様に撮像フレームFpにおいては、タイミングマークDの上半分D2Uは現れない。また、タイミングマークDの下半分D2Lは現れる。そのため、タイミングマークDの濃さは縦方向位置によって異なる。
このような場合には、コード画像D3Bを全体として、復号に適さないものと判定することとしても良い。または、閾値を低くすることで、コード画像D3Bの下半分D3BLの一部を復号に適したものとしても良い。さらにまた、予め定められた数以上のラインにおいて、タイミングマークDの濃さが閾値以上と判定された場合には、コード画像D3Bの全体を復号に適したものと判定することとしても良い。
撮像フレームFpにおいては、タイミングマークDがまったく現れない。コード画像D3Bの上半分D3BUは、切り換わり後の画像D3BUに等しい。また、コード画像D3Bの下半分D3BLは、切り換わり前の画像D3ALと切り換わり後の画像D3BLとが混合された画像D3ABLである。従って、撮像フレームFpのコード画像D3Bは、復号に適さない。
同様に、撮像フレームFpにおいては、タイミングマークDは現れない。コード画像D3Bの下半分は、切り換わり前の画像D3BLに等しい。また、コード画像D3Bの上半分は、切り換わり前の画像D3BUと切り換わりの画像D3CUとが混合された画像D3BCUである。従って、撮像フレームFpのコード画像D3Bは復号に適さない。
コード画像Dが復号に適さないことは、タイミングマークDが全く現れないことに基づいて判断することができる。
以上、撮像部202のシャッターの開放時間(露光時間)が各撮像のフレーム期間Trの全体にわたる場合について説明した。しかし、シャッターの開放時間が、各撮像のフレーム期間Tの一部のみを示す場合には、上記の混合割合はシャッターの開放時間内における、切り換わり前の画像が表示される期間と切り換わり後の画像が表示される期間との割合となる。
なお、撮像部202による撮像により得られる画像において、表示部130の表示画面が傾いている場合がある。このため、表示画面のライン毎にコード画像Dが復号に適したものか否かの判定を行う場合には、撮像により得られた画像(映像データD)において、表示部130のラインの方向を特定する必要がある。
また、表示画面のライン毎の判定の代わりに、互いに連続する複数のラインからなる縦方向位置の範囲ごとに、コード画像Dが復号に適したものか否かの判定を行うこともできる。言い換えると、複数のラインからなる帯状の領域ごとに、コード画像Dが復号に適したものか否かの判定を行うこともできる。
なお、上記の実施の形態1では、コード画像及びタイミングマークを赤色(R)、青色(B)及び緑色(G)の三原色のデータで構成しているが、本発明はこれに限定されず、上記とは異なる色のデータで構成することとしても良い。但し、三原色のデータで構成する方が、例えば図2に示すように合成部122で合成することにより多重化する場合、及び図5に示すように分離部208で分離を行う場合の処理が簡単であり、効率が良い。以下の実施の形態についても同様である。
実施の形態2.
上記の実施の形態1では、合成部122は、タイミングマークD及びコード画像Dを、それぞれの色チャンネルに割り当てて合成している。そして、合成部122は、カラーの合成画像D61を生成している。しかし、本発明はこのような例に限定されるものではない。例えば、マーク生成部106、第1コード生成部116A及び第2コード生成部116Bから出力される画像D,D31,D32をそれぞれ別個に連結して、別個の映像を作成することができる。そして、合成部122でこれら映像をそれぞれの色チャンネルに割り当てて合成してもよい。
その場合の構成を図16に示す。図16は、実施の形態2における送信装置100aの構成を概略的に示すブロック図である。図16に示される送信装置100aは、図2の映像バッファ126と、動画再生部128と、合成部122の代わりに、第1映像バッファ126A、第2映像バッファ126B、第3映像バッファ126C、第1動画再生部128A、第2動画再生部128B、第3動画再生部128C及び合成部122bを有する。実施の形態1で説明した送信装置100の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。送信装置100と同様の構成要素は、送信データ記憶部102、データ処理部110、基準クロック発生部104、マーク生成部106及び表示部130である。また、データ処理部110の読出し部112、データ分割部114、第1コード生成部116A及び第2コード生成部116Bも実施の形態1と同様の構成要素である。また、マーク生成部106の画像記憶部107も実施の形態1と同様の構成要素である。
第1映像バッファ126Aは、第1コード生成部116Aで生成された第1コード画像D31を順に蓄積する。第1映像バッファ126Aは、第1コード画像D31を順に蓄積する。そして、第1映像バッファ126Aは、これらを連結し、第1コード映像D64を生成する。つまり、第1映像バッファ126Aは、蓄積した第1コード映像D64を連結する。そして、第1映像バッファ126Aは、第1コード映像D64を生成する。
第2映像バッファ126Bは、第2コード生成部116Bで生成された第2コード画像D32を順に蓄積する。第2映像バッファ126Bは、第2コード画像D32を順に蓄積する。そして、第2映像バッファ126Bは、これらを連結し、第2コード映像D65を生成する。つまり、第2映像バッファ126Bは、蓄積した第2コード映像D65を連結する。そして、第2映像バッファ126Bは、第2コード映像D65を生成する。
第3映像バッファ126Cは、マーク生成部106で生成されたタイミングマークDを順に蓄積する。第3映像バッファ126Cは、タイミングマークDを順に蓄積する。そして、第3映像バッファ126Cは、これらを連結し、タイミングマーク映像D21を生成する。つまり、第3映像バッファ126Cは、蓄積したタイミングマークDを連結する。そして、第3映像バッファ126Cは、タイミングマーク映像D21を生成する。
第1動画再生部128Aは、データファイルDのうち、第1映像バッファ126Aが処理するコード画像D31の連結が終了した時点で、映像バッファ126Aに蓄積されたデータ(第1コード映像D64)を、フレーム毎に順次読み出して動画として再生する。つまり、第1動画再生部128Aは、第1コード映像D64を順次読み出して動画として再生する。第1動画再生部128Aは、フレーム毎に第1コード映像D64を読み出す。第1動画再生部128Aが第1コード映像D64を読み出すタイミングは、第1映像バッファ126Aでコード画像D31の連結が終了した時点である。
第2動画再生部128Bは、データファイルDのうち、第2映像バッファ126Bが処理するコード画像D32の連結が終了した時点で、映像バッファ126Bに蓄積されたデータ(第2コード映像D65)を、フレーム毎に順次読み出して動画として再生する。つまり、第2動画再生部128Bは、第2コード映像D65を順次読み出して動画として再生する。第2動画再生部128Bは、フレーム毎に第2コード映像D65を読み出す。第2動画再生部128Bが第2コード映像D65を読み出すタイミングは、第2映像バッファ126Bでコード画像D32の連結が終了した時点である。
第3動画再生部128Cは、データファイルDのすべてのデータのコード映像D64,D65への変換が終了した時点で、映像バッファ126Cに蓄積されたデータ(タイミングマーク映像D21)を、フレーム毎に順次読み出して動画として再生する。つまり、第3動画再生部128Cは、タイミングマーク映像D21を順次読み出して動画として再生する。第3動画再生部128Cは、フレーム毎にタイミングマーク映像D21を読み出す。第3動画再生部128Cがタイミングマーク映像D21を読み出すタイミングは、映像バッファ126A,126Bでコード画像D31,D32の連結が終了した時点である。
合成部122bは、第1動画再生部128Aから与えられる第1コード映像D64と、第2動画再生部128Bから与えられる第2コード映像D65と、第3動画再生部128Cから与えられるタイミングマーク映像D21とを、それぞれ独立した色チャンネルに割り当てて合成する。そして、合成部122bは、1データファイルD分の合成映像D66(カラー映像)を生成する。
図16の送信装置100aから送信されるデータ(合成映像D66)は実施の形態1で説明した図5の受信装置200で受信できる。
実施の形態3.
実施の形態1では、復号に適したコード画像Dを、タイミングマークDで示すこととしている。しかし、タイミングマークDの代わりに、表示部130とは別個の発光部からの光で復号に適したコード画像Dを示すようにしても良い。以下ではそのような実施の形態3を説明する。
図17は、本発明の実施の形態3の送信装置100cを示す。図18は、実施の形態3の受信装置200cを示す。送信装置100cは、マーク生成部106の代わりに発光部156を備える。また、送信装置100cは、合成部122の代わりに合成部122cを備えている。受信装置200cは、マーク認識部210の代わりに発光検出部260を備える。実施の形態1で説明した送信装置100の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。送信装置100と同様の構成要素は、送信データ記憶部102、データ処理部110、基準クロック発生部104、映像バッファ126、動画再生部128及び表示部130である。また、データ処理部110の読出し部112、データ分割部114、第1コード生成部116A及び第2コード生成部116Bも実施の形態1と同様の構成要素である。
実施の形態1で説明した受信装置200の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。受信装置200と同様の構成要素は、撮像部202、映像バッファ204、読出し部206、分離部208、画像切出し部220、コード復号部230、合成部242及び受信データ記憶部244である。また、画像切出し部220の第1切出し部222A及び第2切出し部222Bも実施の形態1と同様の構成要素である。また、コード復号部230の第1復号部232A及び第2復号部232Bも実施の形態1と同様の構成要素である。
上述のように、図17の送信装置100cは、図2の送信装置100と概して同じであるが、マーク生成部106の代わりに、発光部156を備えている。また、合成部122の代わりに合成部122cを備えている。
合成部122cは、第1コード生成部116Aからの第1コード画像D31と第2コード生成部116Bからの第2コード画像D32を合成する。図2の合成部122とは異なり、タイミングマークDは合成されない。
合成部122cによる合成の結果、送信用データ(転送データ)が、赤チャンネル及び青チャンネルに割り当てられた合成画像D67が得られる。
映像バッファ126は、この合成画像D67を順次連結する。連結することで得られた合成映像D68においても、実施の形態1と同様に、1ショット期間T(4フレーム期間)毎にコード画像Dの内容が切り換わる。
発光部156は、表示部130の表示画面131に隣接して配置されている。つまり、発光部156は、受信装置200cの撮像部202により、表示部130の表示画面131と同一視野で撮影できるように配置されている。
発光部156は、LED等で構成されたものである。発光部156は、基準クロック発生部104で発生されたクロック信号CLに同期して、合成映像D68においてコード画像Dが切り換わるタイミングの直前及び直後の期間以外の期間のみ光を発光する。例えば、発光部156が光を発光する期間は、コード画像Dの切り換わりの直前及び直後のフレーム期間(ガード期間)以外の期間(ボディ期間)である。発光部156は、例えば、緑色の光を発光する。送信装置100cにおいて別の役割を持つモニターランプを発光部156として利用しても良い。例えば、電源のオンオフを示すために用いられているモニターランプを発光部156として利用しても良い。
発光部156における発光を、コード生成部116A及び116Bにおけるコード画像D31,D32の出力と同期させるため、読出し部112は1ショットのデータ(1ショット期間Tで表示されるコード画像D)を読み出す度に、そのことを示す信号(同期信号SY)を出力する。そして、発光部156は、読出し部112からの上記の信号(同期信号SY)を受けて、発光のタイミングを決める。
上述のように、図18に示される受信装置200cは、図5の受信装置200と概して同じであるが、マーク認識部210の代わりに、発光検出部260を備えている点で異なる。
撮像部202は、映像(合成映像D68)が表示された送信装置100cの表示部130の表示画面131と発光部156とを同一視野で撮像する。そして、撮像部202は、撮像により、表示画面131に表示された映像(合成映像D68)及び発光部156からの光を含む映像を取得する。
実施の形態1と同様に、撮像部202による撮像で得られるデータ(映像データD)は映像バッファ204に蓄積される。1データファイルDのデータがすべて映像バッファ204に蓄積された後に、読出し部206で1フレーム(フレームのデータD)ずつ読み出される。フレームのデータDは、分離部208で分離される。緑色の成分値のデータは、発光検出部260に供給される。赤色の成分値のデータは、第1切出し部222Aに供給される。青色の成分値のデータは、第2切出し部222Bに供給される。
発光検出部260は、分離部208から与えられる緑色の成分値のデータに基づき、各フレームにおいて発光部156が発光した状態で写っているか否かを判定する。発光検出部260は、発光した状態で写っていると判定したとき(発光を検出したとき)は、そのフレームにおけるコード画像Dは正しく復号することが可能なものであると判定する。発光検出部260は、この判定結果を画像切出し部220に伝達する。発光検出部260は、画像切出し部220に対してコード画像Dの切出しを指示する。
画像切出し部220は、この指示(画像切り出し信号D10)に応じてコード画像Dの切出しを行なう。これにより、発光が検出されたフレームからコード画像Dが切出される。
上記以外の点で、実施の形態3は、実施の形態1と同じである。
実施の形態4.
実施の形態3では、発光部156がコード画像Dとは異なる色の光を発光するものである。受信装置200cでは撮像画像中の画像部分の色で発光部156からの発光を分離している。しかし、発光部156の位置又は明滅のタイミングなどに基づいて、発光部156からの光を分離するようにしても良い。以下ではそのような実施の形態4を説明する。
図19は、本発明の実施の形態4の送信装置100dを示す。図20は、実施の形態4の受信装置200dを示す。
図19の送信装置100dは、図2の送信装置100と概して同じである。しかし、送信装置100dは、マーク生成部106の代わりに、図17の送信装置100cと同様に、発光部158を備えている。そして、送信装置100dは、データ処理部110の代わりに、データ処理部110dを備えている。そして、送信装置100dは、合成部122の代わりに合成部122dを備えている。
データ処理部110dは、図2のデータ処理部110と概して同じであるが、データ分割部114の代わりに、データ分割部114dを備えている。そして、データ処理部110dは、第1コード生成部116A及び第2コード生成部116Bに加えて第3コード生成部116Cを備えている。
実施の形態1で説明した送信装置100の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。送信装置100と同様の構成要素は、送信データ記憶部102、基準クロック発生部104、映像バッファ126、動画再生部128及び表示部130である。また、データ処理部110の読出し部112、第1コード生成部116A及び第2コード生成部116Bも実施の形態1と同様の構成要素である。
実施の形態1で説明した受信装置200の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。受信装置200と同様の構成要素は、撮像部202、映像バッファ204、読出し部206、分離部208及び受信データ記憶部244である。また、画像切出し部220dの第1切出し部222A及び第2切出し部222Bも実施の形態1と同様の構成要素である。また、コード復号部230dの第1復号部232A及び第2復号部232Bも実施の形態1と同様の構成要素である。
データ分割部114dは、読出し部112により読み出された各ショットのデータを、3つのデータ部分に分割する。そして、データ分割部114dは、第1のデータ部分(第1データユニットD51)を第1コード生成部116Aに与える。データ分割部114dは、第2のデータ部分(第2データユニットD52)を第2コード生成部116Bに与える。データ分割部114dは、第3のデータ部分(第3データユニットD53)を第3コード生成部116Cに与える。
上述のように、第1コード生成部116A及び第2コード生成部116Bは、実施の形態1における第1コード生成部116A及び第2コード生成部116Bと同様である。
第3コード生成部116Cは、データ分割部114から与えられた第3データユニットD53を、対応するコード画像(第3コード画像D33)に変換する。即ち、第3コード生成部116Cは、第3データユニットD53を、図形コードに変換する。そして、第3コード生成部116Cは、さらにこの図形コードを、これに対応するコード画像(第3コード画像D33)に変換する。そして、第3コード生成部116Cは、第3コード画像D33を出力する。
このように、第3コード生成部116Cは、1ショットのデータDを3つのチャンネルに分割する。このため、第3コード生成部116Cは、1ショットのデータDの量を、実施の形態1の場合よりも多くすることができる。
合成部122dは、第1コード生成部116Aから出力される第1コード画像D31と、第2コード生成部116Bから出力される第2コード画像D32と、第3コード生成部116Cから出力される第3コード画像D33とを、それぞれ独立した色チャンネルに割り当てて合成する。そして、合成部122dは、合成画像D61(カラー画像)を生成する。
例えば、合成部122dは、第1コード画像を赤(R)チャンネルに割り当てて合成を行う。そして、合成部122dは、第2コード画像を青(B)チャンネルに割り当てて合成を行う。そして、合成部122dは、第3コード画像を緑(G)チャンネルに割り当てて合成を行う。このような処理の結果、赤色、青色及び緑色のチャンネルに割り当てられた合成画像D61が得られる。
この合成画像D61を順次連結することで得られる合成映像D63においても、実施の形態1と同様に、1ショット期間T(4フレーム期間)毎にコード画像Dの内容が切り換わる。
発光部158は、実施の形態3の発光部156と同様に、表示部130の表示画面131に隣接して配置される。そして、発光部158は、受信装置200dの撮像部202により、表示部130の表示画面131と同一視野で撮影できるように配置されている。
また、発光部158は、実施の形態3の発光部156と同様に、LED等で構成されたものである。発光部158は、基準クロック発生部104で発生されたクロック信号CLに同期して、合成映像においてコード画像Dが切り換わるタイミングの直前及び直後の期間以外の期間のみ発光する。例えば、発光部158は、コード画像Dの切り換わりの直前及び直後のフレーム期間(ガード期間)以外の期間(ボディ期間)のみ発光する。実施の形態3について述べたのと同様に、送信装置100dにおいて別の役割を持つモニターランプを発光部158として利用しても良い。
例えば、送信装置100dは、電源のオンオフを示すために用いられているモニターランプを発光部158として利用しても良い。
実施の形態3の発光部156は、第1コード画像D31及び第2コード画像D32に割り当てられる色とは異なる色を発光するものであった。即ち、発光部156は、上記の例では緑色の光を発光するものであった。しかし、実施の形態4の発光部158は、発光する光に色についての上記のような制約はない。
発光部158における発光を、コード生成部116A、コード生成部116B及びコード生成部116Cにおけるコード画像D31,画像D32,画像D33の出力と同期させるため、読出し部112は、1ショットのデータDを読み出す度に、そのことを示す信号(同期信号SY)を出力する。そして、発光部158は、読出し部112からの上記の信号(同期信号SY)を受けて、発光のタイミングを決める。
図20に示される受信装置200dは、図5の受信装置200と概して同じであるが、マーク認識部210の代わりに、発光検出部262を備えている。また、受信装置200dは、画像切出し部220の代わりに画像切出し部220dを備えている。また、受信装置200dは、コード復号部230の代わりにコード復号部230dを備えている。
画像切出し部220dは、第1切出し部222A及び第2切出し部222Bのほかに、第3切出し部222Cを備える点で、画像切出し部220と異なる。
コード復号部230dは、第1復号部232A及び第2復号部232Bのほかに、第3復号部232Cを備える点で、コード復号部230と異なる。
撮像部202は、映像が表示された送信装置100dの表示部130の表示画面131と発光部158とを同一視野で撮像するものである。撮像部202は、撮像により、表示画面131に表示された合成映像D63及び発光部158からの光を含む映像を取得する。
実施の形態1と同様に、撮像部202による撮像で得られるデータは、映像バッファ204に蓄積される。1データファイルDのデータがすべて映像バッファ204に蓄積された後に、読出し部206で1フレームずつ読み出される。読出し部206に読み出されたフレームのデータDは、分離部208に供給される。また、読出し部206に読み出されたフレームのデータDは、発光検出部262にも供給される。
分離部208では、読出し部206からのフレームのデータDが、赤色成分のデータD9R、青色成分のデータD9B及び緑色成分のデータD9Gに分離される。そして、それぞれ第1切出し部222A、第2切出し部222B及び第3切出し部222Cに供給される。つまり、赤色成分のデータD9Rは、第1切出し部222Aに供給される。青色成分のデータD9Bは、第2切出し部222Bに供給される。緑色成分のデータD9Gは、第3切出し部222Cに供給される。
発光検出部262は、読出し部206から供給される各フレームのデータDを順次受信する。発光検出部262は、順次受信したフレームのデータDで構成される映像を解析する。そして、発光検出部262は、各フレームの画像に含まれるコード画像Dと、映像内での発光部158からの光の位置とを特定する。ここで「光の位置」とは、発光部158からの光に対応する画像部分である。発光検出部262は、映像内での発光部158からの光の位置を、発光部158からの光の位置関係及び映像中の発光部158の明滅のタイミングから特定する。そして、発光検出部262は、各フレームのデータDにおいて発光部158が発光した状態で写っているか否かを判定する。発光した状態で写っていると判定したとき(発光を検出したとき)には、発光検出部262は、そのフレームにおけるコード画像は正しく復号することが可能なものであると判定する。発光検出部262は、この判定結果を画像切出し部220dに伝達する。そして、発光検出部262は、画像切出し部220dに対してコード画像Dの切出しを指示する(画像切り出し信号D10)。
画像切出し部220dは、この指示(画像切り出し信号D10)に応じてコード画像Dの切出しを行なう。これにより、発光が検出されたフレームからコード画像Dが切出される。即ち、第1切出し部222Aは、発光が検出されたフレームの赤色成分の画像から、第1コード画像D11Rを切り出す。
第2切出し部222Bは、発光が検出されたフレームの青色成分の画像から、第2コード画像D11Bを切り出す。
第3切出し部222Cは、発光が検出されたフレームの緑色成分の画像から、第3コード画像D11Gを切り出す。
コード復号部230dは、画像切出し部220dで切り出された画像に含まれているコード画像D11を復号する。そして、コード復号部230dは、この復号されたコード画像D11に対応する色単位の復号合済み復号データD12を取得する。
第1復号部232A及び第2復号部232Bは、図5に示されている第1復号部232A及び第2復号部232Bと同様である。
第3復号部232Cは、第3切出し部239Cで切り出された画像に含まれている第3コード画像D11Gを復号する。そして、第3復号部232Cは、色単位の復号済み復号データD12Cを生成する。
合成部242dは、第1復号部232A、第2復号部232B及び第3復号部232Cから出力される色単位の復号済み復号データD12R,D12B,D12Cを組み合わせる。そして、合成部242dは、これらの色単位の復号済み復号データD12R,D12B,D12Cを合成し、1ショット分の転送データD13を復元する。
上記以外の点で、実施の形態4は、実施の形態1と同じである。
実施の形態5.
実施の形態1では、各ショットのデータDを複数のデータ部分(データユニットD)に分け、それぞれを別の色チャンネルに割り当てて、異なる色のコード画像Dを生成して表示している。しかし、コード画像Dの生成に用いられる色チャンネルは一つであっても良い。以下ではそのような実施の形態5を説明する。
図21は、本発明の実施の形態5の送信装置100eを示す。図22は、実施の形態5の受信装置200eを示す。
図21の送信装置100eは、図2の送信装置100と概して同じであるが、データ処理部110の代わりに、データ処理部110eを備えている。また、送信装置100eは、合成部122の代わりに合成部122eを備えている。
図22の受信装置200eは、図5の受信装置200と概して同じであるが、分離部208の代わりに分離部208eを備えている。受信装置200eは、画像切出し部220の代わりに画像切出し部220eを備えている。受信装置200eは、コード復号部230の代わりにコード復号部230eを備えている。そして、受信装置200eには、合成部242が設けられていない。
実施の形態1で説明した送信装置100の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。送信装置100と同様の構成要素は、送信データ記憶部102、基準クロック発生部104、マーク生成部106、映像バッファ126、動画再生部128及び表示部130である。また、マーク生成部106の画像記憶部107も実施の形態1と同様の構成要素である。
受信装置200と同様の構成要素は、撮像部202、映像バッファ204、読出し部206、マーク認識部210、合成部242及び受信データ記憶部244である。
データ処理部110eは、図2のデータ処理部110とは異なり、単一のコード生成部116を備えている。また、データ処理部110eは、データ分割部114が設けられていない。読出し部112eからの各ショットのデータDが複数のチャンネルに分割されることなく、コード生成部116に供給される。
コード生成部116は、図2の第1コード生成部116A又は第2コード生成部116Bと同じものである。つまり、コード生成部116は、図2の第1コード生成部116A又は第2コード生成部116Bと同じ機能を有する。
合成部122eは、マーク生成部106からのタイミングマークDと、コード生成部116からのコード画像Dとを、それぞれ緑(G)チャンネル及び赤(R)チャンネルに割り当てて合成する。
合成部122eの出力(合成画像D61)は、映像バッファ126に供給される。
上記以外の点では、図21の送信装置100eの動作は図2の送信装置100と同じである。
分離部208eは、読出し部206で読み出されたフレームのデータDを、赤チャンネルと、緑チャンネルとに分離する。
画像切出し部220eは単一の画像切出し部222を有する。画像切出し部222は、分離部208eからの赤チャンネルの赤色の成分値のデータD9からコード画像D11Rを切出す。
コード復号部230eは復号部232を有する。コード復号部232は、画像切出し部222で切出されたコード画像D11Rを復号する。
コード復号部232の出力(色単位の復号済み復号データD12R)は受信データ記憶部244に供給される。
上記以外の点では、図22の受信装置200eの動作は図5の受信装置200と同じである。
実施の形態6.
実施の形態1では、タイミングマークDをコード画像Dと別の色チャンネルを用いて送るようにした。しかし、このような方法が適さない場合もある。例えば、表示部130又は撮像部202のどちらかがモノクロである場合には、このような方法を行うことができない。また、回転式カラーフィルターを用いて色を分離し、色毎に順次読み込む方式の場合には、このような方法を行うことができない。また、色チャンネルを複数利用できる場合でも、すべての色チャンネルをコード画像Dに割り当てたい場合もある。
これらの場合、タイミングマークDとしてコード画像Dを囲む図形を使用することもできる。図23、図24(A)、図24(B)及び図24(C)にこの場合の例を示す。図23は、タイミングマークDとコード画像Dとのレイアウトを示す概略図である。図24(A)、図24(B)及び図24(C)は、送信装置100の表示部130に表示される映像の時間的な変化を示す概略図である。図24(A)は、タイミングマークDを表わしている。図24(B)は、コード画像Dを表わしている。図14(C)は、各期間におけるタイミングマークDとコード画像Dとのレイアウトを表わしている。図24(A)及び図24(B)において、縦軸は各信号の出力の有無を示し、「H」で信号は出力され、「L」で信号は出力されない。図24(A)及び図24(B)において、横軸は時間を示している。
図23に示される例では、タイミングマークDがコード画像Dを囲む枠状の図形で構成されている。
図24(A)、図24(B)及び図24(C)は、送信装置100の表示部130に表示される映像の時間的な変化を示す概略図である。図24(A)及び図24(B)に示されているように、期間T,T,T,Tにおいては、タイミングマークDが表示されていない。このため、これら期間T,T,T,Tでは、コード画像Dの復号が行われない。一方、期間T及び期間Tにおいては、タイミングマークDが表示されている。このため、これらの期間T,Tに、コード画像Dの復号が行われる。
コード画像Dが切り換わる瞬間に撮影されたフレームでは、コード画像Dが不完全なことがある。しかし、タイミングマークD全体が撮影されている場合には、タイミングマークDの内側に位置するコード画像も正しく読み込めているとみなすことができる。
このようなタイミングマークDを用いることによって、連続的に順次表示されるコード画像Dを自動的に効率よく読み込むことができる。
以下に説明する実施の形態6及び7は、図23及び図24(A)〜図24(C)に示されるタイミングマークDを用いて、コード画像Dの切出しを行なうものである。
図25は、実施の形態6における送信装置100fを示す。図26は、実施の形態6における受信装置200fを示す。
図25に示される送信装置100fは、図21の送信装置100eと概して同じであるが、マーク生成部106の代わりに、マーク生成部106fを備えている。
送信装置100fは、合成部122eの代わりに合成部122fを備えている。
図26に示される受信装置200fは、概して図22の受信装置200eと同じであるが、分離部208eの代わりに分離部208fを備えている。受信装置200fは、マーク認識部210の代わりに、マーク認識部210fを備えている。
実施の形態1で説明した送信装置100の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。送信装置100と同様の構成要素は、送信データ記憶部102、基準クロック発生部104、映像バッファ126、動画再生部128及び表示部130である。また、マーク生成部106fの画像記憶部107は実施の形態1と同様の構成要素である。
実施の形態1で説明した受信装置200の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。受信装置200と同様の構成要素は、撮像部202、映像バッファ204、読出し部206及び受信データ記憶部244である。
マーク生成部106fは、タイミングマークDとしてコード生成部116で生成されるコード画像Dを取り囲む形状のものを生成する。例えば、図23に示すように、コード画像Dを取り囲むように形成された枠状のタイミングマークDを生成する。
合成部122fは、枠状のタイミングマークDとコード画像Dを合成する。
図21の構成では、コード画像DとタイミングマークDを異なる色チャンネルに割り当てている。しかし、図25の構成では使用される色チャンネルが一つである。コード画像DとタイミングマークDとは同じ色の画素値で表される。図25ではともに輝度値Yを表すものとして示している。
上記以外の点では、図25の送信装置100fの動作は図21の送信装置100eと同じである。
分離部208fは、合成画像(フレームのデータD)を解析し、中央に位置するコード画像Dと、その周囲に位置するタイミングマークDとを分離する。分離部208fは、形状及びその相対位置に基づいて、コード画像Dと、タイミングマークDとを分離する。分離部208fは、分離により生成されたタイミングマークDをマーク認識部210fに供給する(データD91Y)。分離部208fは、コード画像Dを切出し部222に供給する(データD92Y)。
画像切出し部222は、分離部208fからのコード画像D92Yから、コード画像D93Yを切出す。コード復号部232は、画像切出し部222で切出されたコード画像D93Yを復号する。コード復号部232の出力(復号データD94Y)は受信データ記憶部244に供給される。
マーク認識部210fは、分離部208fからデータD91Y(タイミングマークD)を受けとる。マーク認識部210fは、分離部208fから供給されたタイミングマークDに欠けがないことを確認する。マーク認識部210fは、タイミングマークDが含まれていたのと同じフレーム内のコード画像Dは復号に適したものであると判断する。マーク認識部210fは、切出し部222に対しコード画像Dの切出しを指示する(画像切り出し信号D10)。
上記以外の点では、図26の受信装置200fの動作は図22の受信装置200eと同じである。
実施の形態7.
図27は、実施の形態7の送信装置100gの構成を示す。図28は、実施の形態7の受信装置200gの構成を示す。
図27に示される送信装置100gは、図2の送信装置100と概して同じであるが、マーク生成部106の代わりに、マーク生成部106A及びマーク生成部106Bを備える。また、送信装置100gは、合成部122の代わりに合成部122gを備える。
実施の形態1で説明した送信装置100の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。送信装置100と同様の構成要素は、送信データ記憶部102、読出し部112、データ分割部114、第1コード生成部116A、第2コード生成部116B、基準クロック発生部104、映像バッファ126、動画再生部128及び表示部130である。また、マーク生成部106A,106Bの画像記憶部107A,107Bは、実施の形態1の画像記憶部107と同様の構成要素である。
実施の形態1では、タイミングマークDは、コード画像D31,D32と異なる色チャンネルに割り当てられている。実施の形態7では、タイミングマークD24は、コード画像D31と同じ色チャンネルに割り当てられる。また、タイミングマークD25は、コード画像D32と同じ色チャンネルに割り当てられる。この点で、実施の形態7は、実施の形態6と同様である。
マーク生成部106Aは、タイミングマークD24として第1コード生成部116Aで生成されるコード画像D31を取り囲む形状のものを生成する。例えば、第1コード生成部116Aで生成されるコード画像D31が図23に符号D(コード画像D)で示されるものである場合に、マーク生成部106Aは、このコード画像Dを取り囲むように形成された枠状のタイミングマークD24を生成する。
マーク生成部106Bは、タイミングマークD25として第2コード生成部116Bで生成されるコード画像D32を取り囲む形状のものを生成する。例えば、第2コード生成部116Bで生成されるコード画像D32が図23に符号D(コード画像D)で示されるものである場合に、マーク生成部106Bは、このコード画像Dを取り囲むように形成された枠状のタイミングマークD25を生成する。
なお、マーク生成部106Aで生成されるタイミングマークD24とマーク生成部106Bで生成されるタイミングマークD25とは、同じ形状及び大きさのものであっても良い。また、マーク生成部106Aで生成されるタイミングマークD24とマーク生成部106Bで生成されるタイミングマークD25とは、形状又は大きさが互いに異なっていても良い。
合成部122gは、マーク生成部106Aからの枠状のタイミングマークD24と第1コード生成部116Aからのコード画像D31とを合成して第1の合成画像D69を生成する。この第1の合成画像D69を第1の色チャンネルに割り当てる。例えば、第1の合成画像D69を赤のチャンネルに割り当てる。
合成部122gは、マーク生成部106Bからの枠状のタイミングマークD25と第2コード生成部116Bからのコード画像D32とを合成して第2の合成画像D70を生成する。この第2の合成画像D70を第2の色チャンネルに割り当てる。例えば、第2の合成画像D70を青のチャンネルに割り当てる。
そして、合成部122gは、合成画像D69及び合成画像D70を合成する。合成部122gは、合成画像D69及び合成画像D70を合成したカラー画像の合成画像D71を出力する。
映像バッファ126は、合成部122で生成された合成画像D71を蓄積する。そして、映像バッファ126は、蓄積した合成画像D71を連結して、合成映像D73(動画)を生成する。
上記以外の点では、図27の送信装置100gの動作は図2の送信装置100と同じである。
図28に示される受信装置200gは、概して図5の受信装置200と同じである。しかし、受信装置200gは、分離部208の代わりに分離部208gを備える。また、受信装置200gは、マーク認識部210の代わりに、マーク認識部210A及び210Bを備える。
実施の形態1で説明した受信装置200の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。受信装置200と同様の構成要素は、撮像部202、映像バッファ204、読出し部206、画像切出し部220、コード復号部230、合成部242及び受信データ記憶部244である。画像切出し部220の第1切出し部222A及び第2切出し部222Bも実施の形態1と同様の構成要素である。コード復号部230の第1復号部232A及び第2復号部232Bも実施の形態1と同様の構成要素である。
分離部208gは、読出し部206により読み出された各フレームのデータDを、赤色の成分値のデータD9R(赤チャンネルのデータ)と、青色の成分値のデータD9B(青チャンネルのデータ)とに分離する。
分離部208gは、さらに、赤チャンネルのデータ(赤色の成分値のデータD9R)を解析する。そして、分離部208gは、中央に位置するコード画像Dと、その周囲に位置するタイミングマークDとを分離する。コード画像DとタイミングマークDとの分離は、形状及びその相対位置に基づいて行われる。分離部208gは、この分離により生成されたタイミングマークDをマーク認識部210Aに供給する(色の成分値のデータD91R)。分離部208gは、この分離により生成されたコード画像Dを第1切出し部222Aに供給する(色の成分値のデータD92R)。
分離部208gはまた、青チャンネルのデータ(青色の成分値のデータD9B)を解析する。そして、分離部208gは、中央に位置するコード画像Dと、その周囲に位置するタイミングマークDとを分離する。コード画像DとタイミングマークDとの分離は、形状及びその相対位置に基づいて行われる。分離部208gは、この分離により生成されたタイミングマークDをマーク認識部210Bに供給する(色の成分値のデータD91B)。分離部208gは、この分離により生成されたコード画像Dを第2切出し部222Bに供給する(色の成分値のデータD92B)。
マーク認識部210Aは、分離部208gから色の成分値のデータD91R(タイミングマークD)を受けると、分離部208gから供給されたタイミングマークDに欠けがないことを確認する。そして、タイミングマークDに欠けがない場合には、マーク認識部210Aは、切出し部222Aに対して画像の切出しを指示する(画像切り出し信号D10R)。
マーク認識部210Bは、分離部208gから色の成分値のデータD91B(タイミングマークD)を受けると、分離部208gから供給されたタイミングマークDに欠けがないことを確認する。そして、タイミングマークDに欠けがない場合には、マーク認識部210Bは、切出し部222Bに対して画像の切出しを指示する(画像切り出し信号D10B)。
第1切出し部222Aは、マーク認識部210Aから赤色の成分のデータD10Rを受け取る。第1切出し部222Aは、マーク認識部210Aから指示されたタイミングで、分離部208gから与えられた赤色の成分のデータ(映像)D92Rから、第1コード画像を切り出す。
第2切出し部222Bは、マーク認識部210Bから青色の成分のデータD10Bを受け取る。第2切出し部222Bは、マーク認識部210Bから指示されたタイミングで、分離部208gから与えられた青色の成分のデータ(映像)D92Bから、第2コード画像を切り出す。
上記以外の点では、図28の受信装置200gの動作は図26の受信装置200と同じである。
なお、上記の例では、色チャンネル毎に別個のマーク生成部(106A,106B)を設けている。しかし、複数の色チャンネルに対して単一のマーク生成部を設け、この単一のマーク生成部で生成されたタイミングマークDを複数のコード画像Dに付加することとしても良い。
また、上記の例では、複数の色チャンネルに対して別個のタイミングマークDを生成して付加している。しかし、送信装置100gでは、複数の色チャンネルのいずれか1つにおいてのコード画像DにタイミングマークDを付して送信する。そして、受信装置200gでは、一つの色チャンネルのコード画像Dに付されたタイミングマークDを検出して、他の色チャンネルのコード画像Dの切出しにも利用することとしても良い。
一方、図27及び図28に示すように、色チャンネル毎にタイミングマークDを生成する場合には、複数の色チャンネルを用いた通信は、必ずしも同期して行う必要はない。送信されるコード画像Dの切り換わりのタイミングを色チャンネル相互間で異なるものとしても良い。
実施の形態8.
サイネージなどへの応用を考えた場合には、利用者の操作により転送を開始するのではなく、常時繰り返し表示しておき、利用者が任意のタイミングで撮影を行うことができるようにしておけば便利である。図29に示したのは、そのような利用を可能にするための例である。図29は、異なる種類のタイミングマークDを付したQRコードのシーケンスの一例を示す図である。図29の例では、タイミングマークDとして3種類使用している。第1のマークは、一連のデータ(データファイルD)の転送の開始時に使用する開始マーク付きのタイミングマークD2hである。つまり、転送される一連のデータ(データファイルD)の先頭部分を表す第1の識別画像である。第2のマークは、中間部で利用するタイミングマークD2mである。つまり、転送される一連のデータ(データファイルD)の先頭部分及び末尾部分以外を表す識別画像である。そして、第3のマークは、一連のデータの転送の終了時に使用する終了マーク付きのタイミングマークD2tである。つまり、転送される一連のデータ(データファイルD)の末尾部分を表す識別画像である。図29には示していないが、1回の表示で転送が完了するような小さなデータ用に別のタイミングマークDを用意してもよい。これにより、1ショットでデータファイルDの転送が完了する場合には、開始マーク及び終了マークを送ると、データファイルDの転送に時間がかかってしまう。このため、1ショットでデータファイルDを転送する際の専用のマークを作ることで、小さなデータを転送する場合の転送時間を短縮することができる。
このような構成にすることにより、受信装置200ではデータファイルDの開始点及び終了点を自動的に認識することができる。送信装置100は、送信データ記憶部102に記憶されていたデータファイルDを分割して、繰り返し表示する。受信装置200の合成部242は、分割されたデータを結合して、元のデータファイルDを再構築する。このデータファイルDの再構築の際に、データファイルDの開始点と終了点が必要となる。繰り返し表示される分割されたデータの中から、開始点から終了点までのデータを結合することで、元のデータファイルDを再現することができる。ここで、「分割されたデータ」は、実施の形態1では、QRコードとして説明している。そして、利用者の操作を簡単にすることができる。
例えば、一連のデータ(データファイルD)の転送に掛かる時間(転送時間)が2秒である場合には、この転送時間である2秒の2倍以上の時間をあらかじめ決めておく。例えば、5秒という時間をあらかじめ決めておく。ここで「転送時間」とは、データファイルDを表わす全てのコード画像Dを表示部130が表示する時間のことである。送信装置100hに一連のデータ(データファイルD)の転送を繰り返させる。そして、利用者に対し「5秒間撮影してください」というメッセージを表示する。利用者の操作によって受信装置200が撮影を開始すると、繰り返して表示される映像に対して、開始マークから終了マークまでが一連のデータとして記憶される。受信装置200での一連のデータの記憶が終わってから復号が開始される。
また、利用者の操作が応じて直ちに記憶を開始することもできる。受信装置200は、開始マークが検出されてからその次に終了マークが検出されたら記憶を終了する。そして、受信装置200は、記憶されたデータのうちの開始マークから終了マークまでを復号することとしても良い。
また、同じデータを繰り返し表示する場合だけではなく、複数のデータを順次転送する場合にも便利である。その場合には、タイミングマークDの種類を増やして、個々のデータの開始を示すタイミングマークD及び終了を示すタイミングマークDの他に全体の開始を示すタイミングマークD及び終了を示すタイミングマークDを用いてもよい。
図29に示す例ではコード領域の外部に線状または矩形形状で表わされたタイミングマークDを使用している。このような場合には、表示部130が点順次走査方式のものである場合には、タイミングマークDは、副走査方向において、コード領域の開始点より前に始まり、コード領域の終了点より後で終わるものを用いるのが望ましい。また、表示部130が線順次走査方式のものである場合には、タイミングマークDは、その走査方向(ラインに直交する方向)において、コード領域の開始点より前に始まり、コード領域の終了点より後で終わるものを用いるのが望ましい。表示部130の走査方式に合わせてタイミングマークDを描画するようにするとよい。これは、表示のフレームと撮影のフレームとのずれにより、表示の書き換え途中の映像が撮影されてしまうことがあるためである。このようにタイミングマークDを描画することにより、タイミングマークD全体が正しく撮影されていれば、コード領域も正しく撮影されていると期待することができる。
図29の例では、点順次走査方式の副走査方向が上側から下側の方向である場合を想定している。或いは、線順次走査方式の走査方向が上側から下側の方向である場合を想定している。図29のようにタイミングマークDは、コード領域より上から始まりコード領域より下で終わる図形として描画される。つまり、タイミングマークDは、コード領域より上から描画され、コード領域より下まで描画される図形である。ここで、「描画」とは、絵を描くことである。
図30は、送信装置100hの構成を概略的に示すブロック図である。図31は、受信装置200hの構成を概略的に示すブロック図である。
以下、一連のデータの先頭部分と、末尾部分と、それ以外の部分とで、異なるタイミングマークDを生成して、コード画像Dと合成する送信装置100hの例を図30に示す。
また、一連のデータの先頭部分と、末尾部分と、それ以外の部分とで、異なるタイミングマークDが付加されたコード画像Dを連結することで生成された映像を受信して、記録の制御を行う受信装置200hの例を図31に示す。
図30に示される送信装置100hは、図2の送信装置100と概して同じであるが、データ処理部110の代わりにデータ処理部110hを備える。データ処理部110hは、図2のデータ処理部110と概して同じであるが、読出し部112の代わりに、読出し部112hを備える。また、データ処理部110hは、マーク生成部106の代わりに、マーク生成部106hを備える。
実施の形態1で説明した送信装置100の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。送信装置100と同様の構成要素は、送信データ記憶部102、基準クロック発生部104、合成部122、映像バッファ126、動画再生部128及び表示部130である。また、データ処理部110hのデータ分割部114、第1コード生成部116A及び第2コード生成部116Bも実施の形態1と同様の構成要素である。また、マーク生成部106の画像記憶部107も実施の形態1と同様の構成要素である。
読出し部112hは、送信データ記憶部102から一連のデータ(データファイルD)の先頭を読出すときにそのことを示す信号(同期信号SY)をマーク生成部106hに供給する。また、読出し部112hは、送信データ記憶部102から一連のデータ(データファイルD)の末尾部分を読み出すときにそのことを示す信号(同期信号SY)をマーク生成部106hに供給する。
マーク生成部106hは、読出し部112hからの上記の信号(同期信号SY,SY)に基づいて、一連のデータ(データファイルD)の先頭部分と、末尾部分と、それ以外の部分とで異なるタイミングマークDを生成する。
即ち、マーク生成部106hは、一連のデータ(データファイルD)の先頭のデータ部分に対応する第1のタイミングマークD2hを生成する。第1のタイミングマークD2hは、一連のデータ(データファイルD)の先頭の第1コード画像D31及び第2コード画像D32と合成される。第1のタイミングマークD2hの一例は、図29に符号D2hで示されている。
マーク生成部106hは、一連のデータ(データファイルD)の末尾のデータ部分に対応する第2のタイミングマークD2tを生成する。第2のタイミングマークD2tは、一連のデータ(データファイルD)の末尾の第1コード画像D31及び第2コード画像D32と合成される。第2のタイミングマークD2tは、第1のタイミングマークD2hと異なるマークである。第2のタイミングマークD2hの一例は、図29に符号D2tで示されている。
マーク生成部106hは、一連のデータ(データファイルD)の先頭及び末尾以外のデータ部分に対応する第3のタイミングマークD2mを生成する。第3のタイミングマークD2mは、一連のデータ(データファイルD)の先頭及び末尾以外の第1コード画像D31と合成される。また、第3のタイミングマークD2mは、一連のデータ(データファイルD)の先頭及び末尾以外の第2コード画像D32と合成される。第3のタイミングマークD2mは、第1のタイミングマークD2hと異なるマークである。また、第3のタイミングマークD2mは、第2のタイミングマークD2tと異なるマークである。第3のタイミングマークD2mの一例は、図29に符号D2mで示されている。
図31の受信装置200hは、図5の受信装置200と概して同じであるが、マーク認識部210の代わりに、マーク認識部210hを備える。
実施の形態1で説明した受信装置200の構成要素と同様の構成要素には、同一符号を付し、その説明を省略する。
受信装置200と同様の構成要素は、撮像部202、読出し部206、分離部208、画像切出し部220、コード復号部230、合成部242及び受信データ記憶部244である。また、画像切出し部220の第1切出し部222A及び第2切出し部222Bも実施の形態1と同様の構成要素である。
また、コード復号部230の第1復号部232A及び第2復号部232Bも実施の形態1と同様の構成要素である。
マーク認識部210hは、撮像部202から順次出力される映像データDを受ける。マーク認識部210hは、先頭を示す第1のタイミングマークD2hを検出したときに、映像バッファ204に記憶を開始させる(記憶開始信号D14h)。マーク認識部210hは、末尾を示す第2のタイミングマークD2tを検出したときに映像バッファ204に記憶を終了させる(記憶終了信号D14t)。これにより、映像バッファ204には、一連のデータ(データファイルD)が、その先頭から末尾までが記憶されることとなる。なお、記憶開始信号D14h及び記憶終了信号D14tをまとめて記憶タイミング信号D14とよぶ。
実施の形態2を実施の形態1に対する変形例として説明したが、同様の変形を実施の形態3から8までに加えることができる。その他、実施の形態1の送信装置100及び受信装置200について種々の変形を加える旨説明したが、実施の形態2から8までにも同様の変形を加え得ることができる。
また、実施の形態8に関し、タイミングマークDは、表示部130が点順次走査方式のものである場合には、副走査方向において、コード領域の開始点より前に始まり、コード領域の終了点より後で終わるものを用いるのが望ましいと述べた。また、タイミングマークDは、表示部130が線順次走査方式のものである場合には、その走査方向(ラインに直交する方向)において、コード領域の開始点より前に始まり、コード領域の終了点より後で終わるものを用いるのが望ましいと述べた。しかし、この点は実施の形態1、2、5から7までについても同様である。
以上、送信装置100,100a,100c,100d,100e,100f,100g,110hの表示部130が点順次走査方式或いは線順次走査方式で、かつプログレッシブ表示方式で表示を行なう液晶表示装置である場合について説明した。しかし、本発明は、表示部130が面順次走査方式のものである場合にも適用可能であり、或いはインターレース表示方式のものである場合にも適用可能である。
上記の送信装置100,100a,100c,100d,100e,100f,100g,110h及び受信装置200,200c,200d,200e,200f,200g,200hの各々は、その一部をソフトウェアで実現することができる。即ち、送信装置100,100a,100c,100d,100e,100f,100g,110h及び受信装置200,200c,200d,200e,200f,200g,200hの各々は、プログラムされたコンピュータで実現することができる。その場合には、上記の送信装置100,100a,100c,100d,100e,100f,100g,110h及び受信装置200,200c,200d,200e,200f,200g,200hの一部で行われる処理を、コンピュータに実行させるためのプログラムもまた本発明の一部を成す。また、そのようなプログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
なお、以上のように本発明の実施の形態について説明したが、本発明はこれらの実施の形態に限るものではない。
1 情報処理システム、 100、100c、100d、100e、100f、100g、110h 送信装置、 102 送信データ記憶部、 104 基準クロック発生部、 106、106f、106h マーク生成部、 107 画像記憶部、 110、110d、110e データ処理部、 112、112h 読出し部、 114、114d データ分割部、 116A 第1コード生成部、 116B 第2コード生成部、 116C 第3コード生成部、 122、122b、122c、122d、122e、122f、122g 合成部、 126、126A、126B、126C、 映像バッファ、 128、128A、128B、128C 動画再生部、 130 表示部、 131 表示画面、 156、158 発光部、 200、200c、200d、200e、200f、200g、200h 受信装置、 202 撮像部、 204 映像バッファ、 206 読出し部、 208 分離部、 210 レリーズマーク認識部、 220、220d、220e 画像切出し部、 222A 第1切出し部、 222B 第2切出し部、 222C 第3切出し部、 230、230d、230e コード復号部、 232A 第1復号部、 232B 第2復号部、 232C 第3復号部、 242、242d 合成部、 244 受信データ記憶部、 260、262 発光検出部。

Claims (8)

  1. 一連のデータを記憶する送信データ記憶部と、
    前記送信データ記憶部に記憶されている前記一連のデータを複数のデータ部分に分割し、該分割により得られたデータ部分の各々をコード画像に変換し、当該変換により生成されたそれぞれのデータ部分に対応するコード画像を順次切り換えながら出力するコード生成部と、
    識別画像を生成して出力する識別画像生成部と、
    前記コード生成部で生成された前記コード画像と、前記識別画像生成部から出力された前記識別画像とを合成して合成画像を生成する合成部と、
    前記合成部で生成された合成画像を連結して前記一連のデータに対応する動画を作成する画像連結部と、
    前記画像連結部で作成された動画を再生して出力する動画再生部と、
    前記動画再生部で再生された動画を画面に表示する表示部とを備え、
    前記動画再生部から出力される前記動画においては、前記コード画像が順次切り換わり、該切り換わりのタイミング以外のタイミングに前記識別画像が現れ
    前記画面における表示が、点順次走査方式又は線順次走査方式で行われ、
    前記識別画像が、前記点順次走査方式における副走査方向又は前記線順次走査方式における走査方向において、当該識別画像と合成された前記コード画像よりも前に始まり後に終わる図形であ
    ことを特徴とする送信装置。
  2. 前記動画において、前記コード画像と前記識別画像とが互いに異なる色の画像であることを特徴とする請求項1に記載の送信装置。
  3. 一連のデータを記憶する送信データ記憶部と、
    前記送信データ記憶部に記憶されている前記一連のデータを複数のデータ部分に分割し、該分割により得られたデータ部分の各々をコード画像に変換し、当該変換により生成されたそれぞれのデータ部分に対応するコード画像を順次切り換えながら出力するコード生成部と、
    前記コード生成部で生成されたコード画像を連結して動画を作成する第1の画像連結部と、
    前記第1の画像連結部で作成された動画を再生して出力する第1の動画再生部と、
    識別画像を生成して出力する識別画像生成部と、
    前記識別画像生成部で生成された識別画像を連結して動画を作成する第2の画像連結部と、
    前記第2の画像連結部で作成された動画を再生して出力する第2の動画再生部と、
    前記第1の動画再生部で作成された動画と前記第2の動画再生部で作成された動画を合成して、合成映像を生成して出力する合成部と、
    前記合成部で生成された合成映像を画面に表示する表示部とを備え、
    前記合成部から出力される前記合成映像においては、前記コード画像が順次切り換わり、該切り換わりのタイミング以外のタイミングに前記識別画像が現れ
    前記画面における表示が、点順次走査方式又は線順次走査方式で行われ、
    前記識別画像が、前記点順次走査方式における副走査方向又は前記線順次走査方式における走査方向において、当該識別画像と合成された前記コード画像よりも前に始まり後に終わる図形であ
    ことを特徴とする送信装置。
  4. 前記合成映像において、前記コード画像と前記識別画像とが互いに異なる色の画像であることを特徴とする請求項3に記載の送信装置。
  5. 前記識別画像生成部は、
    前記一連のデータの先頭又は末尾の前記データ部分を変換することで得られる前記コード画像との合成に用いられる前記識別画像として、第1の識別画像を生成し、
    前記一連のデータの先頭又は末尾以外の前記データ部分を変換することで得られる前記コード画像との合成に用いられる前記識別画像として、前記第1の識別画像とは異なる第2の識別画像を生成する
    ことを特徴とする請求項1から4のいずれか一項に記載の送信装置。
  6. コード画像が順次切り換わり、該切り換わりのタイミング以外のタイミングに識別画像が現れる映像を表示した画面を撮像し、当該画面の画像を順次取得する撮像部と、
    前記撮像部により順次取得された画像を蓄積する映像バッファと、
    前記映像バッファに蓄積された画像を順次読み出す読出し部と、
    前記読出し部により順次読み出される画像中の前記識別画像を順次検出する識別画像検出部と、
    前記識別画像検出部により検出される前記識別画像と同じタイミングで現れた前記コード画像を復号し、対応するデータ部分を順次取得するコード復号部と、
    前記コード復号部により順次取得されるデータ部分を順次書き込み、順次書き込まれるデータ部分を連結して一連のデータを構成する受信データ記憶部と
    を備え
    前記画面における表示が、点順次走査方式又は線順次走査方式で行なわれるものであり、
    前記識別画像検出部は、前記識別画像が、前記点順次走査方式における副走査方向又は前記線順次走査方式における走査方向において、当該識別画像と合成されている前記コード画像よりも前に始まり後に終わる図形であると判定したときに、当該識別画像と合成されているコード画像が復号に適したものであると判定す
    ことを特徴とする受信装置。
  7. 前記画面に表示される映像が、前記一連のデータを複数のデータ部分に分割し、各データ部分をコード画像に変換することで生成されたものであり、
    前記識別画像として、
    前記一連のデータの先頭又は末尾のデータ部分を変換することで得られるコード画像とともに第1の識別画像が表示され、
    前記一連のデータの先頭又は末尾以外のデータ部分を変換することで得られるコード画像とともに、前記第1の識別画像とは異なる第2の識別画像が表示され、
    前記識別画像検出部は、前記識別画像として前記第1の識別画像が検出されたときに、前記一連のデータの復号の開始又は終了を制御する
    ことを特徴とする請求項に記載の受信装置。
  8. 請求項1又は3に記載の送信装置と請求項に記載の受信装置とを備える情報処理システム。
JP2015559897A 2014-01-31 2015-01-22 送信装置、受信装置及び情報処理システム Expired - Fee Related JP5976240B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014017559 2014-01-31
JP2014017559 2014-01-31
PCT/JP2015/051642 WO2015115294A1 (ja) 2014-01-31 2015-01-22 送信装置、受信装置及び情報処理システム

Publications (2)

Publication Number Publication Date
JP5976240B2 true JP5976240B2 (ja) 2016-08-23
JPWO2015115294A1 JPWO2015115294A1 (ja) 2017-03-23

Family

ID=53756870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015559897A Expired - Fee Related JP5976240B2 (ja) 2014-01-31 2015-01-22 送信装置、受信装置及び情報処理システム

Country Status (2)

Country Link
JP (1) JP5976240B2 (ja)
WO (1) WO2015115294A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201593A1 (ko) * 2020-04-01 2021-10-07 삼성전자 주식회사 데이터의 제공 방법 및 이를 지원하는 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309756A (ja) * 2004-04-21 2005-11-04 Mitsubishi Electric Corp 情報伝達システム及び情報変換装置及び情報復元装置及び表示装置
JP2006067085A (ja) * 2004-08-25 2006-03-09 Nec Viewtechnology Ltd 空間光通信システム用の送信装置および受信装置
JP2007156969A (ja) * 2005-12-07 2007-06-21 Sharp Corp 情報転送システム及び情報転送方法
JP2010117871A (ja) * 2008-11-13 2010-05-27 Sony Ericsson Mobile Communications Ab パターン画像の読み取り方法、パターン画像の読み取り装置、情報処理方法およびパターン画像の読み取りプログラム
JP2011119820A (ja) * 2009-12-01 2011-06-16 Konica Minolta Business Technologies Inc 画像形成装置及び画像読取装置
JP2013045293A (ja) * 2011-08-24 2013-03-04 Fujitsu Mobile Communications Ltd データ伝送方法及び端末装置及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309756A (ja) * 2004-04-21 2005-11-04 Mitsubishi Electric Corp 情報伝達システム及び情報変換装置及び情報復元装置及び表示装置
JP2006067085A (ja) * 2004-08-25 2006-03-09 Nec Viewtechnology Ltd 空間光通信システム用の送信装置および受信装置
JP2007156969A (ja) * 2005-12-07 2007-06-21 Sharp Corp 情報転送システム及び情報転送方法
JP2010117871A (ja) * 2008-11-13 2010-05-27 Sony Ericsson Mobile Communications Ab パターン画像の読み取り方法、パターン画像の読み取り装置、情報処理方法およびパターン画像の読み取りプログラム
JP2011119820A (ja) * 2009-12-01 2011-06-16 Konica Minolta Business Technologies Inc 画像形成装置及び画像読取装置
JP2013045293A (ja) * 2011-08-24 2013-03-04 Fujitsu Mobile Communications Ltd データ伝送方法及び端末装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021201593A1 (ko) * 2020-04-01 2021-10-07 삼성전자 주식회사 데이터의 제공 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
JPWO2015115294A1 (ja) 2017-03-23
WO2015115294A1 (ja) 2015-08-06

Similar Documents

Publication Publication Date Title
JP3746506B2 (ja) 立体視化パラメータ埋込装置及び立体視画像再生装置
JP4877852B2 (ja) 画像符号化装置、および画像送信装置
US10313009B2 (en) Coded light
JP5295236B2 (ja) 三次元映像変換記録装置、三次元映像変換記録方法、記録媒体、三次元映像変換装置、及び三次元映像伝送装置
US20050244050A1 (en) Image data creation device, image data reproduction device, and image data recording medium
EP3105999B1 (en) Coded light
KR101658239B1 (ko) 애니메이션 메시지 생성 방법 및 장치
JP2004357156A (ja) 映像受信装置および映像再生装置
JP2005519534A (ja) ダイナミックレンジビデオ記録および再生システムならびに方法
WO2019192416A1 (zh) 视频处理方法及其装置、存储介质、电子产品
JPWO2012128069A1 (ja) 画像処理装置および画像処理方法
JP5975301B2 (ja) 符号化装置、符号化方法、プログラム、および記録媒体
JP5156196B2 (ja) 撮像装置
JP5976240B2 (ja) 送信装置、受信装置及び情報処理システム
JP2006295835A (ja) 画像伝送システム
WO2011134373A1 (zh) 多路视频同步传输方法、装置及系统
JP5808485B2 (ja) 移動端末の録画方法、関連装置及びシステム
JP2007201862A (ja) 通信端末装置
JP2006054550A (ja) 伝送システム
JP7209195B2 (ja) 表示装置および表示方法
EP1463333A1 (en) Apparatus and method for image, video and audio processing
JP6147161B2 (ja) 撮像装置、情報表示装置及び情報処理システム
JP3938019B2 (ja) 記録装置及び記録方法
JP2007174207A (ja) 動画像処理装置
JPH10126741A (ja) 画像処理装置、その画像処理方法及びその方法を実現するプログラムが記録された記録媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160719

R150 Certificate of patent or registration of utility model

Ref document number: 5976240

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees