JP6729708B2 - 信号調整プログラム、信号調整装置、及び信号調整方法 - Google Patents

信号調整プログラム、信号調整装置、及び信号調整方法 Download PDF

Info

Publication number
JP6729708B2
JP6729708B2 JP2018544628A JP2018544628A JP6729708B2 JP 6729708 B2 JP6729708 B2 JP 6729708B2 JP 2018544628 A JP2018544628 A JP 2018544628A JP 2018544628 A JP2018544628 A JP 2018544628A JP 6729708 B2 JP6729708 B2 JP 6729708B2
Authority
JP
Japan
Prior art keywords
signal
embedded
compression
amplitude
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018544628A
Other languages
English (en)
Other versions
JPWO2018070001A1 (ja
Inventor
健介 倉木
健介 倉木
田中　竜太
竜太 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2018070001A1 publication Critical patent/JPWO2018070001A1/ja
Application granted granted Critical
Publication of JP6729708B2 publication Critical patent/JP6729708B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/913—Television signal processing therefor for scrambling ; for copy protection
    • H04N2005/91307—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal
    • H04N2005/91335—Television signal processing therefor for scrambling ; for copy protection by adding a copy protection signal to the video signal the copy protection signal being a watermark
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Optical Communication System (AREA)
  • Facsimile Transmission Control (AREA)
  • Image Processing (AREA)

Description

本発明は、信号調整プログラム、信号調整装置、及び信号調整方法に関する。
可視光を用いて情報を伝送する可視光通信技術の１つとして、送信装置が情報を重畳した光を物体に照射し、受信装置がその物体を撮影して重畳された情報を検出する通信システムが知られている（例えば、特許文献１を参照）。この通信システムによれば、光を照射した物体に関連する情報を、カメラを搭載したスマートデバイス等に配信することが可能になる。
画像に付加情報を埋め込む電子透かし技術、圧縮画像データに付加情報を多重化する技術等も知られている（例えば、特許文献２〜特許文献４を参照）。
国際公開第２０１６／００１９７２号パンフレット 特開２００２−３４４７２０号公報 特開２００５−３９６０３号公報 特開２００４−３１２６６３号公報
照明光に情報を埋め込んで物体に照射し、その物体を含む光景を撮影した映像をユーザに提供する場合、映像に埋め込まれた情報を表す信号が弱くなって、映像から情報を検出することが困難になることがある。
１つの側面において、本発明の目的は、信号が埋め込まれた光を反射する物体を撮影した映像を、信号が減衰しても検出可能な形態で提供することである。
１つの案では、信号調整プログラムは、以下の処理をコンピュータに実行させる。
（１）コンピュータは、時系列に変化する信号が埋め込まれた光を反射する物体を撮影した第１映像を解析して、第１映像に含まれる画像内で信号が埋め込まれた領域を特定する。
（２）コンピュータは、特定した領域に埋め込まれた信号を調整する。
（３）コンピュータは、調整した信号を含む第２映像を出力する。
実施形態によれば、信号が埋め込まれた光を反射する物体を撮影した映像を、信号が減衰しても検出可能な形態で提供することができる。
信号調整装置の機能的構成図である。 信号調整処理のフローチャートである。 信号調整装置の具体例を示す機能的構成図である。 信号調整処理の具体例を示すフローチャートである。 領域分割処理及び領域抽出処理を示す図である。 領域抽出処理のフローチャートである。 信号の振幅の時間変化を示す図である。 信号の振幅の上限値及び下限値を示す図である。 第１の調整処理のフローチャートである。 減衰率情報を示す図である。 第１の調整処理を示す図である。 第２の調整処理のフローチャートである。 圧縮処理を示す図である。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
可視光通信技術の応用例として、イベント会場又は撮影スタジオ等の撮影場所の照明光に情報を埋め込んで物体に照射し、その物体を含む光景を撮影した映像を、テレビジョン（ＴＶ）放送又はインターネット配信等を介してユーザに提供することが想定される。ユーザは、提供された映像を表示するＴＶ受像機又はパーソナルコンピュータ（ＰＣ）の画面をカメラで撮影することで、映像に埋め込まれた情報に基づいて、撮影場所の物体、放送番組等に関連する付加情報を取得することが可能になる。
しかしながら、物体表面の反射率が所定値以下である場合、埋め込まれた情報を表す信号が弱くなることがある。さらに、ＴＶ放送又はインターネット配信のために、撮影された映像に対して圧縮処理が施されることがある。この場合、映像に埋め込まれた微弱な信号がさらに弱くなったり、消滅してしまったりすることで、画面を撮影した映像から情報を検出することが困難になる。
特許文献２に開示された電子透かし埋め込み処理装置は、電子透かしを埋め込んだ画像から各ビットに対応する電子透かしを検出し、電子透かしの検出強度の過不足に基づいて、電子透かしパターンの強度を設定して再埋め込み又は追加埋め込みを実行する。
しかし、この方法では、画像に埋め込む電子透かしパターンを参照しながら検出強度が測定されるため、照明光に埋め込まれた情報を知らない場合に適用するのは難しい。さらに、照明光を照射された物体と撮影に用いるカメラとの位置関係によって、映像の各フレーム内で情報が埋め込まれた領域が変化するため、各フレームの画像と埋め込まれた情報との相関演算を行うことが難しく、検出強度の測定は困難である。
なお、かかる問題は、ＴＶ放送又はインターネット配信のために映像を圧縮する場合に限らず、信号が埋め込まれた光を反射する物体を撮影した映像を他の形態でユーザに提供する場合においても生ずるものである。
図１は、実施形態の信号調整装置の機能的構成例を示している。図１の信号調整装置１０１は、記憶部１１１、領域特定部１１２、調整部１１３、及び出力部１１４を含む。記憶部１１１は、時系列に変化する信号が埋め込まれた光を反射する物体を撮影した第１映像を記憶する。領域特定部１１２及び調整部１１３は、記憶部１１１が記憶する第１映像に対して信号調整処理を行う。
図２は、信号調整処理の例を示すフローチャートである。まず、領域特定部１１２は、第１映像を解析して、第１映像に含まれる画像内で信号が埋め込まれた領域を特定する（ステップ２０１）。次に、調整部１１３は、領域特定部１１２が特定した領域に埋め込まれた信号を調整する（ステップ２０２）。そして、出力部１１４は、調整部１１３が調整した信号を含む第２映像を出力する（ステップ２０３）。
このような信号調整装置によれば、信号が埋め込まれた光を反射する物体を撮影した映像を、信号が減衰しても検出可能な形態で提供することができる。
図３は、図１の信号調整装置１０１の具体例を示している。図３の信号調整装置１０１は、記憶部１１１、領域特定部１１２、調整部１１３、出力部１１４、及び入力部３１１を含む。領域特定部１１２は、分割部３１２及び抽出部３１３を含む。
照明装置３０１は、例えば、イベント会場又は撮影スタジオ等の撮影場所に設けられ、物体３０４に対して、時系列に変化する信号が埋め込まれた照明光を照射する。例えば、特許文献１に開示された技術を用いることで、照明光に信号を埋め込むことができる。物体３０４は、イベント又はＴＶ番組に出演する出演者であってもよく、撮影場所に設置された構造物であってもよい。信号が埋め込まれた照明光は、出演者が気付かない程度の微小な色変化を伴った光であってもよい。
撮像装置３０２は、例えば、撮影場所に設けられたカメラであり、照明光を反射する物体３０４を撮影して、複数の時刻それぞれにおける複数の画像を含む映像を出力する。各時刻の画像は、フレームと呼ばれることがある。
入力部３１１は、撮像装置３０２が出力する映像を受信し、受信した映像を映像３２１として記憶部１１１に格納する。領域特定部１１２の分割部３１２は、映像３２１の各フレームを複数の領域に分割する。各領域の大きさは、１画素以上で、かつ、１フレームの全画素数以下である。抽出部３１３は、領域毎に時間方向の周波数特性を解析し、特定の周波数を有する信号の振幅の大きさに基づいて、信号が埋め込まれている領域を抽出する。そして、抽出部３１３は、抽出した領域を示す領域情報３２２を記憶部１１１に格納する。
調整部１１３は、領域情報３２２が示す各領域に埋め込まれた信号を調整し、調整した信号を含む映像３２３を生成して、記憶部１１１に格納する。埋め込まれた信号の振幅の大きさは、物体３０４の表面における反射率等の影響によって、領域毎にばらつくことがある。このため、調整部１１３は、各領域に応じた調整処理を行う。
出力部１１４は、映像３２３を提供装置３０３へ出力する。提供装置３０３は、例えば、ＴＶ放送を行う放送装置、インターネット配信を行う配信装置等である。提供装置３０３は、信号調整装置１０１が出力する映像３２３を圧縮し、圧縮した映像３２３を放送又は配信する。ユーザは、提供装置３０３によって提供された映像３２３をカメラで撮影することで、映像３２３に埋め込まれた情報から、物体３０４、放送番組等に関連する付加情報を取得する。
図４は、図３の信号調整装置１０１が行う信号調整処理の具体例を示すフローチャートである。まず、入力部３１１は、撮像装置３０２から受信した映像を、映像３２１として記憶部１１１に格納する（ステップ４０１）。
次に、分割部３１２は、映像３２１の各フレームを複数の領域に分割し（ステップ４０２）、抽出部３１３は、領域毎に時間方向の周波数特性を解析して、信号が埋め込まれている領域を抽出し、領域情報３２２を生成する（ステップ４０３）。
次に、調整部１１３は、領域情報３２２が示す各領域に埋め込まれた信号を調整して、映像３２３を生成し（ステップ４０４）、出力部１１４は、映像３２３を提供装置３０３へ出力する（ステップ４０５）。
このような信号調整処理によれば、イベント会場又は撮影スタジオ等において照明光による可視光通信の企画を実施する場合、来場者に情報を提供すると同時に、ＴＶ放送又はインターネット配信等を介して遠隔地にいる視聴者にも情報を提供することができる。したがって、ＴＶ放送又はインターネット配信の視聴者も、映像を介して提供される情報を用いて、企画に参加することが可能になる。
図５は、図４のステップ４０２における領域分割処理とステップ４０３における領域抽出処理の例を示している。分割部３１２は、映像３２１に含まれる１枚のフレームに対応する画像５０１を、複数の矩形領域に分割する。そして、抽出部３１３は、照明光の照射範囲に対応する領域５０２に含まれる各矩形領域を、信号が埋め込まれている領域として抽出する。
図６は、図４のステップ４０３における領域抽出処理の例を示すフローチャートである。まず、抽出部３１３は、各時刻のフレームにおいて、領域毎に、照明光に埋め込まれた信号を表す特徴量を計算して、記憶部１１１に格納する（ステップ６０１）。各領域の特徴量としては、例えば、ＲＧＢ色空間における各色成分に対応する画素値の平均値、総和、最大値、最小値、最頻値、中央値等の統計値を用いることができる。
次に、抽出部３１３は、所定期間内の複数のフレームにおける各領域の特徴量を用いたフーリエ変換を行って、領域毎の特徴量の時間変化を周波数領域表現に変換する（ステップ６０２）。
そして、抽出部３１３は、変換後の周波数領域表現から、照明光に埋め込まれた信号と同じ周波数の信号の強度を計算し、計算した強度が所定範囲内である領域を、信号が埋め込まれている領域として抽出する（ステップ６０３）。信号の強度としては、例えば、信号の振幅、振幅の２乗等を用いることができる。
図７は、照明光に埋め込まれた信号と同じ周波数を有する信号の振幅の時間変化の例を示している。図７（ａ）の波形７０１が示す時間変化の場合、信号の振幅が所定範囲の下限値よりも小さいため、波形７０１が検出された領域には信号が埋め込まれていないと判定される。
図７（ｂ）の波形７０２が示す時間変化の場合、信号の振幅が所定範囲の上限値よりも大きいため、波形７０２が検出された領域には信号が埋め込まれていないと判定される。例えば、撮影領域内を移動する人物等によって照明光が遮られて、シーンチェンジが発生している場合、波形７０２のような時間変化が検出される可能性がある。
一方、図７（ｃ）の波形７０３が示す時間変化の場合、信号の振幅が所定範囲内に収まっているため、波形７０３が検出された領域には信号が埋め込まれていると判定される。
図８は、信号の振幅の上限値及び下限値の例を示している。各領域に信号が埋め込まれているか否かを判定するための所定範囲の上限値Ｙ及び下限値Ｚは、例えば、照明光に埋め込まれた信号の振幅Ｘに基づいて、次式により決定することができる。
Ｙ＝Ｘ×Ｍ （１）
Ｚ＝Ｘ×Ｎ （２）
Ｍ及びＮは、事前の評価実験等によって決定される係数であり、例えば、Ｍ≧１、Ｎ≦１である。
調整部１１３は、例えば、提供装置３０３が映像３２３を圧縮する圧縮処理の圧縮方式又は圧縮率のうち少なくとも一方に応じて、領域情報３２２が示す各領域に埋め込まれた信号の強度を増減させる。これにより、ＴＶ放送又はインターネット配信のために行われる圧縮処理によって信号が減衰する場合でも、圧縮後の映像から信号を検出することが可能になる。
図９は、図４のステップ４０４における第１の調整処理の例を示すフローチャートである。第１の調整処理では、記憶部１１１は、複数の圧縮方式及び複数の圧縮率それぞれに対応する減衰率の逆数を示す減衰率情報を記憶する。減衰率の逆数Ｑは、例えば、圧縮前の信号の振幅Ａ１と圧縮後の信号の振幅Ａ２とを用いて、次式により計算することができる。
Ｑ＝Ａ１／Ａ２ （３）
振幅Ａ１は、圧縮前の映像に含まれる信号の振幅に対応し、振幅Ａ２は、圧縮された映像を受信するＴＶ受像機又はＰＣが復元処理を行うことで復元した映像に含まれる、信号の振幅に対応する。
減衰率情報としては、事前の評価実験等によって、式（３）により計算された減衰率の逆数Ｑが設定される。減衰率情報を事前に記憶部１１１に格納しておくことで、特定の圧縮方式及び圧縮率が与えられた場合に、直ちに減衰率の逆数を取得することが可能になる。
調整部１１３は、減衰率情報を参照して、圧縮処理の圧縮方式及び圧縮率に対応する減衰率の逆数を求め、求めた減衰率の逆数から振幅の閾値を求める。そして、調整部１１３は、領域情報３２２が示す各領域に埋め込まれた信号の振幅が閾値よりも小さい場合、その信号の振幅が閾値以上になるように振幅を増加させる。
まず、調整部１１３は、減衰率情報を参照して、圧縮処理の圧縮方式及び圧縮率に対応する減衰率の逆数を求める（ステップ９０１）。そして、調整部１１３は、求めた減衰率の逆数を、圧縮後の信号の振幅Ａ２に対する閾値ＴＨ２に乗算することで、圧縮前の信号の振幅Ａ１に対する閾値ＴＨ１を求める（ステップ９０２）。閾値ＴＨ２としては、例えば、ＴＶ受像機又はＰＣが復元した映像において信号が検出可能な振幅の下限値を用いることができる。
次に、調整部１１３は、領域情報３２２が示す各領域に埋め込まれた信号の振幅をＴＨ１と比較する（ステップ９０３）。信号の振幅がＴＨ１以上である場合、調整部１１３は、処理を終了する。一方、信号の振幅がＴＨ１よりも小さい場合、調整部１１３は、その信号の振幅がＴＨ１以上になるように振幅を増加させる（ステップ９０４）。例えば、調整部１１３は、埋め込まれた信号の振幅に減衰率の逆数を乗算して調整後の振幅を求め、信号の振幅が調整後の振幅に一致するように、その領域内の各色成分の画素値を増減することで、振幅を増加させることができる。
フレーム内の複数の領域のうち、振幅がＴＨ１よりも小さい領域の信号を調整することで、物体表面の反射率が低い等の光学的な要因で局所的に弱くなった信号を補正することが可能になる。このとき、減衰率の逆数を用いて調整後の振幅を決定することで、信号が弱い領域ほどより強く強調することができる。
図１０は、減衰率情報の例を示している。図１０の減衰率情報の各エントリは、圧縮方式、解像度、ビットレート、及び減衰率の逆数を含む。この例では、圧縮方式及びビットレートの組み合わせ毎に、対応する減衰率の逆数が設定されている。
圧縮方式としては、例えば、Moving Picture Experts Group phase 2（ＭＰＥＧ−２）、H.264/Advanced Video Coding（Ｈ．２６４／ＡＶＣ）、H.265/High Efficiency Video Coding（Ｈ．２６５／ＨＥＶＣ）等を用いることができる。解像度は、１フレームの画面サイズに対応し、ビットレートは、圧縮処理の圧縮率に対応する。
同じ圧縮方式に対して異なるビットレートを組み合わせることも可能である。例えば、地上デジタルテレビ放送の場合、ＭＰＥＧ−２により１５〜１８Ｍｂｐｓのビットレートに圧縮されるので、ＭＰＥＧ−２及び１０Ｍｂｐｓの組み合わせに加えて、ＭＰＥＧ−２及び１５〜１８Ｍｂｐｓの組み合わせを示すエントリを追加してもよい。また、Ｈ．２６４／ＡＶＣ及び１０Ｍｂｐｓの組み合わせに加えて、Ｈ．２６４／ＡＶＣ及び２０Ｍｂｐｓの組み合わせを示すエントリを追加してもよい。
図１１は、図７（ｃ）の波形７０３に対する第１の調整処理の例を示している。この例では、圧縮方式及びビットレートの組み合わせとして、以下の３通りの組み合わせが示されている。
（１）ＭＰＥＧ−２及び１０Ｍｂｐｓ
（２）Ｈ．２６４及び１０Ｍｂｐｓ
（３）Ｈ．２６４及び２０Ｍｂｐｓ
提供装置３０３においてＭＰＥＧ−２及び１０Ｍｂｐｓの圧縮処理が行われる場合、ＭＰＥＧ−２及び１０Ｍｂｐｓに対応する減衰率の逆数から、直線１１０１が示す閾値ＴＨ１が計算される。この場合、波形７０３の振幅はＴＨ１よりも小さいため、波形７０３に減衰率の逆数を乗算することで波形１１１１が生成され、波形７０３が検出された領域に波形１１１１が埋め込まれるように、その領域内の画素値が調整される。
提供装置３０３においてＨ．２６４及び１０Ｍｂｐｓの圧縮処理が行われる場合、Ｈ．２６４及び１０Ｍｂｐｓに対応する減衰率の逆数から、直線１１０２が示す閾値ＴＨ１が計算される。この場合、波形７０３の振幅はＴＨ１よりも小さいため、波形７０３に減衰率の逆数を乗算することで波形１１１２が生成され、波形７０３が検出された領域に波形１１１２が埋め込まれるように、その領域内の画素値が調整される。
提供装置３０３においてＨ．２６４及び２０Ｍｂｐｓの圧縮処理が行われる場合、Ｈ．２６４及び２０Ｍｂｐｓに対応する減衰率の逆数から、直線１１０３が示す閾値ＴＨ１が計算される。この場合、波形７０３の振幅はＴＨ１よりも大きいため、波形７０３が検出された領域内の画素値は変更されない。
図１２は、図４のステップ４０４における第２の調整処理の例を示すフローチャートである。第２の調整処理では、調整部１１３は、提供装置３０３が行う圧縮処理によって映像３２１を圧縮し、圧縮前の信号の振幅Ａ１と圧縮後の信号の振幅Ａ２とに基づいて減衰率の逆数を求め、求めた減衰率の逆数から振幅の閾値を求める。そして、調整部１１３は、領域情報３２２が示す各領域に埋め込まれた信号の振幅が閾値よりも小さい場合、その信号の振幅が閾値以上になるように振幅を増加させる。
提供装置３０３が行う圧縮処理によって映像３２１を圧縮することで、圧縮方式及び圧縮率がどのような組み合わせであっても、対応する減衰率の逆数を求めることができる。したがって、図１０に示したような減衰率情報を事前に用意する必要がなくなる。
まず、調整部１１３は、圧縮処理によって映像３２１を圧縮する（ステップ１２０１）。そして、調整部１１３は、圧縮前の信号の振幅Ａ１と圧縮後の信号の振幅Ａ２から、式（３）により減衰率の逆数Ｑを求める（ステップ１２０２）。ステップ１２０３〜ステップ１２０５の処理は、図９のステップ９０２〜ステップ９０４の処理と同様である。
図１３は、図１２のステップ１２０１における圧縮処理の例を示している。映像３２１を圧縮することで映像３２１に含まれる信号が減衰し、圧縮前の信号の波形７０３が圧縮後の信号の波形１３０１に変化する。この場合、波形７０３から求めた振幅Ａ１と、波形１３０１から求めた振幅Ａ２とを用いて、減衰率の逆数Ｑが求められる。
図１及び図３の信号調整装置１０１の構成は一例に過ぎず、信号調整装置１０１の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の信号調整装置１０１において、映像３２１が事前に記憶部１１１に格納されている場合は、入力部３１１を省略することができる。
図２、図４、図６、図９、及び図１２のフローチャートは一例に過ぎず、信号調整装置１０１の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、映像３２１が事前に記憶部１１１に格納されている場合は、図４のステップ４０１の処理を省略することができる。
図４のステップ４０４において、調整部１１３は、図９又は図１２の調整処理の代わりに別の調整処理を行ってもよい。例えば、調整部１１３は、各領域に埋め込まれた信号の強度を、圧縮方式及び圧縮率とは無関係に増減させてもよい。図６のステップ６０２において、抽出部３１３は、フーリエ変換の代わりに別の解析方法を用いて、各領域における特徴量の時間変化に対する周波数解析を行ってもよい。
図５の領域分割処理及び領域抽出処理は一例に過ぎず、信号調整装置１０１の構成又は条件に応じて別の処理に変更してもよい。例えば、分割部３１２は、画像５０１を、矩形以外の形状を有する複数の領域に分割してもよい。
図７の信号の時間変化、図８の上限値及び下限値、図１１の調整処理、及び図１３の圧縮処理は一例に過ぎず、信号の時間変化等は、照明光に埋め込まれる信号、信号調整装置１０１の構成又は条件に応じて変化する。
図１０の減衰率情報は一例に過ぎず、信号調整装置１０１の構成又は条件に応じて別の減衰率情報に変更してもよい。例えば、圧縮方式、解像度、又はビットレートのうち、いずれか１つ以上の情報を省略することも可能である。ビットレートを省略した場合、図９のステップ９０１において、調整部１１３は、減衰率情報を参照して、圧縮処理の圧縮方式に対応する減衰率の逆数を求める。一方、圧縮方式を省略した場合、調整部１１３は、減衰率情報を参照して、圧縮処理の圧縮率（ビットレート）に対応する減衰率の逆数を求める。減衰率の逆数の代わりに減衰率を設定した減衰率情報を用いても構わない。
図１４は、図１及び図３の信号調整装置１０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１４の情報処理装置は、Central Processing Unit（ＣＰＵ）１４０１、メモリ１４０２、入力装置１４０３、出力装置１４０４、補助記憶装置１４０５、媒体駆動装置１４０６、及びネットワーク接続装置１４０７を含む。これらの構成要素はバス１４０８により互いに接続されている。
メモリ１４０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。メモリ１４０２は、図１及び図３の記憶部１１１として用いることができる。
ＣＰＵ１４０１（プロセッサ）は、例えば、メモリ１４０２を利用してプログラムを実行することにより、図１及び図３の領域特定部１１２及び調整部１１３、図３の分割部３１２及び抽出部３１３として動作する。
入力装置１４０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示及び情報の入力に用いられる。出力装置１４０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。
補助記憶装置１４０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１４０５は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置１４０５にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。補助記憶装置１４０５は、図１及び図３の記憶部１１１として用いることができる。
媒体駆動装置１４０６は、可搬型記録媒体１４０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１４０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１４０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、Universal Serial Bus（ＵＳＢ）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１４０９にプログラム及びデータを格納しておき、それらをメモリ１４０２にロードして使用することができる。
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１４０２、補助記憶装置１４０５、又は可搬型記録媒体１４０９のような、物理的な（非一時的な）記録媒体である。
ネットワーク接続装置１４０７は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１４０７を介して受け取り、それらをメモリ１４０２にロードして使用することができる。ネットワーク接続装置１４０７は、図１及び図３の出力部１１４、及び図３の入力部３１１として用いることができる。
なお、情報処理装置が図１４のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１４０３及び出力装置１４０４を省略してもよい。また、可搬型記録媒体１４０９を利用しない場合は、媒体駆動装置１４０６を省略してもよい。図３の提供装置３０３として、図１４と同様の情報処理装置を用いることもできる。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

Claims (6)

  1. コンピュータのための信号調整プログラムであって、
    前記信号調整プログラムは、
    時系列に変化する信号が埋め込まれた光を反射する物体を撮影した第１映像を解析して、前記第１映像に含まれる画像内で前記信号が埋め込まれた領域を特定し、
    前記領域に埋め込まれた前記信号を調整し、
    調整した信号を含む第２映像を出力する、
    処理を前記コンピュータに実行させ、
    前記コンピュータは、前記第２映像を圧縮する圧縮処理の圧縮方式又は圧縮率のうち少なくとも一方に応じて、前記領域に埋め込まれた前記信号の強度を増減させることで、前記領域に埋め込まれた前記信号を調整することを特徴とする信号調整プログラム。
  2. 前記コンピュータは、複数の圧縮方式それぞれに対応する減衰率の逆数を示す減衰率情報を参照して、前記圧縮処理の前記圧縮方式に対応する減衰率の逆数を求め、前記圧縮処理の前記圧縮方式に対応する前記減衰率の逆数から振幅の閾値を求め、前記領域に埋め込まれた前記信号の振幅が前記閾値よりも小さい場合、前記信号の振幅が前記閾値以上になるように、前記信号の振幅を増加させることを特徴とする請求項１記載の信号調整プログラム。
  3. 前記コンピュータは、複数の圧縮率それぞれに対応する減衰率の逆数を示す減衰率情報を参照して、前記圧縮処理の前記圧縮率に対応する減衰率の逆数を求め、前記圧縮処理の前記圧縮率に対応する前記減衰率の逆数から振幅の閾値を求め、前記領域に埋め込まれた前記信号の振幅が前記閾値よりも小さい場合、前記信号の振幅が前記閾値以上になるように、前記信号の振幅を増加させることを特徴とする請求項１又は２記載の信号調整プログラム。
  4. 前記コンピュータは、前記圧縮処理によって前記第１映像を圧縮し、圧縮前の前記第１映像に含まれる前記信号の振幅と圧縮後の前記第１映像に含まれる前記信号の振幅とに基づいて減衰率の逆数を求め、前記減衰率の逆数から振幅の閾値を求め、前記領域に埋め込まれた前記信号の振幅が前記閾値よりも小さい場合、前記信号の振幅が前記閾値以上になるように、前記信号の振幅を増加させることを特徴とする請求項１記載の信号調整プログラム。
  5. 時系列に変化する信号が埋め込まれた光を反射する物体を撮影した第１映像を記憶する記憶部と、
    前記第１映像を解析して、前記第１映像に含まれる画像内で前記信号が埋め込まれた領域を特定する領域特定部と、
    前記領域に埋め込まれた前記信号を調整する調整部と、
    調整した信号を含む第２映像を出力する出力部と、
    を備え、
    前記調整部は、前記第２映像を圧縮する圧縮処理の圧縮方式又は圧縮率のうち少なくとも一方に応じて、前記領域に埋め込まれた前記信号の強度を増減させることで、前記領域に埋め込まれた前記信号を調整することを特徴とする信号調整装置。
  6. コンピュータが、
    時系列に変化する信号が埋め込まれた光を反射する物体を撮影した第１映像を解析して、前記第１映像に含まれる画像内で前記信号が埋め込まれた領域を特定し、
    前記領域に埋め込まれた前記信号を調整し、
    調整した信号を含む第２映像を出力し、
    前記コンピュータは、前記第２映像を圧縮する圧縮処理の圧縮方式又は圧縮率のうち少なくとも一方に応じて、前記領域に埋め込まれた前記信号の強度を増減させることで、前記領域に埋め込まれた前記信号を調整することを特徴とする信号調整方法。
JP2018544628A 2016-10-12 2016-10-12 信号調整プログラム、信号調整装置、及び信号調整方法 Active JP6729708B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/080287 WO2018070001A1 (ja) 2016-10-12 2016-10-12 信号調整プログラム、信号調整装置、及び信号調整方法

Publications (2)

Publication Number Publication Date
JPWO2018070001A1 JPWO2018070001A1 (ja) 2019-06-24
JP6729708B2 true JP6729708B2 (ja) 2020-07-22

Family

ID=61905281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018544628A Active JP6729708B2 (ja) 2016-10-12 2016-10-12 信号調整プログラム、信号調整装置、及び信号調整方法

Country Status (5)

Country Link
US (1) US10651935B2 (ja)
EP (1) EP3528486B1 (ja)
JP (1) JP6729708B2 (ja)
CN (1) CN109792472B (ja)
WO (1) WO2018070001A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114422714B (zh) * 2020-10-28 2024-07-02 北京小米移动软件有限公司 闪频光源与无闪频光源之间的切换方法及切换装置
USD984446S1 (en) * 2021-09-27 2023-04-25 HUM Systems GmbH Communication equipment

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7373513B2 (en) * 1998-09-25 2008-05-13 Digimarc Corporation Transmarking of multimedia signals
JP2002344720A (ja) 2001-05-17 2002-11-29 Sony Corp 電子透かし埋め込み処理装置、および電子透かし埋め込み処理方法、並びにプログラム
JP4224690B2 (ja) 2002-12-27 2009-02-18 ソニー株式会社 記録方法、記録装置、再生方法、再生装置および撮像装置
JP2005039603A (ja) 2003-07-16 2005-02-10 Kyodo Printing Co Ltd 電子透かし検出システム及び電子透かし検出方法並びに情報提供システム及び情報提供方法
US20060045308A1 (en) * 2004-09-02 2006-03-02 Microsoft Corporation Camera and method for watermarking film content
US7876978B2 (en) * 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
JP2008028563A (ja) * 2006-07-19 2008-02-07 Yokohama Tlo Co Ltd 被写体照明方法、透かし情報埋め込み方法及び撮像方法
JP5031427B2 (ja) * 2007-03-30 2012-09-19 三星電子株式会社 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP5021061B2 (ja) * 2009-12-08 2012-09-05 株式会社 資生堂 非可視化情報埋込装置、非可視化情報認識装置、非可視化情報埋込方法、非可視化情報認識方法、非可視化情報埋込プログラム、及び非可視化情報認識プログラム
CN102474570B (zh) * 2010-06-08 2016-07-06 松下电器（美国）知识产权公司 信息显示装置、显示控制用集成电路及显示控制方法
WO2012127611A1 (ja) * 2011-03-22 2012-09-27 富士通株式会社 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置
US9608725B2 (en) * 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
EP3143759A1 (en) * 2014-05-12 2017-03-22 Philips Lighting Holding B.V. Verification of images captured using a timestamp decoded from illumination from a modulated light source
WO2016001972A1 (ja) 2014-06-30 2016-01-07 富士通株式会社 送信装置、受信装置、通信システム、及び送信方法ならびに受信方法
JP6405820B2 (ja) * 2014-09-17 2018-10-17 富士通株式会社 信号伝送装置、信号伝送方法および信号伝送プログラム
WO2016060518A1 (en) * 2014-10-17 2016-04-21 Samsung Electronics Co., Ltd. Apparatus and method for transmitting and receiving visible light data
JP6540132B2 (ja) * 2015-03-20 2019-07-10 カシオ計算機株式会社 復号装置、復号方法、及び、プログラム
WO2017042093A1 (en) * 2015-09-07 2017-03-16 Philips Lighting Holding B.V. Embedding data into light
US10218440B2 (en) * 2016-01-08 2019-02-26 Foundation For Research And Business, Seoul National University Of Science And Technology Method for visible light communication using display colors and pattern types of display

Also Published As

Publication number Publication date
JPWO2018070001A1 (ja) 2019-06-24
CN109792472A (zh) 2019-05-21
CN109792472B (zh) 2020-11-03
US10651935B2 (en) 2020-05-12
EP3528486A1 (en) 2019-08-21
EP3528486B1 (en) 2023-01-11
US20190229804A1 (en) 2019-07-25
WO2018070001A1 (ja) 2018-04-19
EP3528486A4 (en) 2019-10-09

Similar Documents

Publication Publication Date Title
Winkler Perceptual video quality metrics—A review
US8494306B2 (en) Method and an apparatus for creating a combined image
US8358877B2 (en) Apparatus, process, and program for image encoding
US9049453B2 (en) Image encoding apparatus and method based on intensity of edge information
US7561736B2 (en) Image processing apparatus and method of the same
US20130169834A1 (en) Photo extraction from video
US20100060717A1 (en) Image processing system for processing combined image data and depth data
JP2008193530A (ja) 画像記録装置、画像記録方法、及びプログラム
JP6961443B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2009501479A (ja) テクスチャの領域のための画像コーダ
Wu et al. An overview of perceptual processing for digital pictures
JP6729708B2 (ja) 信号調整プログラム、信号調整装置、及び信号調整方法
JP2004241869A (ja) 透かし埋め込み及び画像圧縮部
JP2009055236A (ja) 映像符号化装置及び方法
US10134100B2 (en) Watermark embedding apparatus and method through image structure conversion
JP5165084B2 (ja) 画像符号化装置
Zeng et al. Perceptual quality measure using JND model of the human visual system
US10356424B2 (en) Image processing device, recording medium, and image processing method
Alsrehin et al. VMQ: an algorithm for measuring the Video Motion Quality
JP4860763B2 (ja) 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体
Shaw et al. Saliency guided adaptive residue pre-processing for perceptually based video compression
JP2011175608A (ja) 画像処理装置及び画像処理方法
Shi et al. A perceptual preprocess method for 3D-HEVC
Thenmozhi et al. Authentication and digital video tampering detection using watermarking
Thornton et al. Perceptually weighted wavelet-based codec for handheld videophone applications

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200327

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R150 Certificate of patent or registration of utility model

Ref document number: 6729708

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150