KR20180097444A - 표시 방법 및 표시 장치 - Google Patents

표시 방법 및 표시 장치 Download PDF

Info

Publication number
KR20180097444A
KR20180097444A KR1020177021787A KR20177021787A KR20180097444A KR 20180097444 A KR20180097444 A KR 20180097444A KR 1020177021787 A KR1020177021787 A KR 1020177021787A KR 20177021787 A KR20177021787 A KR 20177021787A KR 20180097444 A KR20180097444 A KR 20180097444A
Authority
KR
South Korea
Prior art keywords
image
display
receiver
information
signal
Prior art date
Application number
KR1020177021787A
Other languages
English (en)
Inventor
히데키 아오야마
미쓰아키 오시마
Original Assignee
파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 filed Critical 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Publication of KR20180097444A publication Critical patent/KR20180097444A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3433—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices
    • G09G3/346—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using light modulating elements actuated by an electric field and being other than liquid crystal devices and electrochromic devices based on modulation of the reflection angle, e.g. micromirrors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/41—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming static cells with positive feedback, i.e. cells not needing refreshing or charge regeneration, e.g. bistable multivibrator or Schmitt trigger
    • G11C11/413—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing, timing or power reduction
    • G11C11/417—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing, timing or power reduction for memory cells of the field-effect type
    • G11C11/418—Address circuits
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C11/00—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor
    • G11C11/21—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements
    • G11C11/34—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices
    • G11C11/40—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors
    • G11C11/41—Digital stores characterised by the use of particular electric or magnetic storage elements; Storage elements therefor using electric elements using semiconductor devices using transistors forming static cells with positive feedback, i.e. cells not needing refreshing or charge regeneration, e.g. bistable multivibrator or Schmitt trigger
    • G11C11/413—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing, timing or power reduction
    • G11C11/417—Auxiliary circuits, e.g. for addressing, decoding, driving, writing, sensing, timing or power reduction for memory cells of the field-effect type
    • G11C11/419—Read-write [R-W] circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42212—Specific keyboard arrangements
    • H04N21/42218—Specific keyboard arrangements for mapping a matrix of displayed objects on the screen to the numerical key-matrix of the remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G09G2370/022—Centralised management of display operation, e.g. in a server instead of locally
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/06—Consumer Electronics Control, i.e. control of another device by a display or vice versa
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/18—Use of optical transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K50/00—Organic light-emitting devices
    • H10K50/10—OLEDs or polymer light-emitting diodes [PLED]
    • H10K50/11—OLEDs or polymer light-emitting diodes [PLED] characterised by the electroluminescent [EL] layers

Abstract

사용자에게 유익한 화상을 표시하는 것이 가능한 표시 방법을 제공한다. 표시 방법은, 표시 장치가 화상을 표시하는 표시 방법으로서, 이미지 센서가 피사체를 촬상하는 것에 의해서 촬상 표시 화상 및 복호용 화상을 취득하고(SL11), 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득하며(SL12), 광 ID를 서버에 송신하고(SL13), 그 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득하고(SL14), 촬상 표시 화상 중 인식 정보에 따른 영역을 대상 영역으로서 인식하며(SL15), 그 대상 영역에 AR 화상이 중첩된 촬상 표시 화상을 표시한다(SL16).

Description

표시 방법 및 표시 장치
본 발명은 표시 방법, 표시 장치 및 기록 매체 등에 관한 것이다.
최근의 홈 네트워크에서는, Ethernet(등록 상표)이나 무선 LAN(Local Area Network)에서의 IP(Internet Protocol) 접속에 의한 AV 가전의 제휴에 더하여 환경 문제에 대응한 전력 사용량의 관리나, 집밖으로부터의 전원 ON/OFF라는 기능을 가지는 홈 에너지 매니지먼트 시스템(HEMS)에 의해서, 다양한 가전 기기가 네트워크에 접속되는 가전 제휴 기능의 도입이 진행되고 있다. 그러나, 통신 기능을 가지려면, 연산력이 충분하지 않은 가전이나, 비용면에서 통신 기능의 탑재가 어려운 가전 등도 있다.
이러한 문제를 해결하기 위해, 특허 문헌 1에서는, 광을 이용하여 자유 공간에 정보를 전달하는 광공간 전송 장치에 있어서, 조명광의 단색 광원을 복수 이용한 통신을 행함으로써, 한정된 송신 장치 속에서 효율적으로 기기간의 통신을 실현하는 기술이 기재되어 있다.
특허 문헌 1：일본국 특허 공개 공보 제2002－290335호
그러나, 상기 종래의 방식에서는, 적용되는 기기가 조명과 같은 3색 광원을 가지는 경우로 한정된다. 또, 송신된 정보를 수신하는 수신기는, 사용자에게 유익한 화상을 표시할 수 없다.
본 발명은, 이러한 과제를 해결하고, 사용자에게 유익한 화상을 표시하는 것이 가능한 표시 방법 등을 제공한다.
본 발명의 일 형태에 따른 표시 방법은, 표시 장치가 화상을 표시하는 표시 방법으로서, 이미지 센서가 피사체를 촬상하는 것에 의해서 촬상 표시 화상 및 복호용 화상을 취득하고, 상기 복호용 화상에 대한 복호에 의해서 광식별 정보를 취득하며, 상기 광식별 정보를 서버에 송신하고, 상기 광식별 정보에 대응하는 확장 현실 화상과 인식 정보를 서버로부터 취득하고, 상기 촬상 표시 화상 가운데 상기 인식 정보에 따른 영역을 대상 영역으로서 인식하여, 상기 대상 영역에 상기 확장 현실 화상이 중첩된 상기 촬상 표시 화상을 표시한다.
또한, 이러한 포괄적 또는 구체적인 양태는, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 CD－ROM 등의 기록 매체로 실현되어도 되고, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 및 기록 매체의 임의인 조합으로 실현되어도 된다. 또, 일 실시 형태에 관한 방법을 실행하는 컴퓨터 프로그램이 서버의 기록 매체에 보존되어 있고, 단말의 요구에 따라 서버로부터 단말에 전달하는 양태로 실현되어도 된다.
본 발명에 따르면, 사용자에게 유익한 화상을 표시하는 것이 가능한 표시 방법을 실현할 수 있다.
도 1은, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 2는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 3은, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 4는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 5A는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 5B는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 5C는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 5D는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 5E는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 5F는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 5G는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 5H는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일례를 나타내는 도면이다.
도 6A는, 실시의 형태 1에 있어서의 정보 통신 방법의 플로우 차트이다.
도 6B는, 실시의 형태 1에 있어서의 정보 통신 장치의 블럭도이다.
도 7은, 실시의 형태 2에 있어서의 수신기의 촬영 동작의 일례를 나타내는 도면이다.
도 8은, 실시의 형태 2에 있어서의 수신기의 촬영 동작의 다른 예를 나타내는 도면이다.
도 9는, 실시의 형태 2에 있어서의 수신기의 촬영 동작의 다른 예를 나타내는 도면이다.
도 10은, 실시의 형태 2에 있어서의 수신기의 표시 동작의 일례를 나타내는 도면이다.
도 11은, 실시의 형태 2에 있어서의 수신기의 표시 동작의 일례를 나타내는 도면이다.
도 12는, 실시의 형태 2에 있어서의 수신기의 동작의 일례를 나타내는 도면이다.
도 13은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
도 14는, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
도 15는, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
도 16은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
도 17은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
도 18은, 실시의 형태 2에 있어서의 수신기와 송신기와 서버의 동작의 일례를 나타내는 도면이다.
도 19는, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
도 20은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
도 21은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
도 22는, 실시의 형태 2에 있어서의 송신기의 동작의 일례를 나타내는 도면이다.
도 23은, 실시의 형태 2에 있어서의 송신기의 동작의 다른 예를 나타내는 도면이다.
도 24는, 실시의 형태 2에 있어서의 수신기의 응용예를 나타내는 도면이다.
도 25는, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
도 26은, 실시의 형태 3에 있어서의 수신기, 송신기 및 서버의 처리 동작의 일례를 나타내는 도면이다.
도 27은, 실시의 형태 3에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
도 28은, 실시의 형태 3에 있어서의 송신기, 수신기 및 서버의 동작의 일례를 나타내는 도면이다.
도 29는, 실시의 형태 3에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
도 30은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
도 31은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
도 32는, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
도 33은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
도 34는, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
도 35는, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
도 36은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
도 37은, 실시의 형태 5에 있어서의 사람에 대한 가시광 통신의 통지를 설명하기 위한 도면이다.
도 38은, 실시의 형태 5에 있어서의 길안내에 대한 응용예를 설명하기 위한 도면이다.
도 39는, 실시의 형태 5에 있어서의 이용 로그 축적과 해석에 대한 응용예를 설명하기 위한 도면이다.
도 40은, 실시의 형태 5에 있어서의 화면 공유에 대한 응용예를 설명하기 위한 도면이다.
도 41은, 실시의 형태 5에 있어서의 정보 통신 방법의 응용예를 나타내는 도면이다.
도 42는, 실시의 형태 6에 있어서의 송신기와 수신기의 적용예를 나타내는 도면이다.
도 43은, 실시의 형태 6에 있어서의 송신기 및 수신기의 적용예를 나타내는 도면이다.
도 44는, 실시의 형태 7에 있어서의 수신기의 일례를 나타내는 도면이다.
도 45는, 실시의 형태 7에 있어서의 수신 시스템의 일례를 나타내는 도면이다.
도 46은, 실시의 형태 7에 있어서의 신호 송수신 시스템의 일례를 나타내는 도면이다.
도 47은, 실시의 형태 7에 있어서의 간섭을 배제한 수신 방법을 나타내는 플로우 차트이다.
도 48은, 실시의 형태 7에 있어서의 송신기의 방위의 추정 방법을 나타내는 플로우 차트이다.
도 49는, 실시의 형태 7에 있어서의 수신의 개시 방법을 나타내는 플로우 차트이다.
도 50은, 실시의 형태 7에 있어서의 타매체의 정보를 병용한 ID의 생성 방법을 나타내는 플로우 차트이다.
도 51은, 실시의 형태 7에 있어서의 주파수 분리에 의한 수신 방식의 선택 방법을 나타내는 플로우 차트이다.
도 52는, 실시의 형태 7에 있어서의 노광 시간이 긴 경우의 신호 수신 방법을 나타내는 플로우 차트이다.
도 53은, 실시의 형태 7에 있어서의 송신기의 조광(밝기를 조정하는 것) 방법의 일례를 나타내는 도면이다.
도 54는, 실시의 형태 7에 있어서의 송신기의 조광 기능을 구성하는 방법의 일례를 나타내는 도면이다.
도 55는, EX줌을 설명하기 위한 도면이다.
도 56은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
도 57은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
도 58은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
도 59는, 실시의 형태 9에 있어서의 수신기의 화면 표시 방법의 일례를 나타내는 도면이다.
도 60은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
도 61은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
도 62는, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 플로우 차트이다.
도 63은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
도 64는, 실시의 형태 9에 있어서의 수신 프로그램의 처리를 나타내는 플로우 차트이다.
도 65는, 실시의 형태 9에 있어서의 수신 장치의 블럭도이다.
도 66은, 가시광 신호를 수신했을 때의 수신기의 표시의 일례를 나타내는 도면이다.
도 67은, 가시광 신호를 수신했을 때의 수신기의 표시의 일례를 나타내는 도면이다.
도 68은, 취득 데이터 화상의 표시의 일례를 나타내는 도면이다.
도 69는, 취득 데이터를 보존, 또는, 파기하는 경우의 조작의 일례를 나타내는 도면이다.
도 70은, 취득 데이터를 열람할 때의 표시예를 나타내는 도면이다.
도 71은, 실시의 형태 9에 있어서의 송신기의 일례를 나타내는 도면이다.
도 72는, 실시의 형태 9에 있어서의 수신 방법의 일례를 나타내는 도면이다.
도 73은, 실시의 형태 10에 있어서의 수신 방법의 일례를 나타내는 플로우 차트이다.
도 74는, 실시의 형태 10에 있어서의 수신 방법의 일례를 나타내는 플로우 차트이다.
도 75는, 실시의 형태 10에 있어서의 수신 방법의 일례를 나타내는 플로우 차트이다.
도 76은, 실시의 형태 10에 있어서의 수신기가, 변조 주파수의 주기(변조 주기)보다 긴 노광 시간을 이용한 수신 방법을 설명하기 위한 도면이다.
도 77은, 실시의 형태 10에 있어서의 수신기가, 변조 주파수의 주기(변조 주기)보다 긴 노광 시간을 이용한 수신 방법을 설명하기 위한 도면이다.
도 78은, 실시의 형태 10에 있어서의 송신 데이터의 사이즈에 대한 효율적인 분할수를 나타내는 도면이다.
도 79A는, 실시의 형태 10에 있어서의 설정 방법의 일례를 나타내는 도면이다.
도 79B는, 실시의 형태 10에 있어서의 설정 방법의 다른 예를 나타내는 도면이다.
도 80은, 실시의 형태 10에 있어서의 정보 처리 프로그램의 처리를 나타내는 플로우 차트이다.
도 81은, 실시의 형태 10에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 82는, 실시의 형태 10에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우 차트이다.
도 83은, 실시의 형태 10에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 84는, 실시의 형태 10에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우 차트이다.
도 85는, 실시의 형태 10에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 86은, 실시의 형태 10에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우 차트이다.
도 87은, 실시의 형태 10에 있어서의 송신기의 응용예를 설명하기 위한 도면이다.
도 88은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 89는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 90은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 91은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 92는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 93은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 94는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 95는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 96은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 97은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 98은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 99는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 100은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 101은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
도 102는, 실시의 형태 12에 있어서의 수신기의 동작을 설명하기 위한 도면이다.
도 103A는, 실시의 형태 12에 있어서의 수신기의 다른 동작을 설명하기 위한 도면이다.
도 103B는, 실시의 형태 12에 있어서의 출력부(1215)에 의해서 표시되는 인디케이터의 예를 나타내는 도면이다.
도 103C는, 실시의 형태 12에 있어서의 AR의 표시예를 나타내는 도면이다.
도 104A는, 실시의 형태 12에 있어서의 송신기의 일례를 설명하기 위한 도면이다.
도 104B는, 실시의 형태 12에 있어서의 송신기의 다른 예를 설명하기 위한 도면이다.
도 105A는, 실시의 형태 12에 있어서의 복수의 송신기에 의한 동기 송신의 일례를 설명하기 위한 도면이다.
도 105B는, 실시의 형태 12에 있어서의 복수의 송신기에 의한 동기 송신의 다른 예를 설명하기 위한 도면이다.
도 106은, 실시의 형태 12에 있어서의 복수의 송신기에 의한 동기 송신의 다른 예를 설명하기 위한 도면이다.
도 107은, 실시의 형태 12에 있어서의 송신기의 신호 처리를 설명하기 위한 도면이다.
도 108은, 실시의 형태 12에 있어서의 수신 방법의 일례를 나타내는 플로우 차트이다.
도 109는, 실시의 형태 12에 있어서의 수신 방법의 일례를 설명하기 위한 설명도이다.
도 110은, 실시의 형태 12에 있어서의 수신 방법의 다른 예를 나타내는 플로우 차트이다.
도 111은, 실시의 형태 13에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 112는, 실시의 형태 13에 있어서의 송신 신호의 다른 예를 나타내는 도면이다.
도 113은, 실시의 형태 13에 있어서의 송신 신호의 다른 예를 나타내는 도면이다.
도 114A는, 실시의 형태 14에 있어서의 송신기를 설명하기 위한 도면이다.
도 114B는, 실시의 형태 14에 있어서의 RGB의 각각의 휘도 변화를 나타내는 도면이다.
도 115는, 실시의 형태 14에 있어서의 녹색 형광 성분 및 적색 형광 성분의 잔광 특성을 나타내는 도면이다.
도 116은, 실시의 형태 14에 있어서의, 바코드의 판독 에러의 발생을 억제하기 위해서 새롭게 발생하는 과제를 설명하기 위한 도면이다.
도 117은, 실시의 형태 14에 있어서의 수신기로 행해지는 다운 샘플링을 설명하기 위한 도면이다.
도 118은, 실시의 형태 14에 있어서의 수신기의 처리 동작을 나타내는 플로우 차트이다.
도 119는, 실시의 형태 15에 있어서의 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다.
도 120은, 실시의 형태 15에 있어서의 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다.
도 121은, 실시의 형태 15에 있어서의 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다.
도 122는, 실시의 형태 15에 있어서의 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다.
도 123은, 실시의 형태 16에 있어서의 어플리케이션의 일례를 나타내는 도면이다.
도 124는, 실시의 형태 16에 있어서의 어플리케이션의 일례를 나타내는 도면이다.
도 125는, 실시의 형태 16에 있어서의 송신 신호의 예와 음성 동기 방법의 예를 나타내는 도면이다.
도 126은, 실시의 형태 16에 있어서의 송신 신호의 예를 나타내는 도면이다.
도 127은, 실시의 형태 16에 있어서의 수신기의 처리 플로우의 일례를 나타내는 도면이다.
도 128은, 실시의 형태 16에 있어서의 수신기의 사용자 인터페이스의 일례를 나타내는 도면이다.
도 129는, 실시의 형태 16에 있어서의 수신기의 처리 플로우의 일례를 나타내는 도면이다.
도 130은, 실시의 형태 16에 있어서의 수신기의 처리 플로우의 다른 예를 나타내는 도면이다.
도 131A는, 실시의 형태 16에 있어서의 동기 재생의 구체적인 방법을 설명하기 위한 도면이다.
도 131B는, 실시의 형태 16에 있어서의 동기 재생을 행하는 재생 장치(수신기)의 구성을 나타내는 블럭도이다.
도 131C는, 실시의 형태 16에 있어서의 동기 재생을 행하는 재생 장치(수신기)의 처리 동작을 나타내는 플로우 차트이다.
도 132는, 실시의 형태 16에 있어서의 동기 재생의 사전 준비를 설명하기 위한 도면이다.
도 133은, 실시의 형태 16에 있어서의 수신기의 응용예를 나타내는 도면이다.
도 134A는, 실시의 형태 16에 있어서의, 홀더에 보관 유지된 수신기의 정면도이다.
도 134B는, 실시의 형태 16에 있어서의, 홀더에 보관 유지된 수신기의 배면도이다.
도 135는, 실시의 형태 16에 있어서의, 홀더에 보관 유지된 수신기의 유스 케이스를 설명하기 위한 도면이다.
도 136은, 실시의 형태 16에 있어서의, 홀더에 보관 유지된 수신기의 처리 동작을 나타내는 플로우 차트이다.
도 137은, 실시의 형태 16에 있어서의 수신기에 의해서 표시되는 화상의 일례를 나타내는 도면이다.
도 138은, 실시의 형태 16에 있어서의 홀더의 다른 예를 나타내는 도면이다.
도 139A는, 실시의 형태 17에 있어서의 가시광 신호의 일례를 나타내는 도면이다.
도 139B는, 실시의 형태 17에 있어서의 가시광 신호의 일례를 나타내는 도면이다.
도 139C는, 실시의 형태 17에 있어서의 가시광 신호의 일례를 나타내는 도면이다.
도 139D는, 실시의 형태 17에 있어서의 가시광 신호의 일례를 나타내는 도면이다.
도 140은, 실시의 형태 17에 있어서의 가시광 신호의 구성을 나타내는 도면이다.
도 141은, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 일례를 나타내는 도면이다.
도 142는, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 다른 예를 나타내는 도면이다.
도 143은, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 다른 예를 나타내는 도면이다.
도 144는, 실시의 형태 17에 있어서의 수신기의, HDR 합성을 행하는 카메라 시스템으로의 적응을 설명하기 위한 도면이다.
도 145는, 실시의 형태 17에 있어서의 가시광 통신 시스템의 처리 동작을 설명하기 위한 도면이다.
도 146A는, 실시의 형태 17에 있어서의 가시광을 이용한 차차간 통신의 일례를 나타내는 도면이다.
도 146B는, 실시의 형태 17에 있어서의 가시광을 이용한 차차간 통신의 다른 예를 나타내는 도면이다.
도 147은, 실시의 형태 17에 있어서의 복수의 LED의 위치 결정 방법의 일례를 나타내는 도면이다.
도 148은, 실시의 형태 17에 있어서의, 차량을 촬상하는 것에 의해서 얻어지는 휘선 화상의 일례를 나타내는 도면이다.
도 149는, 실시의 형태 17에 있어서의 수신기와 송신기의 적용예를 나타내는 도면이다. 또한, 도 149는 자동차를 뒤에서 본 도면이다.
도 150은, 실시의 형태 17에 있어서의 수신기와 송신기의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 151은, 실시의 형태 17에 있어서의 수신기와 송신기의 적용예를 나타내는 도면이다.
도 152는, 실시의 형태 17에 있어서의 수신기(7007a)와 송신기(7007b)의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 153은, 실시의 형태 17에 있어서의, 전철의 차내에 적용되는 가시광 통신 시스템의 구성을 나타내는 도면이다.
도 154는, 실시의 형태 17에 있어서의, 유원지 등의 시설에 적용되는 가시광 통신 시스템의 구성을 나타내는 도면이다.
도 155는, 실시의 형태 17에 있어서의, 놀이 도구와 스마트 폰으로 이루어지는 가시광 통신 시스템의 일례를 나타내는 도면이다.
도 156은, 실시의 형태 18에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 157은, 실시의 형태 18에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 158은, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 159는, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 160은, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 161은, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 162는, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 163은, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 164는, 실시의 형태 19에 있어서의 송수신 시스템의 일례를 나타내는 도면이다.
도 165는, 실시의 형태 19에 있어서의 송수신 시스템의 처리의 일례를 나타내는 플로우 차트이다.
도 166은, 실시의 형태 19에 있어서의 서버의 동작을 나타내는 플로우 차트이다.
도 167은, 실시의 형태 19에 있어서의 수신기의 동작의 일례를 나타내는 플로우 차트이다.
도 168은, 실시의 형태 19에 있어서의 간이 모드로의 진척 상황의 계산 방법을 나타내는 플로우 차트이다.
도 169는, 실시의 형태 19에 있어서의 최우 추정 모드로의 진척 상황의 계산방법을 나타내는 플로우 차트이다.
도 170은, 실시의 형태 19에 있어서의 진척 상황이 감소하지 않는 표시 방법을 나타내는 플로우 차트이다.
도 171은, 실시의 형태 19에 있어서의 복수의 패킷 길이가 있는 경우의 진척 상황의 표시 방법을 나타내는 플로우 차트이다.
도 172는, 실시의 형태 19에 있어서의 수신기의 동작 상태의 일례를 나타내는 도면이다.
도 173은, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 174는, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 175는, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 176은, 실시의 형태 19에 있어서의 송신기의 일례를 나타내는 블럭도이다.
도 177은, 실시의 형태 19에 있어서의 LED 디스플레이를 본 발명의 광 ID 변조 신호로 구동하는 경우의 타이밍 차트를 나타내는 도면이다.
도 178은, 실시의 형태 19에 있어서의 LED 디스플레이를 본 발명의 광 ID 변조 신호로 구동하는 경우의 타이밍 차트를 나타내는 도면이다.
도 179는, 실시의 형태 19에 있어서의 LED 디스플레이를 본 발명의 광 ID 변조 신호로 구동하는 경우의 타이밍 차트를 나타내는 도면이다.
도 180A는, 본 발명의 일 양태에 따른 송신 방법을 나타내는 플로우 차트이다.
도 180B는, 본 발명의 일 양태에 따른 송신 장치의 기능 구성을 나타내는 블럭도이다.
도 181은, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 182는, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 183은, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 184는, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 185는, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 186은, 실시의 형태 19에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 187은, 실시의 형태 20에 있어서의 가시광 신호의 구성의 일례를 나타내는 도면이다.
도 188은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 일례를 나타내는 도면이다.
도 189A는, 실시의 형태 20에 있어서의 가시광 신호의 다른 일례를 나타내는 도면이다.
도 189B는, 실시의 형태 20에 있어서의 가시광 신호의 다른 일례를 나타내는 도면이다.
도 189C는, 실시의 형태 20에 있어서의 가시광 신호의 신호 길이를 나타내는 도면이다.
도 190은, 실시의 형태 20에 있어서의 가시광 신호와 규격 IEC의 가시광 신호와의 휘도값의 비교 결과를 나타내는 도면이다.
도 191은, 실시의 형태 20에 있어서의 가시광 신호와 규격 IEC의 가시광 신호와의, 화각에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도면이다.
도 192는, 실시의 형태 20에 있어서의 가시광 신호와 규격 IEC의 가시광 신호와의, 노이즈에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도면이다.
도 193은, 실시의 형태 20에 있어서의 가시광 신호와 규격 IEC의 가시광 신호와의, 수신측 클락 오차에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도면이다.
도 194는, 실시의 형태 20에 있어서의 송신 대상의 신호의 구성을 나타내는 도면이다.
도 195A는, 실시의 형태 20에 있어서의 가시광 신호의 수신 방법을 나타내는 도면이다.
도 195B는, 실시의 형태 20에 있어서의 가시광 신호의 분류를 나타내는 도면이다.
도 196은, 실시의 형태 20에 있어서의 가시광 신호의 다른 예를 나타내는 도면이다.
도 197은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다.
도 198은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다.
도 199는, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다.
도 200은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다.
도 201은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다.
도 202는, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다.
도 203은, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다.
도 204는, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다.
도 205는, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다.
도 206은, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다.
도 207은, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다.
도 208은, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다.
도 209는, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다.
도 210은, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다.
도 211은, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다.
도 212는, 실시의 형태 20의 변형예 1에 따른 가시광 신호의 상세한 구성의 일례를 나타내는 도면이다.
도 213은, 실시의 형태 20의 변형예 1에 따른 신호의 다른 예를 나타내는 도면이다.
도 214는, 실시의 형태 20의 변형예 1에 따른 가시광 신호의 또 다른 예를 나타내는 도면이다.
도 215는, 실시의 형태 20의 변형예 1에 따른 패킷 변조의 일례를 나타내는 도면이다.
도 216은, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 1 분할하는 처리를 나타내는 도면이다.
도 217은, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 2 분할하는 처리를 나타내는 도면이다.
도 218은, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 3 분할로 하는 처리를 나타내는 도면이다.
도 219는, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 3 분할로 하는 처리의 다른 예를 나타내는 도면이다.
도 220은, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 3 분할로 하는 처리의 다른 예를 나타내는 도면이다.
도 221은, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 4 분할로 하는 처리를 나타내는 도면이다.
도 222는, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 5 분할로 하는 처리를 나타내는 도면이다.
도 223은, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 6, 7 또는 8 분할로 하는 처리를 나타내는 도면이다.
도 224는, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 6, 7 또는 8 분할로 하는 처리의 다른 예를 나타내는 도면이다.
도 225는, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 9 분할로 하는 처리를 나타내는 도면이다.
도 226은, 실시의 형태 20의 변형예 1에 따른, 원 데이터를 10~16의 어느 하나의 수로 분할하는 처리를 나타내는 도면이다.
도 227은, 실시의 형태 20의 변형예 1에 따른, 원 데이터의 분할수와, 데이터 사이즈와 오류 정정 코드와의 관계의 일례를 나타내는 도면이다.
도 228은, 실시의 형태 20의 변형예 1에 따른, 원 데이터의 분할수와, 데이터 사이즈와 오류 정정 코드와의 관계의 다른 예를 나타내는 도면이다.
도 229는, 실시의 형태 20의 변형예 1에 따른, 원 데이터의 분할수와, 데이터 사이즈와 오류 정정 코드와의 관계의 또 다른 예를 나타내는 도면이다.
도 230A는, 실시의 형태 20에 있어서의 가시광 신호의 생성 방법을 나타내는 플로우 차트이다.
도 230B는, 실시의 형태 20에 있어서의 신호 생성 장치의 구성을 나타내는 블럭도이다.
도 231은, 실시의 형태 21에 있어서의 고주파 가시광 신호를 수신하는 방법을 나타내는 도면이다.
도 232A는, 실시의 형태 21에 있어서의 고주파 가시광 신호를 수신하는 다른 방법을 나타내는 도면이다.
도 232B는, 실시의 형태 21에 있어서의 고주파 가시광 신호를 수신하는 다른 방법을 나타내는 도면이다.
도 233은, 실시의 형태 21에 있어서의 고주파 신호를 출력하는 방법을 나타내는 도면이다.
도 234는, 실시의 형태 22에 있어서의 자율 비행 장치를 설명하기 위한 도면이다.
도 235는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도면이다.
도 236은, 실시의 형태 23에 있어서의 표시 시스템의 일례를 나타내는 도면이다.
도 237은, 실시의 형태 23에 있어서의 표시 시스템의 다른 예를 나타내는 도면이다.
도 238은, 실시의 형태 23에 있어서의 표시 시스템의 다른 예를 나타내는 도면이다.
도 239는, 실시의 형태 23에 있어서의 수신기의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 240은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 241은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 242는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 243은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 244는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 245는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 246은, 실시의 형태 23에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
도 247은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 248은, 실시의 형태 23에 있어서의 수신기의 촬상에 의해서 취득되는 촬상 표시 화상 Ppre 및 복호용 화상 Pdec을 나타내는 도면이다.
도 249는, 실시의 형태 23에 있어서의 수신기에 표시되는 촬상 표시 화상 Ppre의 일례를 나타내는 도면이다.
도 250은, 실시의 형태 23에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
도 251은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 252는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 253은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 254는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 255는, 실시의 형태 23에 있어서의 인식 정보의 일례를 나타내는 도면이다.
도 256은, 실시의 형태 23에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
도 257은, 실시의 형태 23에 있어서의 수신기가 휘선 패턴 영역을 식별하는 일례를 나타내는 도면이다.
도 258은, 실시의 형태 23에 있어서의 수신기의 다른 예를 나타내는 도면이다.
도 259는, 실시의 형태 23에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
도 260은, 실시의 형태 23에 있어서의 복수의 송신기를 포함한 송신 시스템의 일례를 나타내는 도면이다.
도 261은, 실시의 형태 23에 있어서의 복수의 송신기 및 수신기를 포함한 송신 시스템의 일례를 나타내는 도면이다.
도 262A는, 실시의 형태 23에 있어서의 수신기의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 262B는, 실시의 형태 23에 있어서의 수신기의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 263A는, 실시의 형태 23에 있어서의 표시 방법을 나타내는 플로우 차트이다.
도 263B는, 실시의 형태 23에 있어서의 표시 장치의 구성을 나타내는 블럭도이다.
도 264는, 실시의 형태 23의 변형예 1에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도면이다.
도 265는, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 266은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 267은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 268은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)의 다른 예를 나타내는 도면이다.
도 269는, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 270은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 271은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 272는, 실시의 형태 23 또는 그 변형예 1에 있어서의 수신기에 있어서 상정되는 AR 화상을 표시할 때의 과제의 일례를 나타내는 도면이다.
도 273은, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도면이다.
도 274는, 실시의 형태 23의 변형예 2에 있어서의 수신기의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 275는, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 276은, 실시의 형태 23의 변형예 2에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
도 277은, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 278은, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 279는, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 280은, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 281A는, 본 발명의 일 양태에 따른 표시 방법을 나타내는 플로우 차트이다.
도 281B는, 본 발명의 일 양태에 따른 표시 장치의 구성을 나타내는 블럭도이다.
도 282는, 실시의 형태 23의 변형예 3에 있어서의 AR 화상의 확대 및 이동의 일례를 나타내는 도면이다.
도 283은, 실시의 형태 23의 변형예 3에 있어서의 AR 화상의 확대의 일례를 나타내는 도면이다.
도 284는, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 AR 화상의 확대 및 이동에 관한 처리 동작의 일례를 나타내는 플로우 차트이다.
도 285는, 실시의 형태 23의 변형예 3에 있어서의 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 286은, 실시의 형태 23의 변형예 3에 있어서의 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 287은, 실시의 형태 23의 변형예 3에 있어서의 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 288은, 실시의 형태 23의 변형예 3에 있어서의 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 289A는, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 촬상에 의해서 얻어지는 촬상 표시 화상의 일례를 나타내는 도면이다.
도 289B는, 실시의 형태 23의 변형예 3에 있어서의 수신기의 디스플레이에 표시되는 메뉴 화면의 일례를 나타내는 도면이다.
도 290은, 실시의 형태 23의 변형예 3에 있어서의 수신기와 서버와의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 291은, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의해서 재생되는 음성의 음량을 설명하기 위한 도면이다.
도 292는, 실시의 형태 23의 변형예 3에 있어서의 수신기로부터 송신기까지의 거리와 음량과의 관계를 나타내는 도면이다.
도 293은, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 294는, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 295는, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 라인 스캔 시간을 구하는 방법의 일례를 설명하기 위한 도면이다.
도 296은, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 라인 스캔 시간의 구하는 방법의 일례를 설명하기 위한 도면이다.
도 297은, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 라인 스캔 시간의 구하는 방법의 일례를 나타내는 플로우 차트이다.
도 298은, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 299는, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 300은, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 301은, 실시의 형태 23의 변형예 3에 있어서의 수신기의 자세에 따라서 취득되는 복호용 화상의 일례를 나타내는 도면이다.
도 302는, 실시의 형태 23의 변형예 3에 있어서의 수신기의 자세에 따라 취득되는 복호용 화상의 다른 예를 나타내는 도면이다.
도 303은, 실시의 형태 23의 변형예 3에 있어서의 수신기의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 304는, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 카메라 렌즈의 전환 처리의 일례를 나타내는 도면이다.
도 305는, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 카메라의 전환 처리의 일례를 나타내는 도면이다.
도 306은, 실시의 형태 23의 변형예 3에 있어서의 수신기와 서버와의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 307은, 실시의 형태 23의 변형예 3에 있어서의 수신기에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
도 308은, 실시의 형태 23의 변형예 3에 있어서의 수신기, 전자레인지, 중계 서버 및 전자 결제용 서버를 포함한 시스템의 처리 동작을 나타내는 순서도이다.
도 309는, 실시의 형태 23의 변형예 3에 있어서의, POS 단말, 서버, 수신기(200) 및 전자레인지를 포함한 시스템의 처리 동작을 나타내는 시퀀스도이다.
도 310은, 실시의 형태 23의 변형예 3에 있어서의 집안 내에서의 이용의 일례를 나타내는 도면이다.
도 311은, 실시의 형태 23의 변형예 3에 있어서의 확장 현실 오브젝트의 표시의 일례를 나타내는 도면이다.
본 발명의 일 양태에 따른 표시 방법은, 표시 장치가 화상을 표시하는 표시 방법으로서, 이미지 센서가 피사체를 촬상하는 것에 의해서 촬상 표시 화상 및 복호용 화상을 취득하고, 상기 복호용 화상에 대한 복호에 의해서 광식별 정보를 취득하며, 상기 광식별 정보를 서버에 송신하고, 상기 광식별 정보에 대응하는 확장 현실 화상과 인식 정보를 서버로부터 취득하고, 상기 촬상 표시 화상 중, 상기 인식 정보에 따른 영역을 대상 영역으로서 인식하며, 상기 대상 영역에 상기 확장 현실 화상이 중첩된 상기 촬상 표시 화상을 표시한다.
이것에 의해, 확장 현실 화상이 촬상 표시 화상에 중첩되어 표시되기 때문에, 사용자에게 유익한 화상을 표시할 수 있다. 또한, 처리 부하를 억제하여 적절한 대상 영역에 확장 현실 화상(즉 AR 화상)을 중첩할 수 있다.
즉, 일반적인 확장 현실에서는, 미리 보존되어 있는 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교하는 것에 의해서, 그 촬상 표시 화상에 어느 하나의 인식 대상 화상이 포함되어 있는지 아닌지가 판정된다. 그리고, 인식 대상 화상이 포함되어 있다고 판정되면, 그 인식 대상 화상에 대응하는 확장 현실 화상이 촬상 표시 화상에 중첩된다. 이 때, 인식 대상 화상을 기준으로 현실 화상의 위치 맞춤이 행해진다. 이와 같이, 일반적인 확장 현실에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교하기 때문에, 위치 맞춤에 있어서도 촬상 표시 화상에 있어서의 인식 대상 화상의 위치 검출이 더 필요해지기 때문에, 계산량이 많고, 처리 부하가 높다는 문제가 있다.
그러나, 본 발명의 일 양태에 따른 표시 방법에서는, 도 235~도 262B, 도 263A 및 도 263B에 나타내는 바와 같이, 피사체의 촬상에 의해서 얻어지는 복호용 화상을 복호하는 것에 의해서 광식별 정보(즉 광 ID)가 취득된다. 즉, 피사체인 송신기로부터 송신된 광식별 정보가 수신된다. 또한, 이 광식별 정보에 대응하는 확장 현실 화상(즉 AR 화상)과 인식 정보가 서버로부터 취득된다. 따라서, 서버에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교할 필요가 없고, 광식별 정보에 미리 대응시켜져 있는 확장 현실 화상을 선택하겨 표시 장치에 송신할 수 있다. 이것에 의해, 계산량을 줄여 처리 부하를 대폭으로 억제할 수 있다.
또, 본 발명의 일 양태에 따른 표시 방법에서는, 이 광식별 정보에 대응하는 인식 정보가 서버로부터 취득된다. 인식 정보는, 촬상 표시 화상에 있어서 확장 현실 화상이 중첩되는 영역인 대상 영역을 인식하기 위한 정보이다. 이 인식 정보는, 예를 들면 흰 사각형이 대상 영역인 것을 나타내는 정보로서 좋다. 이 경우에는, 대상 영역을 간단하게 인식할 수 있고, 처리 부하를 한층 더 억제할 수 있다. 즉, 인식 정보의 내용에 따라, 처리 부하를 더 억제할 수 있다. 또, 서버에서는, 광식별 정보에 따라 그 인식 정보의 내용을 임의로 설정할 수 있기 때문에, 처리 부하와 인식 정밀도와의 밸런스를 적절하게 유지할 수 있다.
또, 상기 인식 정보는, 상기 촬상 표시 화상 중 기준 영역을 특정하기 위한 기준 정보와, 상기 기준 영역에 대한 상기 대상 영역의 상대 위치를 나타내는 대상 정보를 포함하고, 상기 대상 영역의 인식에서는 상기 기준 정보에 근거하여 상기 촬상 표시 화상으로부터 상기 기준 영역을 특정하고, 상기 촬상 표시 화상 중, 상기 기준 영역의 위치를 기준으로 하여 상기 대상 정보에 의해 나타나는 상기 상대 위치에 있는 영역을, 상기 대상 영역으로서 인식해도 된다.
이것에 의해, 도 244 및 도 245에 나타내는 바와 같이, 촬상 표시 화상에 있어서 인식되는 대상 영역의 위치의 자유도를 넓힐 수 있다.
또, 상기 기준 정보는, 상기 촬상 표시 화상에 있어서의 상기 기준 영역의 위치가, 상기 복호용 화상에 있어서의, 상기 이미지 센서가 가지는 복수의 노광 라인의 노광에 의해서 나타나는 복수의 휘선의 패턴으로 이루어지는 휘선 패턴 영역의 위치와 동일한 것을 나타내도 된다.
이것에 의해, 도 244 및 도 245에 나타내는 바와 같이, 촬상 표시 화상에 있어서의 휘선 패턴 영역에 대응하는 영역을 기준으로 하여 대상 영역을 인식할 수 있다.
또, 상기 기준 정보는, 상기 촬상 표시 화상에 있어서의 상기 기준 영역이, 상기 촬상 표시 화상 중 디스플레이가 비추어져 있는 영역인 것을 나타내도 된다. 예를 들면, 상기 기준 영역은, 상기 디스플레이에 표시되어 있는 화상에 있어서의 소정의 색의 외부 테두리 부분이라도 된다.
이것에 의해, 도 235에 나타내는 바와 같이, 예를 들면 역명표를 디스플레이라고 하면, 그 디스플레이가 비추어져 있는 영역을 기준으로 하여 대상 영역을 인식할 수 있다. 또, 디스플레이에 백색 또는 흑색의 외부 테두리가 표시되어 있으면, 그 외부 테두리로 둘러싸인 부분(즉 외부 테두리 부분)을 기준 영역으로서 이용하는 것에 의해서, 대상 영역을 인식할 수 있다.
또, 상기 촬상 표시 화상의 표시에서는, 상기 확장 현실 화상인 제1 확장 현실 화상과 상이한 제2 확장 현실 화상의 표시를 억제하면서, 미리 정해진 표시 기간만큼, 상기 제1 확장 현실 화상을 표시해도 된다.
이것에 의해, 도 250에 나타내는 바와 같이, 사용자가 한 번 표시된 제1 확장 현실 화상을 보고 있을 때, 그 제1 확장 현실 화상이 그것과는 상이한 제2 확장 현실 화상에 바로 치환해버리는 것을 억제할 수 있다.
또, 상기 촬상 표시 화상의 표시에서는, 상기 표시 기간에는, 새롭게 취득되는 복호용 화상에 대한 복호를 금지해도 된다.
이것에 의해, 도 250에 나타내는 바와 같이, 새롭게 취득되는 복호용 화상의 복호는, 제2 확장 현실 화상의 표시가 억제되고 있을 때에는 쓸데없는 처리이기 때문에, 그 복호를 금지하는 것에 의해서 소비 전력을 억제할 수 있다.
또, 상기 촬상 표시 화상의 표시에서는, 추가로 상기 표시 기간에 있어서, 상기 표시 장치의 가속도를 가속도 센서에 의해서 계측하고, 계측된 상기 가속도가 임계값 이상인지 아닌지를 판정하며, 상기 임계값 이상으로 판정했을 때에는, 상기 제2 확장 현실 화상의 표시의 억제를 해제하는 것에 의해서, 상기 제1 확장 현실 화상 대신에 상기 제2 확장 현실 화상을 표시해도 된다.
이것에 의해, 도 250에 나타내는 바와 같이, 임계값 이상의 표시 장치의 가속도가 계측되었을 때에, 제2 확장 현실 화상의 표시의 억제가 해제된다. 따라서, 예를 들면, 사용자가 다른 피사체에 이미지 센서를 향하려고 하여 표시 장치를 크게 움직였을 때에는, 제2 확장 현실 화상을 곧바로 표시할 수 있다.
또, 상기 촬상 표시 화상의 표시에서는, 추가로 상기 표시 장치에 구비된 페이스 카메라에 의한 촬상에 의해서, 상기 표시 장치에 사용자의 얼굴이 가까워지고 있는지 아닌지를 판정하고, 상기 얼굴이 가까워지고 있다고 판정하면, 상기 확장 현실 화상인 제1 확장 현실 화상과 상이한 제2 확장 현실 화상의 표시를 억제하면서, 상기 제1 확장 현실 화상을 표시해도 된다. 또는, 상기 촬상 표시 화상의 표시에서는, 추가로 가속도 센서에 의해서 계측되는 상기 표시 장치의 가속도에 의해서, 상기 표시 장치에 사용자의 얼굴이 가까워지고 있는지 아닌지를 판정하고, 상기 얼굴이 가까워지고 있다고 판정하면, 상기 확장 현실 화상인 제1 확장 현실 화상과 상이한 제2 확장 현실 화상의 표시를 억제하면서, 상기 제1 확장 현실 화상을 표시해도 된다.
이것에 의해, 도 250에 나타내는 바와 같이, 사용자가 제1 확장 현실 화상을 보려고 하여 표시 장치에 얼굴을 근접시키고 있을 때, 그 제1 확장 현실 화상이 그것과는 상이한 제2 확장 현실 화상으로 치환해버리는 것을 억제할 수 있다.
또, 상기 촬상 표시 화상 및 상기 복호용 화상의 취득에서는, 각각 화상을 표시하고 있는 복수의 디스플레이를 상기 피사체로서 촬상하는 것에 의해서, 상기 촬상 표시 화상 및 상기 복호용 화상을 취득하고, 상기 대상 영역의 인식에서는, 상기 촬상 표시 화상 중, 상기 복수의 디스플레이 중의 상기 광식별 정보를 송신하고 있는 디스플레이인 송신 디스플레이가 나타나고 있는 영역을 상기 대상 영역으로서 인식하고, 상기 촬상 표시 화상의 표시에서는, 상기 송신 디스플레이에 표시되고 있는 화상에 대응하는 제1 자막을 상기 확장 현실 화상으로서 상기 대상 영역에 중첩하고, 추가로 상기 촬상 표시 화상 중의 상기 대상 영역보다도 큰 영역에, 상기 제1 자막이 확대된 자막인 제2 자막을 중첩해도 된다.
이것에 의해, 도 254에 나타내는 바와 같이, 송신 디스플레이의 화상에 제1 자막이 중첩되기 때문에, 그 제1 자막이 복수의 디스플레이 중의 어느 하나의 디스플레이의 화상에 대한 자막인지를, 사용자에게 용이하게 파악시킬 수 있다. 또, 제1 자막이 확대된 자막인 제2 자막도 표시되기 때문에, 제1 자막이 작아서 읽기 어려운 경우라도, 제2 자막의 표시에 의해서 자막을 읽기 쉽게 할 수 있다.
또, 상기 촬상 표시 화상의 표시에서는, 또한, 상기 서버로부터 취득되는 정보에, 음성 정보가 포함되어 있는지 아닌지를 판정하고, 포함되어 있다고 판정했을 때에는, 상기 제1 및 제2 자막보다도, 상기 음성 정보가 나타내는 음성을 우선하여 출력해도 된다.
이것에 의해, 음성이 우선적으로 출력되기 때문에, 사용자가 자막을 읽는 부담을 경감할 수 있다.
또, 상기 표시 방법은, 추가로, 상기 광식별 정보에 대응하는 제스처 정보를 서버로부터 취득하고, 주기적으로 취득되는 상기 촬상 표시 화상에 의해서 나타나는 상기 피사체의 움직임이, 상기 서버로부터 취득된 상기 제스처 정보에 의해서 나타나는 움직임과 일치하는지 아닌지를 판정하여, 일치한다고 판정되었을 때에, 상기 확장 현실 화상이 중첩된 상기 촬상 표시 화상을 표시해도 된다.
이것에 의해, 예를 들면 도 299 및 도 300에 나타내는 바와 같이, 예를 들면 인물 등의 피사체의 움직임에 따라 확장 현실 화상을 표시할 수 있다. 즉, 적절한 타이밍에 확장 현실 화상을 표시할 수 있다.
또, 상기 피사체는 조명 장치를 구비한 전자레인지로서, 상기 조명 장치는 전자레인지의 안을 비추고, 또한, 휘도 변화하는 것에 의해서 상기 광식별 정보를 상기 전자레인지의 외부에 송신하며, 상기 촬상 표시 화상 및 상기 복호용 화상의 취득에서는 상기 광식별 정보를 송신하고 있는 상기 전자레인지를 촬상하는 것에 의해서 상기 촬상 표시 화상 및 상기 복호용 화상을 취득하고, 상기 대상 영역의 인식에서는, 상기 촬상 표시 화상에 비추어지고 있는 상기 전자레인지의 창 부분을 상기 대상 영역으로서 인식하고, 상기 촬상 표시 화상의 표시에서는, 상기 렌지 안의 상태 변화를 나타내는 상기 확장 현실 화상이 중첩된 상기 촬상 표시 화상을 표시해도 된다.
이것에 의해, 예를 들면 도 307에 나타내는 바와 같이, 전자레인지의 안의 상태 변화가 확장 현실 화상으로서 표시되기 때문에, 전자레인지의 이용자에게 안의 모습을 알기 쉽게 전할 수 있다.
또, 상기 피사체는, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되고 있는 대상물로서, 상기 확장 현실 화상은 동영상이며, 상기 촬상 표시 화상의 표시에서는, 상기 동영상에 포함되는 복수의 화상 중 어느 하나의 화상으로서, 상기 대상물을 포함한 화상과, 상기 대상물을 포함한 화상의 표시 시간에서 전후에 있는 소정의 수의 복수의 화상 중 어느 하나의 화상으로부터, 상기 동영상을 표시해도 된다. 예를 들면, 상기 소정의 수는, 10 프레임이어도 된다. 또, 상기 대상물은 정지 화면이며, 상기 촬상 표시 화상의 표시에서는 상기 정지 화면과 동일한 화상으로부터 상기 동영상을 표시해도 된다.
이것에 의해, 예를 들면 도 265에 나타내는 바와 같이, 정지 화면이 움직이기 시작하도록 가상 현실적으로 동영상을 표시할 수 있고 사용자에게 유익한 화상을 표시할 수 있다.
또, 본 발명의 일 양태에 따른 표시 방법은, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되고 있는 대상물을 피사체로 하여 촬상 센서에 의해 촬상하는 것에 의해서, 촬상 화상을 취득하는 촬상 단계와, 상기 촬상 화상으로부터 상기 신호를 복호하는 복호 단계와, 복호된 상기 신호에 대응하는 동영상을 메모리로부터 독출하고 상기 촬상 화상 중의 상기 피사체에 대응하는 대상 영역에, 상기 동영상을 중첩시켜 디스플레이에 표시하는 표시 단계를 갖고, 상기 표시 단계에서는, 상기 동영상에 포함되는 복수의 화상 중 어느 하나의 화상으로서, 상기 대상물을 포함한 화상과, 상기 대상물을 포함한 화상의 표시 시간에서 전후에 있는 소정의 수의 복수의 화상 중, 어느 하나의 화상으로부터 상기 동영상을 표시한다.
예를 들면, 상기 대상물은 정지 화면이며, 상기 표시 단계에서는, 상기 정지 화면과 동일한 화상으로부터 상기 동영상을 표시해도 된다. 촬상 센서 및 촬상 화상은, 예를 들면, 실시의 형태 23에 있어서의 이미지 센서 및 전체 촬상 화상이다. 또, 라이트 업되는 정지 화면은, 화상 표시 장치의 표시 패널에 표시되는 정지 화상이어도 되고, 송신기로부터의 광에 의해서 비추어지는 포스터, 안내판, 혹은 간판 등이어도 된다.
이것에 의해, 예를 들면 도 265에 나타내는 바와 같이, 정지 화면이 움직이기 시작하도록 가상 현실적으로 동영상을 표시할 수 있고 사용자에게 유익한 화상을 표시할 수 있다.
또, 상기 정지 화면은, 소정의 색의 외부 테두리를 갖고, 상기 표시 방법은, 또한, 상기 소정의 색에 의해 상기 촬상 화상으로부터 상기 대상 영역을 인식하는 인식 단계를 포함하고, 상기 표시 단계에서는, 인식된 상기 대상 영역의 사이즈와 동일해지도록 상기 동영상을 리사이즈하고, 상기 촬상 화상 중의 상기 대상 영역에, 리사이즈된 상기 동영상을 중첩시켜 상기 디스플레이에 표시해도 된다. 예를 들면, 소정의 색 외부 테두리는, 정지 화면을 둘러싸는 백색 또는 흑색의 직사각형 테두리이며, 실시의 형태 23에 있어서의 인식 정보에 의해서 나타난다. 그리고, 실시의 형태 23에 있어서의 AR 화상이 동영상으로서 리사이즈되어 중첩된다.
이것에 의해, 동영상이 피사체로서 실재하도록, 보다 현실적으로 그 동영상을 표시할 수 있다.
또한, 이러한 포괄적 또는 구체적인 양태는, 장치, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 CD-ROM 등의 기록 매체로 실현되어도 되고, 장치, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 기록 매체의 임의인 조합으로 실현되어도 된다.
이하, 실시의 형태에 대해서, 도면을 참조하면서 구체적으로 설명한다.
또한, 이하에서 설명하는 실시의 형태는, 모두 포괄적 또는 구체적인 예를 나타내는 것이다. 이하의 실시의 형태에서 나타내는 수치, 형상, 재료, 구성 요소, 구성 요소의 배치 위치 및 접속 형태, 단계, 단계의 순서 등은 일례이며, 본 발명을 한정하는 주지는 아니다. 또, 이하의 실시의 형태에 있어서의 구성 요소 가운데, 최상위 개념을 나타내는 독립 청구항에 기재되어 있지 않은 구성 요소에 대해서는, 임의의 구성 요소로서 설명된다.
(실시의 형태 1)
이하, 실시의 형태 1에 대해 설명한다.
(발광부의 휘도의 관측)
1장의 화상을 촬상할 때, 모든 촬상 소자를 동일한 타이밍으로 노광시키는 것이 아니라, 촬상 소자마다 상이한 시각에 노광을 개시·종료하는 촬상 방법을 제안한다. 도 1은, 1열로 나열한 촬상 소자는 동시에 노광시키고, 열이 가까운 순서로 노광 개시 시각을 늦추어 촬상하는 경우의 예이다. 여기에서는, 동시에 노광하는 촬상 소자의 노광 라인이라고 부르고, 그 촬상 소자에 대응하는 화상 상의 화소의 라인을 휘선이라고 부른다.
이 촬상 방법을 이용하여, 점멸하고 있는 광원을 촬상 소자의 전면에 찍어 촬상한 경우, 도 2와 같이, 촬상 화상 상에 노광 라인을 따른 휘선(화소값의 명암의 선)이 생긴다. 이 휘선의 패턴을 인식함으로써, 촬상 프레임 레이트를 상회하는 속도의 광원 휘도 변화를 추정할 수 있다. 이것에 의해, 신호를 광원 휘도의 변화로서 송신함으로써, 촬상 프레임 레이트 이상의 속도로의 통신을 행할 수 있다. 광원이 2 종류의 휘도값을 취함으로써 신호를 표현하는 경우, 낮은 쪽의 휘도값을 로(LO), 높은 쪽의 휘도값을 하이(HI)라고 부른다. 로는 광원이 빛나고 있지 않은 상태라도 좋고, 하이보다도 약하게 빛나고 있어도 좋다.
이 방법에 의해서, 촬상 프레임 레이트를 넘는 속도로 정보의 전송을 행한다.
한 장의 촬상 화상 중에, 노광 시간이 중복되지 않는 노광 라인이 20 라인 있고, 촬상의 프레임 레이트가 30 fps일 때는 1.67 밀리초 주기의 휘도 변화를 인식할 수 있다. 노광 시간이 중복되지 않는 노광 라인이 1000 라인 있는 경우는, 3만 분의 1초(약 33마이크로초) 주기의 휘도 변화를 인식할 수 있다. 또한, 노광 시간은 예를 들면 10 밀리초보다도 짧게 설정된다.
도 2는, 하나의 노광 라인의 노광이 완료하고 나서 다음의 노광 라인의 노광이 개시되는 경우를 나타내고 있다.
이 경우, 1초 당의 프레임수(프레임 레이트)가 f, 1 화상을 구성하는 노광 라인수가 1일 때, 각 노광 라인이 일정 이상의 광을 수광하고 있는지 어떤지로 정보를 전송하면, 최대로 fl 비트 매초의 속도로 정보를 전송할 수 있다.
또한, 라인마다가 아니라, 화소마다 시간차로 노광을 행하는 경우는, 한층 더 고속으로 통신이 가능하다.
이 때, 노광 라인 당의 화소수가 m화소이며, 각 화소가 일정 이상의 광을 수광하고 있는지 어떤지로 정보를 전송하는 경우에는, 전송 속도는 최대로 flm 비트 매초가 된다.
도 3과 같이, 발광부의 발광에 의한 각 노광 라인의 노광 상태를 복수의 레벨로 인식 가능하면, 발광부의 발광 시간을 각 노광 라인의 노광 시간보다 짧은 단위의 시간으로 제어함으로써, 보다 많은 정보를 전송할 수 있다.
노광 상태를 Elv 단계에서 인식 가능한 경우에는, 최대로 flElv 비트 매초의 속도로 정보를 전송할 수 있다.
또, 각 노광 라인의 노광의 타이밍과 조금씩 늦춘 타이밍으로 발광부를 발광시킴으로써, 발신의 기본 주기를 인식할 수 있다.
도 4는, 하나의 노광 라인의 노광이 완료하기 전에 다음의 노광 라인의 노광이 개시되는 경우를 나타내고 있다. 즉, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 중복을 가지는 구성이 되어 있다. 이러한 구성에 의해, (1) 하나의 노광 라인의 노광 시간의 종료를 기다려 다음의 노광 라인의 노광을 개시하는 경우에 비해, 소정의 시간 내에 있어서의 샘플수를 많게 할 수 있다. 소정 시간 내에 있어서의 샘플수가 많아짐으로써, 피사체인 광송신기가 발생하는 광신호를 보다 적절하게 검출하는 것이 가능해진다. 즉, 광신호를 검출할 때의 에러율을 저감 하는 것이 가능해진다. 또한, (2) 하나의 노광 라인의 노광 시간의 종료를 기다려 다음의 노광 라인의 노광을 개시하는 경우에 비해, 각 노광 라인의 노광 시간을 길게 할 수 있기 때문에, 피사체가 어두운 경우라도, 보다 밝은 화상을 취득하는 것이 가능해진다. 즉, S/N비를 향상시키는 것이 가능해진다. 또한, 모든 노광 라인 에 있어서, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 중복을 가지는 구성이 될 필요는 없고, 일부의 노광 라인에 대해 부분적으로 시간적인 중복을 가지지 않는 구성으로 하는 것도 가능하다. 일부의 노광 라인에 대해 부분적으로 시간적인 중복을 가지지 않도록 구성하는 것에 의해, 촬상 화면 상에 있어서의 노광 시간의 중복에 의한 중간색의 발생을 억제할 수 있고, 보다 적절하게 휘선을 검출하는 것이 가능해진다.
이 경우는, 각 노광 라인의 밝기로부터 노광 시간을 산출하여, 발광부의 발광 상태를 인식한다.
또한, 각 노광 라인의 밝기를, 휘도가 임계값 이상인지 어떤지의 2값으로 판별하는 경우에는, 발광하고 있지 않은 상태를 인식하기 위해서, 발광부는 발광하고 있지 않은 상태를 각 라인의 노광 시간 이상의 시간 계속해야 한다.
도 5A는, 각 노광 라인의 노광 개시 시각이 동일한 경우에, 노광 시간의 차이에 의한 영향을 나타내고 있다. 7500a는 전의 노광 라인의 노광 종료 시각과 다음의 노광 라인의 노광 개시 시각이 동일한 경우이며, 7500b는 그것보다 노광 시간을 길게 취한 경우이다. 7500b와 같이, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 중복을 가지는 구성으로 함으로써, 노광 시간을 길게 취하는 것이 가능해진다. 즉, 촬상 소자에 입사하는 광이 증대하여 밝은 화상을 얻을 수 있다. 또, 동일한 밝기의 화상을 촬상하기 위한 촬상 감도를 낮게 억제함으로써, 노이즈가 적은 화상이 얻어지기 때문에 통신 에러가 억제된다.
도 5B는, 노광 시간이 동일한 경우에, 각 노광 라인의 노광 개시 시각의 차이에 의한 영향을 나타내고 있다. 7501a는 전의 노광 라인의 노광 종료 시각과 다음의 노광 라인의 노광 개시 시각이 동일한 경우이며, 7501b는 전의 노광 라인의 노광 종료보다 빨리 다음의 노광 라인의 노광을 개시하는 경우이다. 7501b와 같이, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 중복을 가지는 구성으로 함으로써, 시간 당 노광할 수 있는 라인을 늘리는 것이 가능해진다. 이것에 의해, 보다 해상도가 높아져 많은 정보량이 얻어진다. 샘플 간격(=노광 개시 시각의 차이)이 조밀하게 됨으로써, 보다 정확하게 광원 휘도의 변화를 추정할 수 있고 에러율을 저감시킬 수 있어, 더욱, 보다 짧은 시간에 있어서의 광원 휘도의 변화를 인식할 수 있다. 노광 시간에 중복을 갖게 함으로써, 인접하는 노광 라인의 노광량의 차이를 이용하여 노광 시간보다도 짧은 광원의 점멸을 인식할 수 있다.
또, 전술의 샘플수가 적은 경우, 즉, 샘플 간격(도 5B에 나타내는 시간차 tD)이 길면 광원 휘도의 변화를 정확하게 검출할 수 없을 가능성이 높아진다. 이 경우에는, 노광 시간을 짧게 하는 것에 의해서, 그 가능성을 억제할 수 있다. 즉, 광원 휘도의 변화를 정확하게 검출할 수 있다. 또, 노광 시간은, 노광 시간＞(샘플 간격-펄스폭)을 만족하는 것이 바람직하다. 펄스폭은, 광원의 휘도가 High가 되어 있는 기간인 광의 펄스폭이다. 이것에 의해, High의 휘도를 적절히 검출할 수 있다.
도 5A, 도 5B에서 설명한 것처럼, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 중복을 가지도록 각 노광 라인을 순차 노광하는 구성에 있어서, 노광 시간을 통상 촬영 모드보다도 짧게 설정함으로써 발생하는 휘선 패턴을 신호 전송에 이용함으로써 통신 속도를 비약적으로 향상시키는 것이 가능하게 된다. 여기서, 가시광 통신 시에 있어서의 노광 시간을 1/480초 이하로 설정함으로써 적절한 휘선 패턴을 발생시키는 것이 가능해진다. 여기서, 노광 시간은, 프레임 주파수=f로 하면, 노광 시간＜1/8×f로 설정할 필요가 있다. 촬영 시에 발생하는 블랭킹은 최대로 1 프레임의 절반의 크기가 된다. 즉, 블랭킹 시간은, 촬영 시간의 절반 이하이기 때문에, 실제의 촬영 시간은 가장 짧은 시간에서 1/2f가 된다. 또한, 1/2f의 시간 내에 있어서, 4값의 정보를 받을 필요가 있기 때문에, 적어도 노광 시간은 1/(2f×4)보다도 짧게 할 필요가 생긴다. 통상 프레임 레이트는, 60 프레임/초 이하인 것으로부터, 1/480초 이하의 노광 시간으로 설정함으로써, 적절한 휘선 패턴을 화상 데이터에 발생시켜, 고속의 신호 전송을 행하는 것이 가능해진다.
도 5C는, 각 노광 라인의 노광 시간이 중복되지 않는 경우, 노광 시간이 짧은 경우의 이점을 나타내고 있다. 노광 시간이 긴 경우는, 광원은 7502a와 같이 2값의 휘도 변화를 하고 있었다고 해도, 촬상 화상에서는 7502e와 같이 중간색의 부분이 생겨 광원의 휘도 변화를 인식하는 것이 어려워지는 경향이 있다. 그러나, 7502d와 같이, 하나의 노광 라인의 노광 종료 후, 다음의 노광 라인의 노광 개시까지 소정의 노광하지 않는 빈 시간(소정의 대기 시간) tD2을 두는 구성으로 함으로써 광원의 휘도 변화를 인식하기 쉽게 하는 것이 가능해진다. 즉, 7502f와 같은, 보다 적절한 휘선 패턴을 검출하는 것이 가능해진다. 7502d와 같이, 소정의 노광하지 않는 빈 시간을 두는 구성은, 노광 시간 tE를 각 노광 라인의 노광 개시 시각의 시간차 tD보다도 작게 함으로써 실현되는 것이 가능해진다. 통상 촬영 모드가, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 중복을 가지는 구성인 경우에 있어서, 노광 시간을 통상 촬영 모드시보다도, 소정의 노광하지 않는 빈 시간이 생길 때까지 짧게 설정함으로써 실현할 수 있다. 또, 통상 촬영 모드가, 전의 노광 라인의 노광 종료 시각과 다음의 노광 라인의 노광 개시 시각이 동일한 경우라도, 소정의 노광하지 않는 시간이 생길 때까지 노광 시간을 짧게 설정함으로써, 실현할 수 있다. 또, 7502g 와 같이, 각 노광 라인의 노광 개시 시각의 간격 tD를 크게 하는 것에 의해서, 하나의 노광 라인의 노광 종료 후, 다음의 노광 라인의 노광 개시까지 소정의 노광하지 않는 빈 시간(소정의 대기 시간) tD2를 두는 구성을 취할 수 있다. 이 구성에서는, 노광 시간을 길게 할 수 있기 때문에, 밝은 화상을 촬상할 수 있고 노이즈가 적게 되는 것으로부터 에러 내성이 높다. 한편으로, 이 구성에서는, 일정 시간 내에 노광할 수 있는 노광 라인이 적게 되기 때문에, 7502h와 같이, 샘플수가 적게 된다는 결점이 있기 때문에, 상황에 따라서 구분하여 사용하는 것이 바람직하다. 예를 들면, 촬상 대상이 밝은 경우에는 전자의 구성을 이용하고, 어두운 경우에는 후자의 구성을 이용함으로써, 광원 휘도 변화의 추정 오차를 저감할 수 있다.
또한, 모든 노광 라인에 있어서, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 중복을 가지는 구성이 될 필요는 없고, 일부의 노광 라인에 대해 부분적으로 시간적인 중복을 가지지 않는 구성으로 하는 것도 가능하다. 또, 모든 노광 라인에 있어서, 하나의 노광 라인의 노광 종료 후, 다음의 노광 라인의 노광 개시까지 소정의 노광하지 않는 빈 시간(소정의 대기 시간)을 두는 구성이 될 필요는 없고, 일부의 노광 라인에 대해 부분적으로 시간적인 중복을 가지는 구성으로 하는 것도 가능하다. 이러한 구성으로 함으로써, 각각의 구성에 있어서의 이점을 살리는 것이 가능해진다. 또, 통상의 프레임 레이트(30fps, 60fps)로 촬영을 행하는 통상 촬영 모드와 가시광 통신을 행하는 1/480초 이하의 노광 시간으로 촬영을 행하는 가시광 통신 모드에 있어서, 동일한 독출 방법 또는 회로로 신호의 독출을 행해도 된다. 동일한 독출 방법 또는 회로로 신호를 독출함으로써, 통상 촬영 모드와 가시광 통신 모드에 대해서, 각각 별도의 회로를 이용할 필요가 없어지고, 회로 규모를 작게 하는 것이 가능해진다.
도 5D는, 광원 휘도의 최소 변화 시간 tS와 노광 시간 tE와 각 노광 라인의 노광 개시 시각의 시간차 tD와 촬상 화상의 관계를 나타내고 있다. tE＋tD＜tS로 한 경우는, 반드시 하나 이상의 노광 라인이 노광의 개시부터 종료까지 광원이 변화하지 않는 상태로 촬상하기 때문에, 7503d와 같이 휘도가 분명한 화상이 얻어져 광원의 휘도 변화를 인식하기 쉽다. 2tE＞tS로 한 경우는, 광원의 휘도 변화와는 상이한 패턴의 휘선이 얻어지는 경우가 있어, 촬상 화상으로부터 광원의 휘도 변화를 인식하는 것이 어려워진다.
도 5E는, 광원 휘도의 천이 시간 tT와 각 노광 라인의 노광 개시 시각의 시간차 tD와의 관계를 나타내고 있다. tT에 비해 tD가 클수록, 중간색이 되는 노광 라인이 적어지고, 광원 휘도의 추정이 용이해진다. tD＞tT일 때 중간색의 노광 라인은 연속으로 2 라인 이하가 되어 바람직하다. tT는, 광원이 LED인 경우는 1마이크로초 이하, 광원이 유기 EL인 경우는 5마이크로초 정도가 되기 때문에, tD를 5마이크로초 이상으로 함으로써, 광원 휘도의 추정을 용이하게 할 수 있다.
도 5F는, 광원 휘도의 고주파 노이즈 tHT와 노광 시간 tE와의 관계를 나타내고 있다. tHT에 비해 tE가 클수록, 촬상 화상은 고주파 노이즈의 영향이 적어지고, 광원 휘도의 추정이 용이해진다. tE가 tHT의 정수배일 때는 고주파 노이즈의 영향이 없어져, 광원 휘도의 추정이 가장 용이해진다. 광원 휘도의 추정에는, tE＞tHT인 것이 바람직하다. 고주파 노이즈의 주된 원인은 스위칭 전원 회로에 유래하고, 많은 전등용 스위칭 전원에서는 tHT는 20마이크로초 이하이기 때문에, tE를 20마이크로초 이상으로 함으로써, 광원 휘도의 추정을 용이하게 행할 수 있다.
도 5G는, tHT가 20마이크로초인 경우의, 노광 시간 tE와 고주파 노이즈의 크기와의 관계를 나타내는 그래프이다. tHT는 광원에 따라서 편차가 있는 것을 고려하면, 그래프에서 tE는, 노이즈량이 극대를 취할 때의 값과 동일해지는 값인, 15마이크로초 이상, 또는, 35마이크로초 이상, 또는, 54마이크로초 이상, 또는, 74마이크로초 이상으로서 정하면 효율이 좋은 것을 확인할 수 있다. 고주파 노이즈 저감의 관점에서는 tE는 큰 편이 바람직하지만, 전술대로, tE가 작을수록 중간색 부분이 발생하기 어려워진다는 점에서 광원 휘도의 추정이 용이하게 된다는 성질도 있다. 그 때문에, 광원 휘도의 변화의 주기가 15~35마이크로초일 때는 tE는 15마이크로초 이상, 광원 휘도의 변화의 주기가 35~54마이크로초일 때는 tE는 35마이크로초 이상, 광원 휘도의 변화의 주기가 54~74마이크로초일 때는 tE는 54마이크로초 이상, 광원 휘도의 변화의 주기가 74마이크로초 이상일 때는 tE는 74마이크로초 이상으로서 설정하면 좋다.
도 5H는, 노광 시간 tE와 인식 성공율과의 관계를 나타낸다. 노광 시간 tE은 광원의 휘도가 일정한 시간에 대해서 상대적인 의미를 가지기 때문에, 광원 휘도가 변화하는 주기 tS를 노광 시간 tE으로 나눈 값(상대 노광 시간)을 횡축으로 하고 있다. 그래프에서, 인식 성공율을 거의 100%로 하고자 하는 경우는, 상대 노광 시간을 1.2 이하로 하면 좋은 것을 알 수 있다. 예를 들면, 송신 신호를 1 kHz로 하는 경우는 노광 시간을 약 0.83 밀리초 이하로 하면 좋다. 동일하게 인식 성공율을 95% 이상으로 하고자 하는 경우는 상대 노광 시간을 1.25 이하로, 인식 성공율을 80% 이상으로 하고자 하는 경우는 상대 노광 시간을 1.4 이하로 하면 좋다는 것을 알 수 있다. 또, 상대 노광 시간이 1.5 부근에서 인식 성공율이 급격하게 낮아져, 1.6에서 거의 0%가 되기 때문에, 상대 노광 시간이 1.5를 넘지 않도록 설정해야 한다는 것을 알 수 있다. 또, 인식율이 7507c에서 0이 된 후, 7507d나, 7507e, 7507f에서 재차 상승하고 있는 것을 알 수 있다. 그 때문에, 노광 시간을 길게 하여 밝은 화상을 촬상하고자 하는 경우 등은, 상대 노광 시간이 1.9에서 2.2, 2.4에서 2.6, 2.8에서 3.0이 되는 노광 시간을 이용하면 좋다. 예를 들면, 중간 모드로서 이러한 노광 시간을 사용하면 좋다.
도 6A는, 본 실시의 형태에 있어서의 정보 통신 방법의 플로우 차트이다.
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 단계 SK91~SK93를 포함한다.
즉, 이 정보 통신 방법은, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 복수의 노광 라인에 대응하는 복수의 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 제1 노광 시간을 설정하는 제1 노광 시간 설정 단계 SK91과, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 제1 노광 시간에서 촬영하는 것에 의해서 상기 복수의 휘선을 포함한 휘선 화상을 취득하는 제1 화상 취득 단계 SK92와, 취득된 상기 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계 SK93을 포함하고, 상기 제1 화상 취득 단계 SK92에서는, 상기 복수의 노광 라인의 각각은, 순차 상이한 시각에서 노광을 개시하고, 또한 상기 노광 라인에 인접하는 인접 노광 라인의 노광이 종료하고 나서 소정의 빈 시간 경과 후에 노광을 개시한다.
도 6B는, 본 실시의 형태에 있어서의 정보 통신 장치의 블럭도이다.
본 실시의 형태에 있어서의 정보 통신 장치(K90)는, 피사체로부터 정보를 취득하는 정보 통신 장치로서, 구성 요소 K91~K93를 구비한다.
즉, 이 정보 통신 장치(K90)는, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 복수의 노광 라인에 대응하는 복수의 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정부(K91)와, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에서 촬영하는 것에 의해서, 상기 복수의 휘선을 포함한 휘선 화상을 취득하는 상기 이미지 센서를 가지는 화상 취득부(K92)와, 취득된 상기 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득부(K93)를 구비하고, 상기 복수의 노광 라인의 각각은, 순차 상이한 시각에서 노광을 개시하고, 또한, 상기 노광 라인에 인접하는 인접 노광 라인의 노광이 종료하고 나서 소정의 빈 시간 경과 후에 노광을 개시한다.
이러한 도 6A 및 도 6B에 의해서 나타나는 정보 통신 방법 및 정보 통신 장치(K90)에서는, 예를 들면 도 5C 등에 나타내는 바와 같이, 복수의 노광 라인의 각각은, 그 노광 라인에 인접하는 인접 노광 라인의 노광이 종료하고 나서 소정의 빈 시간 경과 후에, 노광을 개시하기 때문에, 피사체의 휘도 변화를 인식하기 쉽게 할 수 있다. 그 결과, 피사체로부터 정보를 적절하게 취득할 수 있다.
또한, 상기 실시의 형태에 있어서, 각 구성 요소는, 전용의 하드웨어로 구성되거나, 각 구성 요소에 적절한 소프트웨어 프로그램을 실행하는 것에 의해서 실현되어도 된다. 각 구성 요소는 CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 독출하여 실행하는 것에 의해서 실현되어도 된다. 예를 들면 프로그램은, 도 6A의 플로우 차트에 의해서 나타나는 정보 통신 방법을 컴퓨터에 실행시킨다.
(실시의 형태 2)
본 실시의 형태에서는, 상기 실시의 형태 1에 있어서의 정보 통신 장치(K90)인 스마트 폰 등의 수신기와, LED나 유기 EL 등의 광원의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
또한, 이하의 설명에서는, 통상 촬영 모드, 또는 통상 촬영 모드에 의한 촬영을 통상 촬영이라고 하고, 가시광 통신 모드, 또는 가시광 통신 모드에 의한 촬영을 가시광 촬영(가시광 통신)이라고 한다. 또, 통상 촬영 및 가시광 촬영 대신에, 중간 모드에 의한 촬영을 이용해도 되고, 후술의 합성 화상 대신에 중간 화상을 이용해도 된다.
도 7은, 본 실시의 형태에 있어서의 수신기의 촬영 동작의 일례를 나타내는 도면이다.
수신기(8000)는, 촬영 모드를 통상 촬영, 가시광 통신, 통상 촬영,··과 같이 전환한다. 그리고, 수신기(8000)는, 통상 촬영 화상과 가시광 통신 화상을 합성하는 것에 의해서, 휘선 모양과 피사체 및 그 주위가 선명하게 비추어진 합성 화상을 생성하고, 그 합성 화상을 디스플레이에 표시한다. 이 합성 화상은, 통상 촬영 화상에 있어서의 신호가 송신되고 있는 개소에, 가시광 통신 화상의 휘선 모양을 중첩하는 것에 의해서 생성된 화상이다. 또, 이 합성 화상에 의해서 비추어지는 휘선 모양, 피사체 및 그 주위는 각각 선명하며, 사용자에 의해서 충분히 인식되는 선명도를 가진다. 이러한 합성 화상이 표시되는 것에 의해서, 사용자는, 어디로부터, 또는 어느 위치로부터 신호가 송신되고 있는지를 보다 명확하게 알 수 있다.
도 8은, 본 실시의 형태에 있어서의 수신기의 촬영 동작의 다른 예를 나타내는 도면이다.
수신기(8000)는 카메라(Ca1) 및 카메라(Ca2)를 구비한다. 이러한 수신기(8000)에서는, 카메라(Ca1)는 통상 촬영을 행하고, 카메라(Ca2)는 가시광 촬영을 행한다. 이것에 의해, 카메라(Ca1)는, 전술과 같은 통상 촬영 화상을 취득하고, 카메라(Ca2)는 전술과 같은 가시광 통신 화상을 취득한다. 그리고, 수신기(8000)는 통상 촬영 화상 및 가시광 통신 화상을 합성하는 것에 의해서, 전술의 합성 화상을 생성하여 디스플레이에 표시한다.
도 9는, 본 실시의 형태에 있어서의 수신기의 촬영 동작의 다른 예를 나타내는 도면이다.
2개의 카메라를 갖는 상기 수신기(8000)에서는, 카메라(Ca1)는, 촬영 모드를 통상 촬영, 가시광 통신, 통상 촬영,···과 같이 전환한다. 한편, 카메라(Ca2)는, 통상 촬영을 계속하여 행한다. 그리고, 카메라(Ca1)와 카메라(Ca2)로 동시에 통상 촬영이 행해지고 있을 때에는, 수신기(8000)는, 그러한 카메라에 의해서 취득된 통상 촬영 화상으로부터, 스테레오시(삼각 측량의 원리)를 이용하여, 수신기(8000)로부터 피사체까지의 거리(이하, 피사체 거리라고 함)를 추정한다. 이와 같이 추정된 피사체 거리를 이용하는 것에 의해서, 수신기(8000)는, 가시광 통신 화상의 휘선 모양을 통상 촬영 화상의 적절한 위치에 중첩할 수 있다. 즉, 적절한 합성 화상을 생성할 수 있다.
도 10은, 본 실시의 형태에 있어서의 수신기의 표시 동작의 일례를 나타내는 도면이다.
수신기(8000)는, 전술과 같이 촬영 모드를 가시광 통신, 통상 촬영, 가시광 통신,···과 같이 전환한다. 여기서, 수신기(8000)는, 최초에 가시광 통신을 행할 때에 어플리케이션 프로그램을 기동한다. 그리고, 수신기(8000)는 가시광 통신에 의해서 수신한 신호에 근거하여, 스스로의 위치를 추정한다. 다음에, 수신기(8000)는, 통상 촬영을 행할 때에는, 그 통상 촬영에 의해서 취득된 통상 촬영 화상에, AR(Augmented Reality) 정보를 표시한다. 이 AR 정보는, 전술과 같이 추정된 위치 등에 근거하여 취득되는 것이다. 또, 수신기(8000)는 9축 센서에 의한 검출 결과, 및 통상 촬영 화상의 움직임 검출 등에 근거하여, 수신기(8000)의 이동 및 방향의 변화를 추정하고, 그 추정된 이동 및 방향의 변화에 맞추어 AR 정보의 표시 위치를 이동시킨다. 이것에 의해, AR 정보를 통상 촬영 화상의 피사체상에 추종시킬 수 있다.
또, 수신기(8000)는, 통상 촬영으로부터 가시광 통신으로 촬영 모드를 전환하면, 그 가시광 통신 시에는 직전의 통상 촬영시에 취득된 최신의 통상 촬영 화상에 AR 정보를 중첩한다. 그리고, 수신기(8000)는 AR 정보가 중첩된 통상 촬영 화상을 표시한다. 또, 수신기(8000)는 통상 촬영시와 동일하게, 9축 센서에 의한 검출 결과에 근거하여, 수신기(8000)의 이동 및 방향의 변화를 추정하고, 그 추정된 이동 및 방향의 변화에 맞추어 AR 정보 및 통상 촬영 화상을 이동시킨다. 이것에 의해, 가시광 통신시에도, 통상 촬영시와 동일하게, 수신기(8000)의 이동 등에 맞추어 AR 정보를 통상 촬영 화상의 피사체상에 추종시킬 수 있다. 또, 수신기(8000)의 이동 등에 맞추어, 그 통상 화상을 확대 및 축소할 수 있다.
도 11은, 본 실시의 형태에 있어서의 수신기의 표시 동작의 일례를 나타내는 도면이다.
예를 들면, 수신기(8000)는, 도 11의 (a)에 나타내는 바와 같이, 휘선 모양이 비추어진 상기 합성 화상을 표시해도 된다. 또, 수신기(8000)는, 도 11의 (b)에 나타내는 바와 같이, 휘선 모양 대신에, 신호가 송신되고 있는 것을 통지하기 위한 소정의 색을 가지는 화상인 신호 명시 오브젝트를 통상 촬영 화상에 중첩하는 것에 의해서 합성 화상을 생성하고, 그 합성 화상을 표시해도 된다.
또, 수신기(8000)는, 도 11의 (c)에 나타내는 바와 같이, 신호가 송신되고 있는 개소가 점선의 테두리와 식별자(예를 들면, ID：101, ID：102 등)에 의해서 나타나고 있는 통상 촬영 화상을 합성 화상으로서 표시해도 된다. 또, 수신기(8000)는, 도 11의 (d)에 나타내는 바와 같이, 휘선 모양 대신에, 특정 종류의 신호가 송신되고 있는 것을 통지하기 위한 소정의 색을 가지는 화상인 신호 식별 오브젝트를 통상 촬영 화상에 중첩하는 것에 의해서 합성 화상을 생성하고, 그 합성 화상을 표시해도 된다. 이 경우, 그 신호 식별 오브젝트의 색은, 송신기로부터 출력되고 있는 신호의 종류에 따라서 상이하다. 예를 들면, 송신기로부터 출력되고 있는 신호가 위치 정보인 경우에는, 적색의 신호 식별 오브젝트가 중첩되고, 송신기로부터 출력되고 있는 신호가 쿠폰인 경우에는, 녹색의 신호 식별 오브젝트가 중첩된다.
도 12는, 본 실시의 형태에 있어서의 수신기의 동작의 일례를 나타내는 도면이다.
예를 들면, 수신기(8000)는 가시광 통신에 의해서 신호를 수신한 경우에는, 통상 촬영 화상을 표시함과 함께, 송신기를 발견한 것을 사용자에게 통지하기 위한 음을 출력해도 된다. 이 경우, 수신기(8000)는, 발견한 송신기의 개수, 수신한 신호의 종류, 또는, 그 신호에 의해서 특정되는 정보의 종류 등에 따라서 출력되는 소리의 종류, 출력 횟수, 또는 출력 시간을 상이하게 해도 된다.
도 13은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 합성 화상에 비추어진 휘선 모양에 사용자가 터치하면, 수신기(8000)는, 그 터치된 휘선 모양에 대응하는 피사체로부터 송신된 신호에 근거하여, 정보 통지 화상을 생성하고, 그 정보 통지 화상을 표시한다. 이 정보 통지 화상은, 예를 들면, 점포의 쿠폰이나 장소 등을 나타낸다. 또한, 휘선 모양은, 도 11에 나타내는 신호 명시 오브젝트, 신호 식별 오브젝트, 또는 점선 테두리 등이어도 된다. 이하에 기재되어 있는 휘선 모양에 대해서도 동일하다.
도 14는, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 합성 화상에 비추어진 휘선 모양에 사용자가 터치하면, 수신기(8000)는, 그 터치된 휘선 모양에 대응하는 피사체로부터 송신된 신호에 근거하여, 정보 통지 화상을 생성하고, 그 정보 통지 화상을 표시한다. 이 정보 통지 화상은, 예를 들면, 수신기(8000)의 현재지를 지도 등에 의해서 나타낸다.
도 15는, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 합성 화상이 표시되고 있는 수신기(8000)에 대해서 사용자가 스와이프를 행하면, 수신기(8000)는 도 11의 (c)에 나타내는 통상 촬영 화상과 동일한, 점선 테두리 및 식별자를 가지는 통상 촬영 화상을 표시함과 함께, 스와이프의 조작에 추종하도록 정보의 일람을 표시한다. 이 일람에는, 각 식별자에 의해서 나타나는 개소(송신기)로부터 송신되는 신호에 의해서 특정되는 정보가 나타나고 있다. 또, 스와이프는, 예를 들면, 수신기(8000)에 있어서의 디스플레이의 우측의 밖으로부터 가운데로 손가락을 움직이는 조작이어도 된다. 또한, 스와이프는, 디스플레이의 상측으로부터, 하측으로부터, 또는 좌측으로부터 가운데로 손가락을 움직이는 조작이어도 된다.
또, 그 일람에 포함되는 정보가 사용자에 의해서 탭 되면, 수신기(8000)는, 그 정보를 보다 상세하게 나타내는 정보 통지 화상(예를 들면 쿠폰을 나타내는 화상)을 표시해도 된다.
도 16은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 합성 화상이 표시되고 있는 수신기(8000)에 대해서 사용자가 스와이프를 행하면, 수신기(8000)는, 스와이프의 조작에 추종하도록 정보 통지 화상을 합성 화상에 중첩해 표시한다. 이 정보 통지 화상은, 피사체 거리를 화살표와 함께 사용자에게 알기 쉽게 나타내는 것이다. 또, 스와이프는, 예를 들면, 수신기(8000)에 있어서의 디스플레이의 하측의 밖으로부터 가운데로 손가락을 움직이는 조작이어도 된다. 또한, 스와이프는, 디스플레이의 좌측으로부터, 상측으로부터, 또는 우측으로부터 가운데로 손가락을 움직이는 조작이어도 된다.
도 17은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 수신기(8000)는, 복수의 점포를 나타내는 사이니지인 송신기를 피사체로서 촬영하고, 그 촬영에 의해서 취득된 통상 촬영 화상을 표시한다. 여기서, 통상 촬영 화상에 비추어진 피사체에 포함되는, 1개의 점포의 사이니지의 화상을 사용자가 탭 하면, 수신기(8000)는 그 점포의 사이니지로부터 송신되는 신호에 근거하여 정보 통지 화상을 생성하고, 그 정보 통지 화상(8001)을 표시한다. 이 정보 통지 화상(8001)은, 예를 들면 점포의 공석 상황 등을 나타내는 화상이다.
도 18은, 본 실시의 형태에 있어서의 수신기와 송신기와 서버와의 동작의 일례를 나타내는 도면이다.
우선, 텔레비전으로서 구성되어 있는 송신기(8012)는, 휘도 변화에 의해서 신호를 수신기(8011)에 송신한다. 이 신호는, 예를 들면, 시청되고 있는 프로그램에 관련된 컨텐츠의 구입을 사용자에게 재촉하기 위한 정보를 포함한다. 수신기(8011)는, 가시광 통신에 의해서 그 신호를 수신하면, 그 신호에 근거하여, 컨텐츠의 구입을 사용자에게 재촉하는 정보 통지 화상을 표시한다. 사용자가 그 컨텐츠를 구입하기 위한 조작을 행하면, 수신기(8011)는, 수신기(8011)에 삽입되어 있는 SIM(Subscriber Identity Module) 카드에 포함되는 정보, 사용자 ID, 단말 ID, 크레디트 카드 정보, 과금을 위한 정보, 패스워드, 및 송신기 ID 중 적어도 1개를 서버(8013)에 송신한다. 서버(8013)는, 사용자마다, 사용자 ID와 지불 정보를 서로 결합하여 관리하고 있다. 그리고, 서버(8013)는, 수신기(8011)로부터 송신되는 정보에 근거하여, 사용자 ID를 특정하고, 그 사용자 ID에 서로 결합되어 있던 지불 정보를 확인한다. 이 확인에 의해서, 서버(8013)는, 사용자에 대해서 컨텐츠의 구입을 허가하는지 아닌지를 판단한다. 그리고, 서버(8013)는 허가한다고 판단하면, 허가 정보를 수신기(8011)에 송신한다. 수신기(8011)는, 허가 정보를 수신하면, 그 허가 정보를 송신기(8012)에 송신한다. 허가 정보를 수신한 송신기(8012)는, 그 컨텐츠를 예를 들면 네트워크를 개재하여 취득하여 재생한다.
또, 송신기(8012)는, 휘도 변화하는 것에 의해서 송신기(8012)의 ID를 포함하는 정보를 수신기(8011)에 대해서 송신해도 된다. 이 경우, 수신기(8011)는, 그 정보를 서버(8013)에 송신한다. 서버(8013)는, 그 정보를 취득하면, 그 송신기(8012)에 의해서 예를 들면 TV 프로그램이 시청되고 있다고 판단할 수 있고, TV 프로그램의 시청률 조사를 행할 수 있다.
또, 수신기(8011)는, 사용자에 의해서 조작된 내용(투표 등)을 전술의 정보에 포함시켜 서버(8013)에 송신하는 것에 의해서, 서버(8013)는, 그 내용을 TV 프로그램에 반영할 수 있다. 즉, 시청자 참가형의 프로그램을 실현할 수 있다. 또한, 수신기(8011)는, 사용자에 의한 기록을 접수한 경우에는, 그 기록의 내용을 전술의 정보에 포함시켜 서버(8013)에 송신하는 것에 의해서, 서버(8013)는, 그 기록을 TV 프로그램나 네트워크 상의 게시판 등에 반영할 수 있다.
또한, 송신기(8012)가 전술과 같은 정보를 송신하는 것에 의해서, 서버(8013)는 유료 방송 또는 온디멘드 프로그램에 의한 TV 프로그램의 시청에 대해서 과금을 행할 수 있다. 또, 서버(8013)는, 수신기(8011)에 대해서 광고를 표시시키거나 송신기(8012)에 표시되는 TV 프로그램의 상세 정보를 표시시키거나, 그 상세 정보를 나타내는 사이트의 URL를 표시시키거나 할 수 있다. 또한, 서버(8013)는, 수신기(8011)에 의해서 광고가 표시된 횟수, 또는, 그 광고에 의해서 구입된 상품의 금액 등을 취득하는 것에 의해서, 그 횟수 또는 금액에 따른 과금을 광고주에 대해서 행할 수 있다. 이러한 금액에 따른 과금은, 광고를 본 사용자가 그 상품을 빨리 구입하지 않아도 행할 수 있다. 또, 서버(8013)는, 송신기(8012)로부터 수신기(8011)를 개재하여 송신기(8012)의 메이커를 나타내는 정보를 취득했을 때에는, 그 정보에 의해서 나타나는 메이커에 대해서 서비스(예를 들면, 전술의 상품의 판매에 대한 보수의 지불)를 행할 수 있다.
도 19는, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
수신기(8030)는, 예를 들면, 카메라를 구비한 헤드 마운트 디스플레이로서 구성되어 있다. 이 수신기(8030)는 개시 버튼이 눌러졌을 때에, 가시광 통신 모드에 의한 촬영, 즉 가시광 통신을 개시한다. 그리고, 가시광 통신에 의해서 신호가 수신된 경우에는, 수신기(8030)는 그 수신된 신호에 따른 정보를 사용자에게 통지한다. 이 통지는, 예를 들면, 수신기(8030)에 구비된 스피커로부터 음성이 출력되는 것에 의해서 행해지거나 화상의 표시에 의해서 행해진다. 또, 가시광 통신은, 개시 버튼이 눌러졌을 때 이외에도, 개시를 지시하는 음성의 입력이 수신기(8030)에 접수되었을 때, 또는 개시를 지시하는 신호가 무선 통신으로 수신기(8030)에 수신되었을 때에 개시되어도 된다. 또, 수신기(8030)에 구비된 9축 센서에 의해서 얻어진 값의 변화폭이 소정의 범위를 넘었을 때, 또는, 통상 촬영 화상에 휘선 모양이 조금이라도 나타났을 때에, 가시광 통신을 개시해도 된다.
도 20은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
수신기(8030)는 전술과 동일하게, 합성 화상(8034)을 표시한다. 여기서, 사용자는, 합성 화상(8034) 중의 휘선 모양을 둘러싸도록 손가락끝을 움직이는 조작을 행한다. 수신기(8030)는 이 조작을 접수하면, 그 조작의 대상으로 된 휘선 모양을 특정하고, 그 휘선 모양에 대응하는 개소로부터 송신되고 있는 신호에 근거한 정보 통지 화상(8032)을 표시한다.
도 21은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
수신기(8030)는, 전술과 동일하게, 합성 화상(8034)을 표시한다. 여기서, 사용자는, 합성 화상(8034) 중의 휘선 모양에 손가락끝을 미리 정해진 시간 이상 대는 조작을 행한다. 수신기(8030)는, 이 조작을 접수하면, 그 조작의 대상이 된 휘선 모양을 특정하고, 그 휘선 모양에 대응하는 개소로부터 송신되고 있는 신호에 근거한 정보 통지 화상(8032)을 표시한다.
도 22는, 본 실시의 형태에 있어서의 송신기의 동작의 일례를 나타내는 도면이다.
송신기는, 예를 들면 미리 정해진 주기로, 신호 1과 신호 2를 교대로 송신한다. 신호 1의 송신과 신호 2의 송신은, 각각 가시광의 점멸 등의 휘도 변화에 의해서 행해진다. 또, 신호 1을 송신하기 위한 휘도 변화의 패턴과 신호 2를 송신하기 위한 휘도 변화의 패턴은 서로 상이하다.
도 23은, 본 실시의 형태에 있어서의 송신기의 동작의 다른 예를 나타내는 도면이다.
송신기는, 전술과 같이 블록 1, 블록 2 및 블록 3을 포함하는 구성 단위의 신호열을 반복해 송신할 때에는, 신호열마다, 그 신호열에 포함되는 블록의 배치를 변경해도 된다. 예를 들면, 최초의 신호열에는, 블록 1, 블록 2, 블록 3의 순서로 각 블록이 배치되고, 다음의 신호열에는 블록 3, 블록 1, 블록 2의 순서로 각 블록이 배치된다. 이것에 의해, 주기적인 블랭킹 기간을 필요로 하는 수신기에 의해서 동일한 블록만이 취득되는 것을 피할 수 있다.
도 24는, 본 실시의 형태에 있어서의 수신기의 응용예를 나타내는 도면이다.
예를 들면 스마트 폰으로서 구성되는 수신기(7510a)는, 백 카메라(아웃 카메라)(7510c)로 광원(7510b)을 촬상하고, 광원(7510b)으로부터 송신된 신호를 수신하며, 수신한 신호로부터 광원(7510b)의 위치와 방향을 취득한다. 수신기(7510a)는, 광원(7510b)의 촬상 화상 중에 있어서의 비치는 방법이나, 수신기(7510a)에 구비한 9축 센서의 센서값으로부터, 수신기(7510a) 자신의 위치와 방향을 추정한다. 수신기(7510a)는, 프런트 카메라(페이스 카메라, 인 카메라)(7510f)로 사용자(7510e)를 촬상하고, 화상 처리에 의해서 7510e의 머리 부분의 위치와 방향, 및, 시선 방향(안구의 위치와 방향)을 추정한다. 수신기(7510a)는, 추정 결과를 서버에 송신한다. 수신기(7510a)는, 사용자(7510e)의 시선 방향에 따라 거동(디스플레이의 표시 내용이나 재생음)을 변경한다. 백 카메라(7510c)에 의한 촬상과 프런트 카메라(7510f)에 의한 촬상은, 동시에 행해도 되고, 교대로 행해도 된다.
도 25는, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
수신기는, 전술과 같은 합성 화상 또는 중간 화상 등에 의해서, 휘선 모양을 표시한다. 이 때, 수신기는, 이 휘선 모양에 대응하는 송신기로부터의 신호를 수신할 수 없어도 된다. 여기서, 사용자가 휘선 모양에 대한 조작(예를 들면 탭)을 행하는 것에 의해서 그 휘선 모양이 선택되면, 수신기는, 광학 줌을 행하는 것에 의해서, 그 휘선 모양의 개소가 확대된 합성 화상 또는 중간 화상을 표시한다. 이러한 광학 줌이 행해지는 것에 의해서, 수신기는, 그 휘선 모양에 대응하는 송신기로부터의 신호를 적절하게 수신할 수 있다. 즉, 촬상에 의해서 얻어지는 화상이 너무 작아, 신호를 취득할 수 없어도, 광학 줌을 행하는 것에 의해서 그 신호를 적절하게 수신할 수 있다. 또, 신호를 취득 가능한 크기의 화상이 표시되어 있는 경우라도, 광학 줌을 행하는 것에 의해서 빠른 수신을 행할 수 있다.
(본 실시의 형태의 정리)
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 제1 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에서 촬영하는 것에 의해서 상기 휘선을 포함하는 화상인 휘선 화상을 취득하는 휘선 화상 취득 단계와, 상기 휘선 화상에 근거하여 상기 휘선이 나타난 부위의 공간적인 위치를 식별할 수 있는 양태로, 상기 피사체와 해당 피사체의 주위가 비추어진 표시용 화상을 표시하는 화상 표시 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 송신 정보를 취득하는 정보 취득 단계를 포함한다.
예를 들면, 도 7, 도 8 및 도 11에 나타내는 합성 화상 또는 중간 화상이 표시용 화상으로서 표시된다. 또, 피사체와 상기 피사체의 주위가 비추어진 표시용 화상에 있어서, 휘선이 나타난 부위의 공간적인 위치는, 휘선 모양, 신호 명시 오브젝트, 신호 식별 오브젝트, 또는 점선 테두리 등에 의해서 식별된다. 따라서, 사용자는, 이러한 표시 화상을 보는 것에 의해서, 휘도 변화에 의해서 신호를 송신하고 있는 피사체를 용이하게 찾아낼 수 있다.
또, 상기 정보 통신 방법은, 또한, 상기 노광 시간보다도 긴 노광 시간을 설정하는 제2 노광 시간 설정 단계와, 상기 이미지 센서가, 상기 피사체와 해당 피사체의 주위를 상기 긴 노광 시간으로 촬영하는 것에 의해서, 통상 촬영 화상을 취득하는 통상 화상 취득 단계와, 상기 통상 촬영 화상에 있어서 상기 휘선이 나타난 부위를, 상기 휘선 화상에 근거해 특정하고, 상기 부위를 지시하는 화상인 신호 오브젝트를 상기 통상 촬영 화상에 중첩하는 것에 의해서, 합성 화상을 생성하는 합성 단계를 포함하고, 상기 화상 표시 단계에서는 상기 합성 화상을 상기 표시용 화상으로서 표시해도 된다.
예를 들면, 신호 오브젝트는 휘선 모양, 신호 명시 오브젝트, 신호 식별 오브젝트, 또는 점선 테두리 등으로서, 도 7, 도 8 및 도 11에 나타내는 바와 같이, 합성 화상이 표시용 화상으로서 표시된다. 이것에 의해, 사용자는, 휘도 변화에 의해서 신호를 송신하고 있는 피사체를 한층 더 용이하게 찾아낼 수 있다.
또, 상기 제1 노광 시간 설정 단계에서는, 노광 시간을 1/3000초로 설정하고, 상기 휘선 화상 취득 단계에서는 상기 피사체의 주위가 비추어진 상기 휘선 화상을 취득하며, 상기 화상 표시 단계에서는 상기 휘선 화상을 상기 표시용 화상으로서 표시해도 된다.
예를 들면, 휘선 화상은 중간 화상으로서 취득되어 표시된다. 따라서, 통상 촬영 화상과 가시광 통신 화상을 취득하여 합성하는 등의 처리를 행할 필요가 없어, 처리의 간략화를 도모할 수 있다.
또, 상기 이미지 센서는, 제1 이미지 센서와 제2 이미지 센서를 포함하고, 상기 통상 화상 취득 단계에서는 상기 제1 이미지 센서가 촬영하는 것에 의해서, 상기 통상 촬영 화상을 취득하고, 상기 휘선 화상 취득 단계에서는 상기 제2 이미지 센서가 상기 제1 이미지 센서의 촬영과 동시에 촬영하는 것에 의해서, 상기 휘선 화상을 취득해도 된다.
예를 들면, 도 8에 나타내는 바와 같이, 통상 촬영 화상과 휘선 화상인 가시광 통신 화상이 각각의 카메라로 취득된다. 따라서, 1개의 카메라로 통상 촬영 화상과 가시광 통신 화상을 취득하는 경우와 비교해서, 그러한 화상을 빨리 취득할 수 있어 처리를 고속화할 수 있다.
또, 상기 정보 통신 방법은, 또한, 상기 표시용 화상에 있어서의 상기 휘선이 나타난 부위가 사용자에 의한 조작에 의해서 지정된 경우에는, 지정된 부위의 상기 휘선의 패턴으로부터 취득된 상기 송신 정보에 근거한 제시 정보를 제시하는 정보 제시 단계를 포함해도 된다. 예를 들면, 상기 사용자에 의한 조작은, 탭, 스와이프, 상기 부위에 손가락끝을 소정의 시간 이상 계속해서 대는 조작, 상기 부위에 시선을 향한 상태를 소정의 시간 이상 계속하는 조작, 상기 부위에 관련지어서 나타나는 화살표에 상기 사용자의 신체의 일부를 움직이는 조작, 휘도 변화하는 펜 끝을 상기 부위에 대는 조작, 또는, 터치 센서에 접하는 것에 의해서 상기 표시용 화상에 표시되어 있는 포인터를 상기 부위에 대는 조작이다.
예를 들면, 도 13~도 17, 도 20 및 도 21에 나타내는 바와 같이, 제시 정보가 정보 통지 화상으로서 표시된다. 이것에 의해, 사용자에게 원하는 정보를 제시할 수 있다.
또, 상기 이미지 센서는 헤드 마운트 디스플레이에 구비되고, 상기 화상 표시 단계에서는 상기 헤드 마운트 디스플레이에 탑재된 프로젝터가 상기 표시용 화상을 표시해도 된다.
이것에 의해, 예를 들면, 도 19~도 21에 나타내는 바와 같이, 간단하게 정보를 사용자에게 제시할 수 있다.
또, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 제1 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간으로 촬영하는 것에 의해서, 상기 휘선을 포함한 화상인 휘선 화상을 취득하는 휘선 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계를 포함하고, 상기 휘선 화상 취득 단계에서는, 상기 이미지 센서가 이동되고 있는 기간에, 복수의 상기 피사체를 촬영하는 것에 의해서, 상기 휘선이 나타난 부위를 복수 포함한 상기 휘선 화상을 취득하고, 상기 정보 취득 단계에서는 상기 부위마다, 상기 부위의 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조하는 것에 의해서, 복수의 상기 피사체의 각각의 위치를 취득하고, 상기 정보 통신 방법은, 또한, 취득된 복수의 상기 피사체의 각각의 위치, 및 상기 이미지 센서의 이동 상태에 근거하여 상기 이미지 센서의 위치를 추정하는 위치 추정 단계를 포함해도 된다.
이것에 의해, 복수의 조명등의 피사체에 의한 휘도 변화에 의해서, 이미지 센서를 포함한 수신기의 위치를 정확하게 추정할 수 있다.
또, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록 상기 이미지 센서의 노광 시간을 설정하는 제1 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간으로 촬영하는 것에 의해서, 상기 휘선을 포함한 화상인 휘선 화상을 취득하는 휘선 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계와, 취득된 상기 정보를 제시하는 정보 제시 단계를 포함하고, 상기 정보 제시 단계에서는, 상기 이미지 센서의 사용자에 대해서, 미리 정해진 제스처를 재촉하는 화상을 상기 정보로서 제시해도 된다.
이것에 의해, 사용자가, 재촉된 대로의 제스처를 행하는지 아닌지에 따라서, 그 사용자에 대한 인증 등을 행할 수 있고 편리성을 높일 수 있다.
또, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간으로 촬영하는 것에 의해서, 상기 휘선을 포함한 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계를 포함하고, 상기 화상 취득 단계에서는, 반사면에 비치는 복수의 상기 피사체를 촬영하는 것에 의해서 상기 휘선 화상을 취득하고, 상기 정보 취득 단계에서는 상기 휘선 화상에 포함되는 휘선의 강도에 따라, 상기 휘선을 복수의 상기 피사체의 각각에 대응하는 휘선으로 분리하고, 상기 피사체마다, 해당 피사체에 대응하는 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득해도 된다.
이것에 의해, 복수의 조명 등의 피사체가 각각 휘도 변화하는 경우라도, 피사체의 각각으로부터 적절한 정보를 취득할 수 있다.
또, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간으로 촬영하는 것에 의해서, 상기 휘선을 포함한 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계를 포함하고, 상기 화상 취득 단계에서는, 반사면에 비치는 상기 피사체를 촬영하는 것에 의해서 상기 휘선 화상을 취득하고, 상기 정보 통신 방법은, 또한, 상기 휘선 화상 내에 있어서의 휘도 분포에 근거하여, 상기 피사체의 위치를 추정하는 위치 추정 단계를 더 포함해도 된다.
이것에 의해, 휘도 분포에 근거해 적절한 피사체의 위치를 추정할 수 있다.
또, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 송신 대상의 제1 신호를 변조하는 것에 의해서, 휘도 변화의 제1 패턴을 결정하는 제1 결정 단계와, 송신 대상의 제2 신호를 변조하는 것에 의해서, 휘도 변화의 제2 패턴을 결정하는 제2 결정 단계와, 발광체가 결정된 상기 제1 패턴에 따른 휘도 변화와, 결정된 상기 제2 패턴에 따른 휘도 변화를 교대로 행하는 것에 의해서, 상기 제1 및 제2 신호를 송신하는 송신 단계를 포함해도 된다.
이것에 의해, 예를 들면, 도 22에 나타내는 바와 같이, 제1 신호와 제2 신호를 각각 지체없이 송신할 수 있다.
또, 상기 송신 단계에서는, 휘도 변화를, 상기 제1 패턴에 따른 휘도 변화와, 상기 제2 패턴에 따른 휘도 변화로 전환할 때에는 완충 시간을 두고 전환해도 된다.
이것에 의해, 제1 신호와 제2 신호와의 혼신을 억제할 수 있다.
또, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 송신 대상의 신호를 변조하는 것에 의해서, 휘도 변화의 패턴을 결정하는 결정 단계와, 발광체가, 결정된 상기 패턴에 따라서 휘도 변화하는 것에 의해서 상기 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 신호는, 복수의 대블록으로 이루어지고, 상기 복수의 대블록의 각각은 제1 데이터와, 상기 제1 데이터에 대한 프리앰블과, 상기 제1 데이터에 대한 체크 신호를 포함하고, 상기 제1 데이터는 복수의 소블록으로 이루어지고, 상기 소블록은, 제2 데이터와 상기 제2 데이터에 대한 프리앰블과, 상기 제2 데이터에 대한 체크 신호를 포함해도 된다.
이것에 의해, 블랭킹 기간을 필요로 하는 수신기로도, 블랭킹 기간을 필요로 하지 않는 수신기로도, 적절하게 데이터를 취득할 수 있다.
또, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 복수의 송신기가 각각, 송신 대상의 신호를 변조하는 것에 의해서, 휘도 변화의 패턴을 결정하는 결정 단계와, 송신기마다, 해당 송신기에 구비된 발광체가, 결정된 상기 패턴에 따라서 휘도 변화하는 것에 의해서 상기 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 송신 단계에서는, 서로 주파수 또는 프로토콜이 상이한 신호를 송신해도 된다.
이것에 의해, 복수의 송신기로부터의 신호의 혼신을 억제할 수 있다.
또, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 복수의 송신기가 각각, 송신 대상의 신호를 변조하는 것에 의해서, 휘도 변화의 패턴을 결정하는 결정 단계와, 송신기마다, 상기 송신기에 구비된 발광체가, 결정된 상기 패턴에 따라서 휘도 변화하는 것에 의해서 상기 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 송신 단계에서는, 상기 복수의 송신기 중 하나의 송신기는, 다른쪽의 송신기로부터 송신되는 신호를 수신하고, 수신된 신호와 혼신하지 않는 양태로, 다른 신호를 송신해도 된다.
이것에 의해, 복수의 송신기로부터의 신호의 혼신을 억제할 수 있다.
(실시의 형태 3)
본 실시의 형태에서는, 상기 실시의 형태 1 또는 2에 있어서의 스마트 폰 등의 수신기와 LED나 유기 EL 등의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
도 26은, 실시의 형태 3에 있어서의 수신기, 송신기 및 서버의 처리 동작의 일례를 나타내는 도면이다.
예를 들면 스마트 폰으로서 구성되는 수신기(8142)는, 스스로의 위치를 나타내는 위치 정보를 취득하고, 그 위치 정보를 서버(8141)에 송신한다. 또한, 수신기(8142)는, 예를 들면 GPS 등을 이용하거나 다른 신호를 수신했을 때에 그 위치 정보를 취득한다. 서버(8141)는, 그 위치 정보에 의해서 나타나는 위치에 대응시켜진 ID 리스트를 수신기(8142)에 송신한다. ID 리스트에는, 「abcd」등의 ID 마다, 그 ID와 그 ID에 대응시켜진 정보가 포함되어 있다.
수신기(8142)는, 예를 들면 조명 기기로서 구성되는 송신기(8143)로부터 신호를 수신한다. 이 때, 수신기(8142)는, ID의 일부(예를 들면 「b 」) 밖에 전술의 신호로서 수신할 수 없는 경우가 있다. 이 경우, 수신기(8142)는, 그 ID의 일부를 포함한 ID를 ID 리스트로부터 검색한다. 일의의 ID가 발견되지 않는 경우에는, 수신기(8142)는, 또한, 송신기(8143)로부터, 그 ID의 다른 부분을 포함한 신호를 수신한다. 이것에 의해, 수신기(8142)는, 그 ID 중의 보다 많은 부분(예를 들면 「bc 」)을 취득한다. 그리고, 수신기(8142)는, 그 ID의 일부(예를 들면 「bc 」 )를 포함한 ID를 ID 리스트로부터 다시 검색한다. 이러한 검색을 행하는 것에 의해서, 수신기(8142)는 ID의 일부 밖에 취득할 수 없어도, ID의 모두를 특정할 수 있다. 또한, 수신기(8142)는, 송신기(8143)로부터 신호를 수신할 때에는, ID의 일부 뿐만이 아니라, CRC(Cyclic Redundancy Check) 등의 체크 부분 등도 수신한다.
도 27은, 실시의 형태 3에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
예를 들면 텔레비전으로서 구성되는 송신기(8165)는, 화상과 그 화상에 대응시켜진 ID(ID 1000)를 제어부(8166)로부터 취득한다. 그리고, 송신기(8165)는, 그 화상을 표시함과 함께, 휘도 변화하는 것에 의해서, 그 ID(ID 1000)를 수신기(8167)에 송신한다. 수신기(8167)는, 촬상하는 것에 의해서, 그 ID(ID 1000)를 수신함과 함께, 그 ID(ID 1000)에 대응시켜진 정보를 표시한다. 여기서, 제어부(8166)는, 송신기(8165)에 출력되는 화상을 다른 화상으로 변경한다. 이 때, 제어부(8166)는 송신기(8165)에 출력되는 ID도 변경한다. 즉, 제어부(8166)는, 그 외의 화상과 함께, 다른 화상에 대응시켜진 다른 ID(ID 1001)를 송신기(8165)에 출력한다. 이것에 의해, 송신기(8165)는, 그 외의 화상을 표시함과 함께, 휘도 변화하는 것에 의해서, 다른 ID(ID 1001)를 수신기(8167)에 송신한다. 수신기(8167)는 촬상하는 것에 의해서, 그 외의 ID(ID 1001)를 수신함과 함께, 그 외의 ID(ID 1001)에 대응시켜진 정보를 표시한다.
도 28은, 실시의 형태 3에 있어서의 송신기, 수신기 및 서버의 동작의 일례를 나타내는 도면이다.
예를 들면 스마트 폰으로서 구성되는 송신기(8185)는, 디스플레이(8185a) 중 바코드 부분(8185b)을 제외한 부분을 휘도 변화시키는 것에 의해서, 즉, 가시광 통신에 의해서, 예를 들면 「쿠폰 100엔 할인」을 나타내는 정보를 송신한다. 또, 송신기(8185)는, 바코드 부분(8185b)을 휘도 변화시키지 않고, 그 바코드 부분(8185b)에 바코드를 표시시킨다. 이 바코드는, 전술의 가시광 통신에 의해서 송신되는 정보와 동일한 정보를 나타낸다. 또한, 송신기(8185)는, 디스플레이(8185a) 중 바코드 부분(8185b)을 제외한 부분에, 가시광 통신에 의해서 송신되는 정보를 나타내는 문자 또는 그림, 예를 들면 문자「쿠폰 100엔 할인」을 표시한다. 이러한 문자 또는 그림이 표시되는 것에 의해서, 송신기(8185)의 사용자는, 어떠한 정보가 송신되고 있는지를 용이하게 파악할 수 있다.
수신기(8186)는, 촬상하는 것에 의해서, 가시광 통신에 의해서 송신된 정보와 바코드에 의해서 나타나는 정보를 취득하고, 이러한 정보를 서버(8187)에 송신한다. 서버(8187)는, 이러한 정보가 일치 또는 관련하는지 아닌지를 판정하고, 일치 또는 관련한다고 판정했을 때에는, 그러한 정보에 따른 처리를 실행한다. 또는, 서버(8187)는, 그 판정 결과를 수신기(8186)에 송신하고, 수신기(8186)에 그러한 정보에 따른 처리를 실행시킨다.
또한, 송신기(8185)는, 바코드에 의해서 나타나는 정보 중 일부를 가시광 통신에 의해서 송신해도 된다. 또, 바코드에는, 서버(8187)의 URL이 나타나 있어도 된다. 또, 송신기(8185)는, 수신기로서 ID를 취득하고, 그 ID를 서버(8187)에 송신하는 것에 의해서, 그 ID에 대응시켜져 있는 정보를 취득해도 된다. 이 ID에 대응시켜져 있는 정보는, 전술의 가시광 통신에 의해서 송신되는 정보, 또는, 바코드에 의해서 나타나는 정보와 동일하다. 또, 서버(8187)는, 수신기(8186)를 개재하여 송신기(8185)로부터 송신되는 정보(가시광 통신의 정보 또는 바코드의 정보)에 대응시켜진 ID를, 송신기(8185)에 송신해도 된다.
도 29는, 실시의 형태 3에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
예를 들면, 수신기(8183)는, 복수의 인물(8197) 및 가로등(8195)을 포함하는 피사체를 촬상한다. 가로등(8195)은, 휘도 변화에 의해서 정보를 송신하는 송신기(8195a)를 구비하고 있다. 이 촬상에 의해서, 수신기(8183)는, 송신기(8195a)의 상이 전술의 휘선 모양으로서 나타난 화상을 취득한다. 또한, 수신기(8183)는, 그 휘선 모양에 의해서 나타나는 ID에 관련시켜져 있는 AR 오브젝트(8196a)를 예를 들면 서버 등으로부터 취득한다. 그리고, 수신기(8183)는, 통상 촬영에 의해서 얻어지는 통상 촬영 화상(8196)에 그 AR 오브젝트(8196a)를 중첩하고, 그 AR 오브젝트(8196a)가 중첩된 통상 촬영 화상(8196)을 표시한다.
(본 실시의 형태의 정리)
본 실시의 형태에 있어서의 정보 통신 방법은, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 송신 대상의 신호를 변조하는 것에 의해서, 휘도 변화의 패턴을 결정하는 결정 단계와, 발광체가, 결정된 상기 패턴에 따라서 휘도 변화하는 것에 의해서 상기 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 휘도 변화의 패턴은, 미리 정해진 시간폭에 있어서의 임의의 각 위치에, 서로 상이한 2개의 휘도값 중 한쪽이 출현하는 패턴으로서, 상기 결정 단계에서는, 송신 대상의 서로 상이한 신호의 각각에 대하여, 상기 시간폭에 있어서의 휘도의 상승 위치 또는 하강 위치인 휘도 변화 위치가 서로 상이하고, 또한, 상기 시간폭에 있어서의 상기 발광체의 휘도의 적분값이, 미리 설정된 밝기에 따른 동일한 값이 되도록 상기 휘도 변화의 패턴을 결정한다.
예를 들면, 송신 대상의 서로 상이한 신호 「00」, 「01」, 「10」 및 「11」의 각각에 대하여, 휘도의 상승 위치(휘도 변화 위치)가 서로 상이하고, 또한, 미리 정해진 시간폭(단위 시간 폭)에 있어서의 발광체의 휘도의 적분값이, 미리 정해진 밝기(예를 들면 99% 또는 1% 등)에 따른 동일한 값이 되도록 휘도 변화의 패턴이 결정된다. 이것에 의해, 송신 대상의 신호의 각각에 대하여, 발광체의 밝기를 일정하게 유지할 수 있고 깜박거림을 억제할 수 있음과 함께, 그 발광체를 촬상하는 수신기는, 휘도 변화 위치에 근거하여 그 휘도 변화의 패턴을 적절하게 복조할 수 있다. 또, 휘도 변화의 패턴은, 단위 시간 폭에 있어서의 임의의 각 위치에, 서로 상이한 2개의 휘도값(휘도 H(High) 또는 휘도 L(Low)) 중 한쪽이 출현하는 패턴이기 때문에, 발광체의 밝기를 연속적으로 변화시킬 수 있다.
또, 상기 정보 통신 방법은, 또한, 복수의 화상의 각각을 순서대로 전환해 표시하는 화상 표시 단계를 포함하고, 상기 결정 단계에서는, 상기 화상 표시 단계에서 화상이 표시될 때마다, 표시되고 있는 화상에 대응하는 식별 정보를 상기 송신 대상의 신호로서 변조하는 것에 의해서, 상기 식별 정보에 대한 휘도 변화의 패턴을 결정하고, 상기 송신 단계에서는 상기 화상 표시 단계에서 화상이 표시될 때마다, 표시되고 있는 화상에 대응하는 식별 정보에 대해서 결정된 휘도 변화의 패턴에 따라서 상기 발광체가 휘도 변화하는 것에 의해서 상기 식별 정보를 송신해도 된다.
이것에 의해, 예를 들면 도 27에 나타내는 바와 같이, 화상이 표시될 때마다, 표시되고 있는 화상에 대응하는 식별 정보가 송신되기 때문에, 사용자는, 표시되는 화상에 근거하여 수신기에 수신시키는 식별 정보를 용이하게 선택할 수 있다.
또, 상기 송신 단계에서는, 상기 화상 표시 단계로 화상이 표시될 때마다, 또한, 과거에 표시된 화상에 대응하는 식별 정보에 대해서 결정된 휘도 변화의 패턴에 따라서 상기 발광체가 휘도 변화하는 것에 의해서 상기 식별 정보를 송신해도 된다.
이것에 의해, 표시되는 화상이 전환되었기 때문에, 전환 전에 송신된 식별 신호를 수신기를 수신할 수 없는 경우라도, 현재 표시되고 있는 화상에 대응하는 식별 정보와 함께, 과거에 표시된 화상에 대응하는 식별 정보도 송신되기 때문에, 전환 전에 송신된 식별 정보를, 새롭게 수신기로 적절하게 수신할 수 있다.
또, 상기 결정 단계에서는, 상기 화상 표시 단계에서 화상이 표시될 때마다, 표시되고 있는 화상에 대응하는 식별 정보와, 상기 화상이 표시되고 있는 시각을 상기 송신 대상의 신호로서 변조하는 것에 의해서, 상기 식별 정보 및 상기 시각에 대한 휘도 변화의 패턴을 결정하고, 상기 송신 단계에서는, 상기 화상 표시 단계에서 화상이 표시될 때마다, 표시되고 있는 화상에 대응하는 식별 정보 및 시각에 대해서 결정된 휘도 변화의 패턴에 따라서 상기 발광체가 휘도 변화하는 것에 의해서 상기 식별 정보 및 상기 시각을 송신하고, 추가로 과거에 표시된 화상에 대응하는 식별 정보 및 시각에 대해서 결정된 휘도 변화의 패턴에 따라서 상기 발광체가 휘도 변화하는 것에 의해서 상기 식별 정보 및 상기 시각을 송신해도 된다.
이것에 의해, 화상이 표시될 때마다, 복수의 ID 시각 정보(식별 정보 및 시각으로 이루어지는 정보)가 송신되기 때문에, 수신기는, 수신된 복수의 ID 시각 정보 중에서, 과거에 송신되어 수신할 수 없었던 식별 신호를, 그 ID 시각 정보의 각각에 포함되는 시각에 근거하여 용이하게 선택할 수 있다.
또, 상기 발광체는, 각각 발광하는 복수의 영역을 갖고, 상기 복수의 영역 중 서로 인접하는 영역의 광이 서로 간섭하며, 상기 복수의 영역 중 하나만이, 결정된 상기 휘도 변화의 패턴에 따라서 휘도 변화되는 경우, 상기 송신 단계에서는, 상기 복수의 영역 중 끝에 배치된 영역만이, 결정된 상기 휘도 변화의 패턴에 따라서 휘도 변화해도 된다.
이것에 의해, 끝에 배치된 영역(발광부)만이 휘도 변화하기 때문에, 끝 이외에 배치된 영역만이 휘도 변화하는 경우와 비교해서, 다른 영역으로부터의 광에 의한 그 휘도 변화로의 영향을 억제할 수 있다. 그 결과, 수신기는, 촬영에 의해서, 그 휘도 변화의 패턴을 적절하게 파악할 수 있다.
또, 상기 복수의 영역 중 2개만이, 결정된 상기 휘도 변화의 패턴에 따라서 휘도 변화하는 경우, 상기 송신 단계에서는, 상기 복수의 영역 중 끝에 배치된 영역과, 상기 끝에 배치된 영역에 인접하는 영역이, 결정된 상기 휘도 변화의 패턴에 따라서 휘도 변화해도 된다.
이것에 의해, 끝에 배치된 영역(발광부)과, 그 끝에 배치된 영역에 인접하는 영역(발광부)이 휘도 변화하기 때문에, 서로 떨어진 영역이 휘도 변화하는 경우와 비교해서, 공간적으로 연속하여 휘도 변화하는 범위의 면적을 넓게 유지할 수 있다. 그 결과, 수신기는, 촬영에 의해서, 그 휘도 변화의 패턴을 적절하게 파악할 수 있다.
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 상기 피사체의 촬영에 이용되는 이미지 센서의 위치를 나타내는 위치 정보를 송신하는 위치 정보 송신 단계와, 상기 위치 정보에 의해서 나타나는 위치에 대응시켜진, 복수의 식별 정보를 포함하는 ID 리스트를 수신하는 리스트 수신 단계와, 상기 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간으로 촬영하는 것에 의해서, 상기 휘선을 포함하는 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계와, 취득된 상기 정보를 포함하는 식별 정보를 상기 ID 리스트로부터 검색하는 검색 단계를 포함한다.
이것에 의해, 예를 들면 도 26에 나타내는 바와 같이,미리 ID 리스트가 수신되어 있기 때문에, 취득된 정보「bc」가 식별 정보의 일부만이라도, ID 리스트에 근거해 적절한 식별 정보「abcd」를 특정할 수 있다.
또, 상기 검색 단계에 있어서, 취득된 상기 정보를 포함하는 식별 정보가 한결같이 특정되지 않는 경우에는, 상기 화상 취득 단계 및 상기 정보 취득 단계를 반복하여 행하는 것에 의해서, 새로운 정보를 취득하고, 상기 정보 통신 방법은, 또한, 취득된 상기 정보와, 상기 새로운 정보를 포함하는 식별 정보를 상기 ID 리스트로부터 검색하는 재검색 단계를 더 포함해도 된다.
이것에 의해, 예를 들면 도 26에 나타내는 바와 같이, 취득된 정보「b」가 식별 정보의 일부만으로서, 그 정보만으로는 식별 정보가 한결같이 특정되지 않는 경우라도, 새로운 정보「c」가 취득되기 때문에, 그 새로운 정보와 ID 리스트에 근거해 적절한 식별 정보「abcd」를 특정할 수 있다.
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간으로 촬영하는 것에 의해서, 상기 휘선을 포함하는 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 식별 정보를 취득하는 정보 취득 단계와, 취득된 상기 식별 정보와 상기 이미지 센서의 위치를 나타내는 위치 정보를 송신하는 송신 단계와, 상기 위치 정보에 의해서 나타나는 위치에 대응시켜진, 복수의 식별 정보를 포함하는 ID 리스트에, 취득된 상기 식별 정보가 없는 경우에는, 에러를 통지하기 위한 에러 통지 정보를 수신하는 에러 수신 단계를 포함한다.
이것에 의해, 취득된 식별 정보가 ID 리스트에 없는 경우에는, 에러 통지 정보를 수신하기 때문에, 그 에러 통지 정보를 수신한 수신기의 사용자는, 그 취득된 식별 정보에 관련시켜진 정보를 얻을 수 없는 것을 용이하게 파악할 수 있다.
(실시의 형태 4)
본 실시의 형태에서는, 상기 실시의 형태 1~4에 있어서의 스마트 폰 등의 수신기와 LED나 유기 EL 등의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 적용예에 대해 설명한다.
도 30은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일례를 나타내는 도면이다.
송신기는 ID 기억부(8361), 난수 생성부(8362), 가산부(8363), 암호부(8364), 및 송신부(8365)를 구비하고 있다. ID 기억부(8361)는, 송신기의 ID를 기억하고 있다. 난수 생성부(8362)는, 일정 시간마다 상이한 난수를 생성한다. 가산부(8363)는, ID 기억부(8361)에 기억되고 있는 ID에 대해서, 난수 생성부(8362)에 의해서 생성된 최신의 난수를 조합하고 그 결과를 편집 ID로서 출력한다. 암호부(8364)는, 그 편집 ID에 대해서 암호화를 행하는 것에 의해서 암호화 편집 ID를 생성한다. 송신부(8365)는 휘도 변화하는 것에 의해서, 그 암호화 편집 ID를 수신기에 송신한다.
수신기는 수신부(8366), 복호부(8367) 및 ID 취득부(8368)를 구비하고 있다. 수신부(8366)는 송신기를 촬상(가시광 촬영)하는 것에 의해서, 암호화 편집 ID를 송신기로부터 수신한다. 복호부(8367)는, 그 수신된 암호화 편집 ID를 복호하는 것에 의해서 편집 ID를 복원한다. ID 취득부(8368)는, 복원된 편집 ID로부터 ID를 추출하는 것에 의해서 그 ID를 취득한다.
예를 들면, ID 기억부(8361)는 ID 「100」을 기억하고 있고, 난수 생성부(8362)는 최신의 난수 「817」을 생성한다(예 1). 이 경우, 가산부(8363)는, ID 「100」에 대해서 난수 「817」을 조합하는 것에 의해서, 편집 ID 「100817」을 생성하여 출력한다. 암호부(8364)는, 그 편집 ID 「100817」에 대해서 암호화를 행하는 것에 의해서, 암호화 편집 ID 「abced」를 생성한다. 수신기의 복호부(8367)는, 그 암호화 편집 ID 「abced」를 복호하는 것에 의해서, 편집 ID 「100817」을 복원한다. 그리고, ID 취득부(8368)는, 복원된 편집 ID 「 100817」로부터 ID 「100」을 추출한다. 바꾸어 말하면, ID 취득부(8368)는, 편집 ID의 아래 3자릿수를 삭제하는 것에 의해서, ID「100」을 취득한다.
다음에, 난수 생성부(8362)는 새로운 난수「619」를 생성한다(예 2). 이 경우, 가산부(8363)는 ID「100」에 대해서 난수「619」를 조합하는 것에 의해서, 편집 ID 「100619」를 생성하여 출력한다. 암호부(8364)는, 그 편집 ID 「100619」에 대해서 암호화를 행하는 것에 의해서, 암호화 편집 ID「difia」를 생성한다. 송신기의 복호부(8367)는, 그 암호화 편집 ID 「difia」를 복호하는 것에 의해서, 편집 ID 「100619」를 복원한다. 그리고, ID 취득부(8368)는, 복원된 편집 ID 「100619」로부터 ID 「100」을 추출한다. 바꾸어 말하면, ID 취득부(8368)는, 편집 ID의 아래 3자릿수를 삭제하는 것에 의해서, ID 「100」을 취득한다.
이와 같이, 송신기는 ID를 단순하게 암호화하지 않고, 일정 시간마다 변경되는 난수가 조합된 것을 암호화하기 위해서, 송신부(8365)로부터 송신되는 신호로부터 간단하게 ID가 해독되는 것을 막을 수 있다. 즉, 단순하게 암호화된 ID가 송신기로부터 수신기에 몇 번인가 송신되는 경우에는, 그 ID가 암호화되고 있어도, 그 ID가 동일하면, 송신기로부터 수신기에 송신되는 신호도 동일하기 때문에, 그 ID가 해독될 가능성이 있다. 그러나, 도 30에 나타내는 예에서는, 일정 시간마다 변경되는 난수가 ID에 조합되어, 그 난수가 조합된 ID가 암호화된다. 따라서, 동일한 ID가 수신기에 몇 번인가 송신되는 경우라도, 그러한 ID의 송신의 타이밍이 상이하면, 송신기로부터 수신기로 송신되는 신호를 상이하게 할 수 있다. 그 결과, ID가 용이하게 해독되는 것을 막을 수 있다.
또한, 도 30에 나타내는 수신기는, 암호화 편집 ID를 취득하면, 그 암호화 편집 ID를 서버에 송신하고, 그 서버로부터 ID를 취득해도 된다.
(역에서의 안내)
도 31은, 전철의 홈에 있어서의 본 개시된 이용 형태의 일례를 나타낸 것이다. 사용자가, 휴대 단말을 전자 게시판이나 조명에 비추어, 가시광 통신에 의해, 전자 게시판에 표시되어 있는 정보, 또는, 전자 게시판이 설치되어 있는 역의 전철 정보·역의 구내 정보 등을 취득한다. 여기에서는, 전자 게시판에 표시되어 있는 정보 자체가, 가시광 통신에 의해, 휴대 단말에 송신되어도 되고, 전자 게시판에 대응하는 ID 정보가 휴대 단말에 송신되어 휴대 단말이 취득한 ID 정보를 서버에 문의함으로써, 전자 게시판에 표시되고 있는 정보를 취득해도 된다. 서버는, 휴대 단말로부터 ID 정보가 송신되어 온 경우에, ID 정보에 근거해, 전자 게시판에 표시되고 있는 내용을 휴대 단말에 송신한다. 휴대 단말의 메모리에 보존되고 있는 전철의 티켓 정보와, 전자 게시판에 표시되고 있는 정보를 대비하여, 사용자의 티켓에 대응하는 티켓 정보가 전자 게시판에 표시되고 있는 경우에, 휴대 단말의 디스플레이에 사용자의 승차 예정의 전철이 도착하는 홈으로의 행선지를 나타내는 화살표를 표시한다. 하차시에 출구나 환승 경로에 가까운 차량까지의 경로를 표시한다고 해도 된다. 좌석 지정이 되어 있는 경우는, 그 좌석까지의 경로를 표시한다고 해도 된다. 화살표를 표시할 때에는, 지도나, 전철 안내 정보에 있어서의 전철의 노선의 색과 동일한 색을 이용해 화살표를 표시함으로써, 보다 알기 쉽게 표시할 수 있다. 또, 화살표의 표시와 함께, 사용자의 예약 정보(홈 번호, 차량 번호, 발차 시각, 좌석 번호)를 표시할 수도 있다. 사용자의 예약 정보를 아울러 표시함으로써, 오인식을 막는 것이 가능해진다. 티켓 정보가 서버에 보존되어 있는 경우에는, 휴대 단말로부터 서버에 문의해 티켓 정보를 취득하여 구비하거나, 또는, 서버측에서 티켓 정보와 전자 게시판에 표시되고 있는 정보를 대비함으로써, 티켓 정보에 관련된 정보를 취득할 수 있다. 사용자가 환승 검색을 행한 이력으로부터 목적의 노선을 추정해, 경로를 표시해도 된다. 또, 전자 게시판에 표시되고 있는 내용뿐만이 아니라, 전자 게시판이 설치되어 있는 역의 전철 정보·구내 정보를 취득해, 대비를 행해도 된다. 디스플레이상의 전자 게시판의 표시에 대해서 사용자에게 관련된 정보를 강조 표시해도 되고, 고쳐 써서 표시해도 된다. 사용자의 승차 예정이 불명한 경우에는, 각 노선의 승강장으로의 안내의 화살표를 표시해도 된다. 역의 구내 정보를 취득한 경우에는, 매점·화장실로 등의 안내하는 화살표를 디스플레이에 표시해도 된다. 사용자의 행동 특성을 미리 서버로 관리해 두고, 사용자가 역 구내에서 매점·화장실에 들르는 일이 많은 경우에, 매점·화장실 등으로 안내하는 화살표를 디스플레이에 표시하는 구성으로 해도 된다. 매점·화장실에 들르는 행동 특성을 가지는 사용자에 대해서만, 매점·화장실 등으로 안내하는 화살표를 표시하고, 그 외의 사용자에 대해서는 표시를 행하지 않기 때문에 처리량을 줄이는 것이 가능해진다. 매점·화장실 등으로 안내하는 화살표의 색을, 홈으로의 행선지를 안내하는 화살표와 상이한 색으로 해도 된다. 양쪽의 화살표를 동시에 표시할 때에는, 상이한 색으로 함으로써 오인식을 막는 것이 가능해진다. 또한, 도 31에서는 전차의 예를 나타냈지만, 비행기나 버스 등에서도 동일한 구성으로 표시를 행하는 것이 가능하다.
(쿠폰의 팝업)
도 32는, 사용자가 점포에 가까워지면, 가시광 통신에 의해 취득한 쿠폰 정보가 표시되거나, 또는, 팝업이 휴대 단말의 디스플레이에 표시되는 일례를 나타낸 것이다. 사용자는, 휴대 단말을 이용하여, 가시광 통신에 의해, 전자 게시판 등으로부터 점포의 쿠폰 정보를 취득한다. 다음에, 점포로부터 소정의 범위 내에 사용자가 들어오면, 점포의 쿠폰 정보, 또는, 팝업이 표시된다. 사용자가, 점포로부터 소정의 범위 내에 들어가는지 아닌지는, 휴대 단말의 GPS 정보와 쿠폰 정보에 포함되는 점포 정보를 이용하여 판단된다. 쿠폰 정보에 한정하지 않고, 티켓 정보라도 된다. 쿠폰이나 티켓을 이용할 수 있는 점포 등이 가까워지면 자동적으로 알림 경보해 주기 때문에, 사용자는 쿠폰이나 티켓을 적절하게 이용하는 것이 가능해진다.
(조작용 어플리케이션의 기동)
도 33은, 사용자가 휴대 단말을 이용하여 가시광 통신에 의해, 가전에서 정보를 취득하는 일례를 나타낸 것이다. 가시광 통신에 의해, 가전으로부터 ID 정보, 또는, 해당 가전에 관한 정보를 취득한 경우에, 상기 가전을 조작하기 위한 어플리케이션이 자동적으로 시작된다. 도 33에서는, 텔레비전을 이용한 예를 나타내고 있다. 이러한 구성에 의해, 휴대 단말을 가전에 비추는 것만으로, 가전을 조작하기 위한 어플리케이션을 기동하는 것이 가능해진다.
(데이터베이스)
도 34는, 송신기가 송신하는 ID를 관리하는 서버의 보관 유지하는 데이터베이스의 구성의 일례를 나타낸 것이다.
데이터베이스는, ID를 키로 한 문의에 대해서 건네주는 데이터를 보관 유지하는 ID 데이터 테이블과, ID를 키로 한 문의의 기록을 보존하는 액세스 로그 테이블을 가진다. ID 데이터 테이블은, 송신기가 송신하는 ID, ID를 키로 한 문의에 대해서 건네주는 데이터, 데이터를 건네주는 조건, ID를 키로 한 액세스가 있던 횟수, 조건을 클리어하여 데이터가 건네받은 횟수를 가진다. 데이터를 건네주는 조건에는 일시나, 액세스 횟수나, 액세스 성공 횟수나, 문의원의 단말의 정보(단말의 기종, 문의를 행한 어플리케이션, 단말의 현재 위치 등)나, 문의원의 사용자 정보(연령, 성별, 직업, 국적, 사용 언어, 종교 등)가 있다. 액세스 성공 횟수를 조건으로 함으로써, 「액세스 1회당 1엔, 단 100엔을 상한으로 하여 그 이후는 데이터를 돌려주지 않는다」라는 서비스의 방법이 가능해진다. 로그 테이블은, ID를 키로 한 액세스가 있었을 때, 그 ID나, 요구한 사용자의 ID나, 시각이나, 그 외의 부대 정보나, 조건을 클리어하여 데이터를 건네주었는지 어떤지나, 건네준 데이터의 내용을 기록한다.
(존마다 상이한 통신 프로토콜)
도 35는, 실시의 형태 4에 있어서의 송신기와 수신기의 동작의 일례를 나타내는 도면이다.
수신기(8420a)는, 기지국(8420h)으로부터 존 정보를 수취하고, 자신이 어느 존에 위치하고 있는지를 인식하여 수신 프로토콜을 선택한다. 기지국(8420h)은, 예를 들면 휴대 전화의 통신 기지국이나 Wi－Fi 액세스 포인트나 IMES 송신기나 스피커나 무선 송신기(Bluetooth(등록 상표), ZigBee, 특정 소전력 무선국 등)로서 구성된다. 또한, 수신기(8420a)는 GPS 등으로부터 얻은 위치 정보를 근거로 존을 특정해도 된다. 예로서 존 A에서는 9.6 kHz의 신호 주파수로 통신하고, 존 B에서는, 천정 조명은 15 kHz, 사이니지는 4.8 kHz의 신호 주파수로 통신한다고 정한다고 한다. 수신기(8420a)는, 위치(8420j)에서는, 기지국(8420h)의 정보로부터 현재지가 존 A인 것을 인식하고, 9.6kHz의 신호 주파수로 수신을 행하며, 송신기(8420b·8420c)가 송신한 신호를 수신한다. 수신기(8420a)는, 위치(8420l)에서는, 기지국(8420i)의 정보로부터 현재지가 존 B인 것을 인식하고, 또한, 인카메라가 위쪽으로 향해지고 있는 것으로부터 천정 조명으로부터의 신호를 수신하려고 하고 있는 것을 추정하여, 15 kHz의 신호 주파수로 수신을 행하며, 송신기(8420e·8420f)가 송신한 신호를 수신한다. 수신기(8420a)는, 위치 8420m에서는, 기지국(8420i)의 위쪽으로부터 현재지가 존 B인 것을 인식하고, 또한, 아웃 카메라를 내미는 움직임으로부터 사이니지의 송신하는 신호를 수신하려고 하고 있는 것을 추정하여, 4.8 kHz의 신호 주파수로 수신을 행하고, 송신기(8420g)의 송신하는 신호를 수신한다. 수신기(8420a)는, 위치 8420k에서는, 기지국(8420h)과 기지국(8420i)의 양쪽의 신호가 수신되고, 현재지가 존 A와 존 B의 어느 쪽인지 판단할 수 없기 때문에, 9.6 kHz와 15 kHz의 양쪽에서 수신 처리를 행한다. 또한, 존에 따라서 프로토콜이 상이한 부분은 주파수뿐만이 아니라, 송신 신호의 변조 방식이나 신호 포맷이나 ID를 문의하는 서버가 상이하다고 해도 된다. 또한, 기지국(8420h·8420i)은, 존 내의 프로토콜을 수신기에 송신해도 되고, 존을 나타내는 ID만을 송신하며, 수신기가 존 ID를 키로 서버로부터 프로토콜 정보를 획득한다고 해도 된다.
송신기(8420b~8420f)는, 기지국(8420h·8420i)의 송신하는 존 ID나 프로토콜 정보를 수신하고 신호 송신 프로토콜을 결정한다. 기지국(8420h)과 기지국(8420i)의 양쪽의 송신하는 신호를 수신 가능한 송신기(8420d)는, 보다 신호 강도가 강한 기지국의 존의 프로토콜을 이용하거나, 또는, 양쪽의 프로토콜을 교대로 이용한다.
(존의 인식과 존마다의 서비스)
도 36은, 실시의 형태 4에 있어서의 수신기와 송신기의 동작의 일례를 나타내는 도면이다.
수신기(8421a)는, 수신한 신호로부터, 자신의 위치가 속하는 존을 인식한다. 수신기(8421a)은, 존마다 정해진 서비스(쿠폰의 배포, 포인트의 부여, 길 안내 등)를 제공한다. 일례로서 수신기(8421a)는, 송신기(8421b)의 좌측으로부터 송신하는 신호를 수신하고, 존 A에 있는 것을 인식한다. 여기서, 송신기(8421b)는, 송신 방향에 따라서 상이한 신호를 송신한다고 해도 된다. 또, 송신기(8421b)는, 2217a와 같은 발광 패턴의 신호를 이용함으로써, 수신기까지의 거리에 따라 상이한 신호가 수신되도록 신호를 송신해도 된다. 또, 수신기(8421a)는, 송신기(8421b)의 촬상되는 방향과 크기로부터, 송신기(8421b)와의 위치 관계를 인식하고, 자신이 위치하는 존을 인식해도 된다.
동일한 존에 위치하는 것을 나타내는 신호의 일부를 공통으로 해도 된다. 예를 들면, 송신기(8421b)와 송신기(8421c)로부터 송신되는, 존 A를 나타내는 ID는 전반을 공통으로 한다. 이것에 의해, 수신기(8421a)는, 신호의 전반을 수신하는 것만으로 자신의 위치하는 존을 인식 가능해진다.
(본 실시의 형태의 정리)
본 실시의 형태에 있어서의 정보 통신 방법은, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 복수의 송신 대상의 신호의 각각을 변조하는 것에 의해서, 복수의 휘도 변화의 패턴을 결정하는 결정 단계와, 복수의 발광체의 각각이, 결정된 복수의 휘도 변화의 패턴 중 어느 하나의 패턴에 따라서 휘도 변화하는 것에 의해서, 상기 어느 하나의 패턴에 대응하는 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 송신 단계에서는 상기 복수의 발광체 중 2개 이상의 발광체의 각각은, 상기 발광체에 대해서 미리 정해진 시간 단위마다, 서로 휘도가 상이한 2 종류의 광 중 어느 한쪽의 광이 출력되도록 또한, 상기 2이상의 발광체의 각각에 대해 미리 정해진 상기 시간 단위가 서로 상이하도록 서로 상이한 주파수로 휘도 변화한다.
이것에 의해, 2이상의 발광체(예를 들면, 조명 기기로서 구성된 송신기)의 각각이 서로 상이한 주파수로 휘도 변화하기 때문에, 그러한 발광체로부터 송신 대상의 신호(예를 들면, 발광체의 ID)를 수신하는 수신기는, 그러한 송신 대상의 신호를 용이하게 구별하여 취득할 수 있다.
또, 상기 송신 단계에서는, 상기 복수의 발광체의 각각은, 적어도 4 종류의 주파수 중 어느 하나의 주파수로 휘도 변화하고, 상기 복수의 발광체 중 2개 이상의 발광체는, 동일한 주파수로 휘도 변화해도 된다. 예를 들면, 상기 송신 단계에서는, 상기 복수의 송신 대상의 신호를 수신하기 위한 이미지 센서의 수광면에, 상기 복수의 발광체가 투영되는 경우에, 상기 수광면 상에서 서로 인접하는 모든 발광체간에서 휘도 변화의 주파수가 상이하도록, 상기 복수의 발광체의 각각은 휘도 변화한다.
이것에 의해, 휘도 변화에 이용되는 주파수가 적어도 4 종류 있으면, 동일한 주파수로 휘도 변화하는 발광체가 2개 이상 있는 경우라도, 즉, 주파수의 종류의 수가 복수의 발광체의 수보다 적은 경우라도, 4색 문제 또는 4색 정리에 근거하여 이미지 센서의 수광면 상에서 서로 인접하는 모든 발광체 사이에서 휘도 변화의 주파수를 확실하게 상이하게 할 수 있다. 그 결과, 수신기는, 복수의 발광체로부터 송신되는 송신 대상의 신호의 각각을 용이하게 구별해 취득할 수 있다.
또, 상기 송신 단계에서는, 상기 복수의 발광체의 각각은, 송신 대상의 신호의 해시값에 의해서 특정되는 주파수로 휘도 변화하는 것에 의해서, 상기 송신 대상의 신호를 송신해도 된다.
이것에 의해, 복수의 발광체의 각각은, 송신 대상의 신호(예를 들면, 발광체의 ID)의 해시값에 의해서 특정되는 주파수로 휘도 변화하기 때문에, 수신기는, 송신 대상의 신호를 수신했을 때에는, 실제의 휘도 변화로부터 특정되는 주파수와, 해시값에 의해서 특정되는 주파수가 일치하는지 아닌지를 판정할 수 있다. 즉, 수신기는, 수신된 신호(예를 들면, 발광체의 ID)에 에러가 있었는지 아닌지를 판정할 수 있다.
또, 상기 정보 통신 방법은, 또한, 신호 기억부에 기억되고 있는 송신 대상의 신호로부터, 미리 정해진 함수에 따라서, 해당 송신 대상의 신호에 대응하는 주파수를 제1 주파수로서 산출하는 주파수 산출 단계와, 주파수 기억부에 기억되고 있는 제2 주파수와, 산출된 상기 1의 주파수가 일치하는지 아닌지를 판정하는 주파수 판정 단계와, 상기 제1 주파수와 상기 제2 주파수가 일치하지 않는다고 판정된 경우에는, 에러를 알리는 주파수 에러 알림 단계를 포함하고, 상기 제1 주파수와 상기 제2 주파수가 일치한다고 판정된 경우에는, 상기 결정 단계에서는, 상기 신호 기억부에 기억되고 있는 상기 송신 대상의 신호를 변조하는 것에 의해서 휘도 변화의 패턴을 결정하고, 상기 송신 단계에서는 상기 복수의 발광체 중 어느 하나의 발광체가, 결정된 상기 패턴에 따라서, 상기 제1 주파수로 휘도 변화하는 것에 의해서, 상기 신호 기억부에 기억되고 있는 상기 송신 대상의 신호를 송신해도 된다.
이것에 의해, 주파수 기억부에 기억되고 있는 주파수와, 신호 기억부(ID 기억부)에 기억되고 있는 송신 대상의 신호로부터 산출된 주파수가 일치하는지 아닌지가 판정되고, 일치하지 않는다고 판정된 경우에는 에러가 알림되기 때문에, 발광체에 의한 신호 송신 기능의 이상 검출을 용이하게 행할 수 있다.
또, 상기 정보 통신 방법은, 또한, 신호 기억부에 기억되고 있는 송신 대상의 신호로부터, 미리 정해진 함수에 따라서 제1 체크값을 산출하는 체크값 산출 단계와, 체크값 기억부에 기억되고 있는 제2 체크값과, 산출된 상기 1의 체크값이 일치하는지 아닌지를 판정하는 체크값 판정 단계와, 상기 제1 체크값과 상기 제2 체크값이 일치하지 않는다고 판정된 경우에는, 에러를 알리는 체크값 에러 알림 단계를 포함하고, 상기 제1 체크값과 상기 제2 체크값이 일치한다고 판정된 경우에는, 상기 결정 단계에서는, 상기 신호 기억부에 기억되고 있는 상기 송신 대상의 신호를 변조하는 것에 의해서 휘도 변화의 패턴을 결정하고, 상기 송신 단계에서는, 상기 복수의 발광체 중 어느 하나의 발광체가, 결정된 상기 패턴에 따라서 휘도 변화하는 것에 의해서, 상기 신호 기억부에 기억되고 있는 상기 송신 대상의 신호를 송신해도 된다.
이것에 의해, 체크값 기억부에 기억되고 있는 체크값과, 신호 기억부(ID 기억부)에 기억되고 있는 송신 대상의 신호로부터 산출된 체크값이 일치하는지 아닌지가 판정되고, 일치하지 않는다고 판정된 경우에는 에러가 알림되기 때문에, 발광체에 의한 신호 송신 기능의 이상 검출을 용이하게 행할 수 있다.
또, 본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 복수의 노광 라인에 대응하는 복수의 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간으로 촬영하는 것에 의해서, 상기 복수의 휘선을 포함한 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 근거하여, 상기 피사체의 휘도 변화의 주파수를 특정하는 주파수 특정 단계를 포함한다. 예를 들면, 상기 주파수 특정 단계에서는, 상기 복수의 휘선의 패턴에 포함되는, 각각 헤더를 나타내기 위해서 미리 정해진 복수의 패턴인 복수의 헤더 패턴을 특정하고, 상기 복수의 헤더 패턴간의 화소수에 따른 주파수를, 상기 피사체의 휘도 변화의 주파수로서 특정한다.
이것에 의해, 피사체의 휘도 변화의 주파수가 특정되기 때문에, 휘도 변화의 주파수가 상이한 복수의 피사체가 촬영되는 경우에는, 그러한 피사체로부터의 정보를 용이하게 구별해 취득할 수 있다.
또, 상기 화상 취득 단계에서는, 각각 휘도 변화하는 복수의 피사체를 촬영하는 것에 의해서, 각각 복수의 휘선에 의해서 나타나는 복수의 패턴을 포함하는 상기 휘선 화상을 취득하고, 상기 정보 취득 단계에서는, 취득된 상기 휘선 화상에 포함되는 상기 복수의 패턴의 각각의 일부가 겹쳐져 있는 경우에는, 경우에는, 상기 복수의 패턴의 각각으로부터 상기 일부를 제외한 부분에 의해서 특정되는 데이터를 복조함으로써, 상기 복수의 패턴의 각각으로부터 정보를 취득해도 된다.
이것에 의해, 복수의 패턴(복수의 휘선 패턴)이 중복되고 있는 부분으로부터는 데이터의 복조가 행해지지 않기 때문에, 잘못된 정보를 취득해 버리는 것을 막을 수 있다.
또, 상기 화상 취득 단계에서는, 상기 복수의 피사체를 서로 상이한 타이밍으로 복수회 촬영하는 것에 의해서, 복수의 휘선 화상을 취득하고, 상기 주파수 특정 단계에서는, 휘선 화상마다, 상기 휘선 화상에 포함되는 상기 복수의 패턴의 각각에 대한 주파수를 특정하고, 상기 정보 취득 단계에서는, 상기 복수의 휘선 화상으로부터 동일한 주파수가 특정된 복수의 패턴을 검색하고, 검색된 상기 복수의 패턴을 결합하며, 결합된 상기 복수의 패턴에 의해서 특정된 데이터를 복조함으로써 정보를 취득해도 된다.
이것에 의해, 복수의 휘선 화상으로부터, 동일한 주파수가 특정된 복수의 패턴(복수의 휘선 패턴)이 검색되고, 검색된 복수의 패턴이 결합되며, 결합된 복수의 패턴으로부터 정보가 취득되기 때문에, 복수의 피사체가 이동하고 있는 경우라도, 그러한 복수의 피사체로부터의 정보를 용이하게 구별해 취득할 수 있다.
또, 상기 정보 통신 방법은, 또한, 식별 정보의 각각에 대하여 주파수가 등록되어 있는 서버에 대해서, 상기 정보 취득 단계에서 취득된 정보에 포함되는 상기 피사체의 식별 정보와, 상기 주파수 특정 단계에서 특정된 주파수를 나타내는 특정 주파수 정보를 송신하는 송신 단계와, 상기 식별 정보와, 상기 특정 주파수 정보에 의해서 나타나는 주파수에 관련시켜진 관련 정보를 상기 서버로부터 취득하는 관련 정보 취득 단계를 포함해도 된다.
이것에 의해, 피사체(송신기)의 휘도 변화에 근거하여 취득된 식별 정보(ID)와, 그 휘도 변화의 주파수에 관련시켜진 관련 정보가 취득된다. 따라서, 피사체의 휘도 변화의 주파수를 변경하고, 서버에 등록되어 있는 주파수를 변경 후의 주파수로 갱신하는 것에 의해서, 주파수의 변경 전에 식별 정보를 취득한 수신기가 서버로부터 관련 정보를 취득하는 것을 막을 수 있다. 즉, 피사체의 휘도 변화의 주파수의 변경에 맞추어, 서버에 등록되어 있는 주파수도 변경하는 것에 의해서, 피사체의 식별 정보를 과거에 취득한 수신기가 무기한으로 서버로부터 관련 정보를 취득할 수 있는 상태가 되어 버리는 것을 막을 수 있다.
또, 상기 정보 통신 방법은, 또한, 상기 정보 취득 단계에서 취득된 상기 정보로부터 일부를 추출하는 것에 의해서, 상기 피사체의 식별 정보를 취득하는 식별 정보 취득 단계와, 상기 정보 취득 단계에서 취득된 상기 정보 중, 상기 일부 이외의 나머지의 부분에 의해서 나타나는 수를, 상기 피사체에 대해서 설정되어 있는 휘도 변화의 설정 주파수로서 특정하는 설정 주파수 특정 단계를 포함해도 된다.
이것에 의해, 복수의 휘선의 패턴으로부터 얻어지는 정보에, 피사체의 식별 정보와, 피사체에 설정되어 있는 휘도 변화의 설정 주파수를 서로 의존하지 않고 포함시킬 수 있기 때문에, 식별 정보와 설정 주파수와의 자유도를 높일 수 있다.
(실시의 형태 5)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
(사람에게의 가시광 통신의 주지)
도 37은, 실시의 형태 5에 있어서의 송신기의 동작의 일례를 나타내는 도면이다.
송신기(8921a)의 발광부는, 도 37의 (a)에 나타내는 바와 같이, 사람이 시인 가능한 점멸과 가시광 통신을 반복한다. 사람에게 시인 가능한 점멸을 행함으로써, 가시광 통신이 가능한 것을 사람에게 알릴 수 있다. 사용자는 송신기(8921a)가 점멸하고 있음으로써 가시광 통신이 가능한 것을 알아채고, 수신기(8921b)를 송신기(8921a)를 향하여 가시광 통신을 행하고, 송신기(8921a)의 사용자 등록을 행한다.
즉, 본 실시의 형태에 있어서의 송신기는, 발광체가 휘도 변화에 의해서 신호를 송신하는 단계와, 발광체가 사람의 눈으로 시인되도록 점멸하는 단계를 교대로 반복하여 행한다.
송신기는, 도 37의 (b)과 같이, 가시광 통신부와 점멸부(통신 상황 표시부)를 별로로 설치해도 된다.
송신기는, 도 37의 (c)와 같이, 동작함으로써, 가시광 통신을 행하면서 사람에게는 발광부가 점멸하고 있는 듯이 보이게 할 수 있다. 즉, 송신기는, 예를 들면 밝기 75 %의 고휘도 가시광 통신과 밝기 1%의 저휘도 가시광 통신을 교대로 반복하여 행한다. 예를 들면, 송신기에 이상 등이 발생하여 평상시와는 상이한 신호를 송신하고 있을 때 도 37의 (c)에 나타내는 동작을 함으로써, 가시광 통신을 그만두지 않고 사용자에게 주의를 재촉할 수 있다.
(길 안내로의 응용예)
도 38은, 실시의 형태 5에 있어서의 송수신 시스템의 응용예의 일례를 나타내는 도면이다.
수신기(8955a)는, 예를 들면 안내판으로서 구성되는 송신기(8955b)의 송신 ID를 수신하고, 안내판에 표시된 지도의 데이터를 서버로부터 취득하여 표시한다. 이 때, 서버는 수신기(8955a)의 사용자에게 적합한 광고를 송신하고, 수신기(8955a)는 이 광고 정보도 표시한다고 해도 된다. 수신기(8955a)는, 현재지로부터, 사용자가 지정한 장소까지의 경로를 표시한다.
(이용 로그 축적과 해석으로의 응용예)
도 39는, 실시의 형태 5에 있어서의 송수신 시스템의 응용예의 일례를 나타내는 도면이다.
수신기(8957a)는, 예를 들면 간판으로서 구성되는 송신기(8957b)의 송신하는 ID를 수신하고, 서버로부터 쿠폰 정보를 취득하여 표시한다. 수신기(8957a)는, 그 후의 사용자의 행동, 예를 들면, 쿠폰을 보존하거나 쿠폰에 표시된 점포로 이동하거나 그 점포에서 쇼핑을 행하거나 쿠폰을 보존하지 않고 떠나거나 하는 행동을 서버(8957c)에 보존한다. 이것에 의해, 간판(8957b)으로부터 정보를 취득한 사용자의 그 후의 행동을 해석할 수 있어 간판(8957b)의 광고 가치를 추측할 수 있다.
(화면 공유로의 응용예)
도 40은, 실시의 형태 5에 있어서의 송수신 시스템의 응용예의 일례를 나타내는 도면이다.
예를 들면 프로젝터나 디스플레이로서 구성되는 송신기(8960b)는, 자신에게 무선 접속하기 위한 정보(SSID, 무선 접속용 패스워드, IP 어드레스, 송신기를 조작하기 위한 패스워드)를 송신한다. 또는, 이들의 정보에 액세스하기 위한 키가 되는 ID를 송신한다. 예를 들면 스마트 폰이나 태블릿이나 노트 PC나 카메라로서 구성되는 수신기(8960a)는, 송신기(8960b)로부터 송신된 신호를 수신하여 상기 정보를 취득하고, 송신기(8960b)와의 무선 접속을 확립한다. 이 무선 접속은, 라우터를 개재하여 접속해도 되고, Wi－Fi 다이렉트나 Bluetooth(등록 상표)나 Wireless Home Digital Interface 등에 의해서 직접 접속해도 된다. 수신기(8960a)는, 송신기(8960b)에 의해서 표시되는 화면을 송신한다. 이것에 의해, 간편하게 수신기의 화상을 송신기에 표시할 수 있다.
또한, 송신기(8960b)는, 수신기(8960a)와 접속되었을 때에, 화면 표시를 위해서는, 송신기가 송신하고 있는 정보 외에 패스워드가 필요한 것을 수신기(8960a)에 전달하고, 올바른 패스워드가 보내지지 않는 경우는 송신된 화면을 표시하지 않는다고 해도 된다. 이 때, 수신기(8960a)는, 8960d와 같은, 패스워드 입력 화면을 표시하고, 사용자에게 패스워드를 입력시킨다.
이상, 하나 또는 복수의 양태에 따른 정보 통신 방법에 대해서, 실시의 형태에 근거하여 설명했지만, 본 발명은 이 실시의 형태에 한정되는 것은 아니다. 본 발명의 취지를 일탈하지 않는 한, 당업자가 생각하는 각종 변형을 본 실시의 형태에 실시한 것이나, 상이한 실시의 형태에 있어서의 구성 요소를 조합하여 구축되는 형태도, 하나 또는 복수의 양태의 범위 내에 포함되어도 된다.
또, 도 41에 나타내는 바와 같이, 본 발명의 일 양태에 따른 정보 통신 방법을 응용해도 된다.
도 41은, 실시의 형태 5에 있어서의 송수신 시스템의 응용예의 일례를 나타내는 도면이다.
가시광 통신의 수신기로서 구성되는 카메라는, 통상 촬상 모드로 촬상을 행한다(Step1). 이 촬상에 의해서, 카메라는, 예를 들면 EXIF(Exchangeable image file format) 등의 포맷에 의해서 구성되는 화상 파일을 취득한다. 다음에, 카메라는, 가시광 통신 촬상 모드로 촬상을 행한다(Step2). 카메라는, 이 촬상에 의해서 얻어지는 화상 중의 휘선의 패턴에 근거하여, 피사체인 송신기로부터 가시광 통신에 의해서 송신된 신호(가시광 통신 정보)를 취득한다(Step3). 또한, 카메라는, 그 신호(수신 정보)를 키로서 취급하여 서버에 액세스함으로써, 서버로부터 그 키에 대응하는 정보를 취득한다(Step4). 그리고 카메라는, 피사체로부터 가시광 통신에 의해서 송신된 신호(가시광 수신 데이터), 서버로부터 취득된 정보, 화상 파일에 의해서 나타나는 화상 중의, 피사체인 송신기가 비추어진 위치를 나타내는 데이터와 가시광 통신에 의해서 송신된 신호를 수신한 시각(동영상 중에 있어서의 시각)을 나타내는 데이터 등을 각각, 전술의 화상 파일 중의 메타 데이터로서 보존한다. 또한, 카메라는, 촬상에 의해서 얻어지는 화상(화상 파일)에 복수의 송신기가 피사체로서 비추어지고 있는 경우에는, 송신기마다, 그 송신기에 대응하는 몇 개의 메타데이터를, 그 화상 파일에 보존한다.
가시광 통신의 송신기로서 구성되는 디스플레이 또는 프로젝터는, 전술의 화상 파일에 의해서 나타나는 화상을 표시할 때에는, 그 화상 파일에 포함되는 메타데이터에 따른 신호를 가시광 통신에 의해서 송신한다. 예를 들면, 디스플레이 또는 프로젝터는, 메타데이터 그 자체를 가시광 통신에 의해서 송신해도 되고, 화상에 비추어진 송신기에 관련시켜진 신호를 키로서 송신해도 된다.
가시광 통신의 수신기로서 구성되는 휴대 단말(스마트 폰)은, 디스플레이 또는 프로젝터의 화상을 촬상하는 것에 의해서, 디스플레이 또는 프로젝터로부터 가시광 통신에 의해서 송신되는 신호를 수신한다. 휴대 단말은, 그 수신한 신호가 전술의 키라면, 그 키를 이용하여 디스플레이, 프로젝터 또는 서버로부터, 그 키에 관련시켜진 송신기의 메타데이터를 취득한다. 또, 휴대 단말은, 그 수신한 신호가, 실재하는 송신기로부터 가시광 통신에 의해서 송신된 신호(가시광 수신 데이터 또는 가시광 통신 정보)이면, 디스플레이, 프로젝터 또는 서버로부터, 그 가시광 수광 데이터 또는 가시광 통신 정보에 대응하는 정보를 취득한다.
(본 실시의 형태 등의 정리)
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체인 제1 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 각 노광 라인에 대응하는 복수의 휘선이 상기 제1 피사체의 휘도 변화에 따라 생기도록 상기 이미지 센서의 제1 노광 시간을 설정하는 제1 노광 시간 설정 단계와. 상기 이미지 센서가, 휘도 변화하는 상기 제1 피사체를, 설정된 상기 제1 노광 시간으로 촬영하는 것에 의해서, 상기 복수의 휘선을 포함하는 화상인 제1 휘선 화상을 취득하는 제1 휘선 화상 취득 단계와, 취득된 상기 제1 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 제1 송신 정보를 취득하는 제1 정보 취득 단계와, 상기 제1 송신 정보가 취득된 후에, 제어 신호를 송신하는 것에 의해서, 문의 개폐 구동 기기에 대해서 상기 문을 열게 하는 문 제어 단계를 포함한다.
이것에 의해, 이미지 센서를 구비한 수신기를 문의 열쇠와 같이 이용할 수 있고, 특별한 전자 자물쇠를 불필요하게 할 수 있다. 그 결과, 연산력이 적은 듯한 기기를 포함하는 다양한 기기간에서 통신을 행할 수 있다.
또, 상기 정보 통신 방법은, 또한, 상기 이미지 센서가, 휘도 변화하는 제2 피사체를, 설정된 상기 제1 노광 시간으로 촬영하는 것에 의해서, 복수의 휘선을 포함하는 화상인 제2 휘선 화상을 취득하는 제2 휘선 화상 취득 단계와, 취득된 상기 제2 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 제2 송신 정보를 취득하는 제2 정보 취득 단계와, 취득된 상기 제1 및 제2 송신 정보에 근거하여 상기 이미지 센서를 구비한 수신 장치가 상기 문에 가까워지고 있는지 아닌지를 판정하는 접근 판정 단계를 포함하고, 상기 문 제어 단계에서는, 상기 수신 장치가 상기 문에 가까워지고 있다고 판정되었을 때에, 상기 제어 신호를 송신해도 된다.
이것에 의해, 수신 장치(수신기)가 문에 가까워졌을 때에만, 즉, 적절한 타이밍에만, 그 문을 열게 할 수 있다.
또, 상기 정보 통신 방법은, 또한, 상기 제1 노광 시간보다 긴 제2 노광 시간을 설정하는 제2 노광 시간 설정 단계와, 상기 이미지 센서가, 제3 피사체를, 설정된 상기 제2 노광 시간으로 촬영하는 것에 의해서, 상기 제3 피사체가 비추어진 통상 화상을 취득하는 통상 화상 취득 단계를 포함하고, 상기 통상 화상 취득 단계에서는, 상기 이미지 센서의 옵티컬 블랙을 포함하는 영역에 있는 복수의 노광 라인의 각각에 대하여, 해당 노광 라인의 옆의 노광 라인에 대한 전하의 독출이 행해진 시점으로부터 소정의 시간 경과 후에, 전하의 독출을 행하고, 상기 제1 휘선 화상 취득 단계에서는, 상기 옵티컬 블랙을 전하의 독출에 이용하지 않고 상기 이미지 센서에 있어서의 상기 옵티컬 블랙 이외의 영역에 있는 복수의 노광 라인의 각각에 대하여, 해당 노광 라인의 옆의 노광 라인에 대한 전하의 독출이 행해진 시점으로부터, 상기 소정의 시간보다도 긴 시간 경과 후에, 전하의 독출를 행해도 된다.
이것에 의해, 제1 휘선 화상이 취득될 때는, 옵티컬 블랙에 대한 전하의 독출(노광)은 행해지지 않기 때문에, 이미지 센서에 있어서의 옵티컬 블랙 이외의 영역인 유효 화소 영역에 대한 전하의 독출(노광)에 걸리는 시간을 길게 할 수 있다. 그 결과, 그 유효 화소 영역에 있어서 신호를 수신하는 시간을 길게 할 수 있어 많은 신호를 취득할 수 있다.
또, 상기 정보 통신 방법은, 또한, 상기 제1 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 있어서의, 상기 복수의 휘선의 각각에 수직인 방향의 길이가, 미리 정해진 길이 미만인지 아닌지를 판정하는 길이 판정 단계와, 상기 패턴의 길이가 상기 미리 정해진 길이 미만이라고 판정된 경우에는, 상기 이미지 센서의 프레임 레이트를 상기 제1 휘선 화상을 취득했을 때의 제1 프레임 레이트보다 늦은 제2 프레임 레이트로 변경하는 프레임 레이트 변경 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 제1 피사체를, 상기 제2 프레임 레이트로, 또한, 설정된 상기 제1 노광 시간으로 촬영하는 것에 의해서, 복수의 휘선을 포함하는 화상인 제3 휘선 화상을 취득하는 제3 휘선 화상 취득 단계와, 취득된 상기 제3 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 상기 제1 송신 정보를 취득하는 제3 정보 취득 단계를 포함해도 된다.
이것에 의해, 제1 휘선 화상에 포함되는 휘선의 패턴(휘선 영역)에 의해서 나타나는 신호 길이가, 송신된 신호의 예를 들면 1 블록분에 충족되지 않은 경우에는, 프레임 레이트가 떨어져, 새롭게 휘선 화상이 제3 휘선 화상으로서 취득된다. 그 결과, 제3 휘선 화상에 포함되는 휘선의 패턴의 길이를 길게 할 수 있고, 송신된 신호를 1 블록분 취득할 수 있다.
또, 상기 정보 통신 방법은, 또한, 상기 이미지 센서에 의해서 얻어지는 화상의 세로폭과 가로폭의 비율을 설정하는 비율 설정 단계를 포함하고, 상기 제1 휘선 화상 취득 단계는 설정된 상기 비율에 의해서, 상기 화상에 있어서의 상기 각 노광 라인과 수직인 방향의 끝이 클립핑되는지 아닌지를 판정하는 클립핑 판정 단계와, 상기 끝이 클립핑된다고 판정되었을 때에는, 상기 비율 설정 단계에서 설정된 상기 비율을, 상기 끝이 클립핑되지 않는 비율인 비클립핑 비율로 변경하는 비율 변경 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 제1 피사체를 촬영하는 것에 의해서, 상기 비클립핑 비율의 상기 제1 휘선 화상을 취득하는 취득 단계를 포함해도 된다.
이것에 의해, 예를 들면 이미지 센서의 유효 화소 영역의 가로폭과 세로폭의 비율이 4：3으로서, 화상의 가로폭과 세로폭의 비율이 16：9로 설정되어 수평 방향을 따르는 휘선이 나타나는 경우, 즉, 노광 라인이 수평 방향을 따르고 있는 경우에는, 전술의 화상의 상단 및 하단이 클립핑된다고 판정된다. 즉, 제1 휘선 화상의 끝이 결핍되어 버린다고 판정된다. 이 경우에는, 그 화상의 비율이, 클립핑되지 않는 비율인 예를 들면 4：3으로 변경된다. 그 결과, 제1 휘선 화상의 끝의 결핍을 막을 수 있고, 제1 휘선 화상으로부터 많은 정보를 취득할 수 있다.
또, 상기 정보 통신 방법은, 상기 제1 휘선 화상에 포함되는 상기 복수의 휘선의 각각에 평행한 방향으로, 상기 제1 휘선 화상을 압축하는 것에 의해서, 압축 화상을 생성하는 압축 단계와, 상기 압축 화상을 송신하는 압축 화상 송신 단계를 포함해도 된다.
이것에 의해, 복수의 휘선에 의해서 나타나는 정보를 결핍시키지 않고 적절하게 제1 휘선 화상을 압축할 수 있다.
또, 상기 정보 통신 방법은, 또한, 상기 이미지 센서를 구비하는 수신 장치가, 미리 정해진 양태로 작동되었는지 아닌지를 판정하는 제스처 판정 단계와, 상기 미리 정해진 양태로 작동되었다고 판정했을 때에는, 상기 이미지 센서를 기동하는 기동 단계를 포함해도 된다.
이것에 의해, 필요한 때에만 이미지 센서를 간단하게 기동시킬 수 있어 소비 전력 효율의 향상을 도모할 수 있다.
(실시의 형태 6)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
도 42는, 실시의 형태 6에 있어서의 송신기와 수신기의 적용예를 나타내는 도면이다.
로봇 8970은, 예를 들면 자주식의 청소기로서의 기능과, 상기 각 실시의 형태에 있어서의 수신기로서의 기능을 가진다. 조명 기기(8971a, 8971b)는, 각각 상기 각 실시의 형태에 있어서의 송신기로서의 기능을 가진다.
예를 들면, 로봇(8970)은, 실내를 이동하면서, 청소를 행함과 함께, 그 실내를 비추는 조명 기기(8971a)를 촬영한다. 이 조명 기기(8971a)는, 휘도 변화하는 것에 의해서 조명 기기(8971a)의 ID를 송신하고 있다. 그 결과, 로봇(8970)은, 상기 각 실시의 형태와 동일하게, 조명 기기(8971a)로부터 그 ID를 수신하고, 그 ID에 근거해 스스로의 위치(자기 위치)를 추정한다. 즉, 로봇(8970)은, 9축 센서에 의한 검출 결과와, 촬영에 의해서 얻어지는 화상에 비치는 조명 기기(8971a)의 상대 위치와, ID에 의해서 특정되는 조명 기기(8971a)의 절대 위치에 근거하여, 이동하면서 자기 위치를 추정하고 있다.
또한, 로봇(8970)은, 이동하는 것에 의해서 조명 기기(8971a)로부터 떨어지면, 조명 기기(8971a)에 대해서 소등을 명령하는 신호(소등 명령)를 송신한다. 예를 들면, 로봇(8970)은, 미리 정해진 거리만큼 조명 기기(8971a)로부터 떨어지면, 소등 명령을 송신한다. 또는, 로봇(8970)은, 촬영에 의해서 얻어지는 화상에 그 조명 기기(8971a)가 비치지 않게 되었을 때에, 혹은, 그 화상에 다른 조명 기기가 비치면, 소등 명령을 조명 기기(8971a)에 송신한다. 조명 기기(8971a)는, 소등 명령을 로봇(8970)으로부터 수신하면, 그 소등 명령에 따라 소등한다.
다음에, 로봇(8970)은, 이동하여 청소를 행하고 있는 도중에, 추정된 자기 위치에 근거하여 조명 기기(8971b)에 가까워진 것을 검지한다. 즉, 로봇(8970)은, 조명 기기(8971b)의 위치를 나타내는 정보를 보관 유지하고 있고, 자기 위치와 그 조명 기기(8971b)의 위치와의 사이의 거리가 미리 정해진 거리 이하가 되었을 때에, 조명 기기(8971b)에 가까워진 것을 검지한다. 그리고, 로봇(8970)은, 그 조명 기기(8971b)에 대해서 점등을 명령하는 신호(점등 명령)를 송신한다. 조명 기기(8971b)는, 점등 명령을 받으면, 그 점등 명령에 따라 점등한다.
이것에 의해, 로봇(8970)은, 이동하면서 스스로의 주위만을 밝게 하여, 청소를 용이하게 행할 수 있다.
도 43은, 실시의 형태 6에 있어서의 송신기 및 수신기의 적용예를 나타내는 도면이다.
조명 기기(8974))는, 상기 각 실시의 형태에 있어서의 송신기로서의 기능을 가진다. 이 조명 기기(8974))는, 휘도 변화하면서 예를 들면 철도의 역에 있는 노선 게시판(8975)를 비춘다. 사용자에 의해서 그 노선 게시판(8975)에 향해진 수신기(8973)는 그 노선 게시판(8975)을 촬영한다. 이것에 의해, 수신기(8973)는, 그 노선 게시판(8975)의 ID를 취득하고, 그 ID에 관련시켜져 있는 정보로서, 그 노선 게시판(8975)에 기재되어 있는 각 노선에 대한 상세한 정보를 취득한다. 그리고, 수신기(8973)는, 그 상세한 정보를 나타내는 안내 화상(8973a)을 표시한다. 예를 들면, 안내 화상(8973a)은, 노선 게시판(8975)에 기재되어 있는 노선까지의 거리와, 그 노선을 향하는 방향과, 그 노선에 있어서 다음에 전철이 도착하는 시각을 나타낸다.
여기서, 수신기(8973)는, 그 안내 화상(8973a)이 사용자에 의해서 터치되면, 보충 안내 화상(8973b)을 표시한다. 이 보충 안내 화상(8973b)는, 예를 들면, 철도의 시각표, 안내 화상(8973a)에 의해서 나타나는 노선과는 상이한 다른 노선에 관한 정보, 및, 그 역에 관한 상세한 정보, 중 어느 하나를 사용자에 의한 선택 조작에 따라 표시하기 위한 화상이다.
(실시의 형태 7)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
(복수의 수광부에 의한 복수의 방향으로부터의 신호의 수신)
도 44는, 실시의 형태 7에 있어서의 수신기의 일례를 나타내는 도면이다.
예를 들면 손목시계로서 구성되는 수신기(9020a)는, 복수의 수광부를 구비한다. 예를 들면, 수신기(9020a)는, 도 44에 나타내는 바와 같이, 손목시계의 장침 및 단침을 지지하는 회전축의 상단부에 배치된 수광부(9020b)와, 손목시계의 둘레 가장자리부에 있어서의, 12시를 나타내는 문자 부근에 배치된 수광부(9020c) 를 구비한다. 수광부(9020b)는, 전술의 회전축의 방향을 따라서 수광부(9020b)로 향하는 광을 받고, 수광부(9020c)는, 그 회전축과 12시를 나타내는 문자를 잇는 방향을 따라서 수광부(9020c)에 향하는 광을 받는다. 이것에 의해, 사용자가 시각을 확인할 때와 같이 가슴의 앞에 수신기(9020a)를 만들었을 때에, 수광부(9020b)는 상방향으로부터의 광을 수광할 수 있다. 그 결과, 수신기(9020a)는 천정 조명으로부터의 신호를 수신할 수 있다. 또한, 사용자가 시각을 확인할 때와 같이 가슴의 앞에 수신기(9020a)를 만들었을 때에, 수광부(9020c)는, 정면 방향으로부터의 광을 수광할 수 있다. 그 결과, 수신기(9020a)는, 정면에 있는 사이니지 등으로부터의 신호를 수신할 수 있다.
이러한 수광부(9020a 및 9020c)는, 지향성을 갖게 함으로써, 가까운 위치에 복수의 수신기가 있는 경우라도 혼신하지 않고 신호를 수신할 수 있다.
(손목시계형 디스플레이에 의한 길안내)
도 45는, 실시의 형태 7에 있어서의 수신 시스템의 일례를 나타내는 도면이다.
예를 들면 손목시계로서 구성되는 수신기(9023b)는, Bluetooth(등록 상표) 등의 무선 통신을 개재하여 스마트 폰(9022a)과 접속된다. 수신기(9023b)는, 문자판이 액정 등의 디스플레이로 구성되어 있고, 시각 이외의 정보를 표시할 수 있다. 수신기(9023b)가 수신한 신호로부터 스마트 폰(9022a)은 현재지를 인식하고, 목적지까지의 경로나 거리를 수신기(9023b)의 표시면에 표시한다.
도 46은, 실시의 형태 7에 있어서의 신호 송수신 시스템의 일례를 나타내는 도면이다.
신호 송수신 시스템은, 다기능 휴대 전화인 스마트 폰(스마트 폰)과 조명 기기인 LED 발광기와 냉장고 등의 가전 기기와 서버를 구비하고 있다. LED 발광기는 BTLE(Bluetooth(등록 상표) Low Energy)를 이용한 통신을 행함과 함께, LED(Light Emitting Diode)를 이용한 가시광 통신을 행한다. 예를 들면, LED 발광기는 BTLE에 의해서, 냉장고를 제어하거나 에어컨과 통신한다. 또, LED 발광기는, 가시광 통신에 의해서, 전자레인지, 공기 청정기 또는 텔레비전(TV) 등의 전원을 제어한다.
텔레비전은, 예를 들면 태양광 발전 소자를 구비하고, 이 태양광 발전 소자를 광 센서로서 이용한다. 즉, LED 발광기가 휘도 변화하는 것에 의해서 신호를 송신하면, 텔레비전은, 태양광 발전 소자에 의해서 발전되는 전력의 변화에 의해서, 그 LED 발광기의 휘도 변화를 검출한다. 그리고, 텔레비전은, 그 검출된 휘도 변화에 의해서 나타나는 신호를 복조하는 것에 의해서, LED 발광기로부터 송신된 신호를 취득한다. 텔레비전은, 그 신호가 전원 ON를 나타내는 명령인 경우에는, 스스로의 주전원을 ON으로 전환하고, 그 신호가 전원 OFF를 나타내는 명령인 경우에는, 스스로의 주전원을 OFF로 전환한다.
또, 서버는, 라우터 및 특정 소전력 무선국(특소)을 개재하여 에어컨과 통신할 수 있다. 또한, 에어컨은 BTLE를 개재하여 LED 발광기와 통신할 수 있기 때문에, 서버는 LED 발광기와 통신할 수 있다. 따라서, 서버는, LED 발광기를 개재하여 TV의 전원을 ON과 OFF로 전환할 수 있다. 또, 스마트 폰은, 서버와 예를 들면 Wi－Fi(Wireless Fidelity) 등을 개재하여 통신하는 것에 의해서, 서버를 개재하여 TV의 전원을 제어할 수 있다.
도 46에 나타내는 바와 같이, 본 실시의 형태에 있어서의 정보 통신 방법은, 휴대 단말(스마트 폰)이, 가시광 통신과 상이한 무선 통신(BTLE 또는 Wi－Fi등)에 의해서, 제어 신호(송신 데이터열 또는 사용자 커멘드)를 조명 기기(발광기)에 송신하는 무선 통신 단계와, 조명 기기가, 그 제어 신호에 따라 휘도 변화하는 것에 의해서 가시광 통신을 행하는 가시광 통신 단계와, 제어 대상 기기(전자레인지 등)가, 그 조명 기기의 휘도 변화를 검출하고, 검출된 휘도 변화에 의해서 특정되는 신호를 복조함으로써 제어 신호를 취득하고, 그 제어 신호에 따른 처리를 실행하는 실행 단계를 포함한다. 이것에 의해, 휴대 단말은, 가시광 통신을 위한 휘도 변화를 행할 수 없어도, 무선 통신에 의해서, 조명 기기를 휴대 단말 대신에 휘도 변화시킬 수 있어 제어 대상 기기를 적절하게 제어할 수 있다. 또한, 휴대 단말은 스마트 폰은 아니라 손목시계라도 된다.
(간섭을 배제한 수신)
도 47은, 실시의 형태 7에 있어서의 간섭을 배제한 수신 방법을 나타내는 플로우 차트이다.
우선, 단계 9001a에서 start 하고, 단계 9001b에서 수광한 광의 강도에 주기적인 변화가 있는지 어떤지를 확인하여, YES의 경우는 단계 9001c로 진행된다. NO의 경우는 단계 9001d로 진행되고, 수광부의 렌즈를 광각으로 하여 광범위의 광을 수광하고, 단계 9001b로 되돌린다. 단계 9001c에서 신호를 수신할 수 있는지를 확인하고, YES의 경우는 단계 9001e로 진행되어, 신호를 수신하고, 단계 9001g에서 종료한다. NO의 경우는 단계 9001f로 진행되고, 수광부의 렌즈를 망원으로 하여 좁은 범위의 광을 수광하고, 단계 9001c로 되돌린다.
이 방법에 의해, 복수의 송신기로부터의 신호의 간섭을 배제하면서, 넓은 방향에 있는 송신기로부터의 신호를 수신할 수 있다.
(송신기의 방위의 추정)
도 48은, 실시의 형태 7에 있어서의 송신기의 방위의 추정 방법을 나타내는 플로우 차트이다.
우선, 단계 9002a에서 start 하고, 단계 9002b에서 수광부의 렌즈를 최대 망원으로 하여, 단계 9002c에서 수광한 광의 강도에 주기적인 변화가 있는지를 확인하고, YES의 경우는 단계 9002d로 진행된다. NO의 경우는 단계 9002e로 진행되고, 수광부의 렌즈를 광각으로 하여 광범위의 광을 수광하여, 단계 9002c로 되돌린다. 단계 9002d에서 신호를 수신하고, 단계 9002f에서 수광부의 렌즈를 최대 망원으로 하며, 수광 범위의 경계를 따르도록 수광 방향을 변화시키고, 수광 강도가 최대가 되는 방향을 검출하고, 송신기가 그 방향에 있다고 추정하여 단계 9002d에서 종료한다.
이 방법에 의해, 송신기가 존재하는 방향을 추정할 수 있다. 또한, 최초로 최대 광각으로 하고, 점차 망원으로 해도 된다.
(수신의 개시)
도 49는, 실시의 형태 7에 있어서의 수신의 개시 방법을 나타내는 플로우 차트이다.
우선, 단계 9003a에서 start 하고, 단계 9003b에서 Wi－Fi나 Bluetooth(등록 상표)나 IMES 등의 기지국으로부터의 신호를 수신했는지를 확인하고, YES의 경우는, 단계 9003c로 진행된다. NO의 경우는 단계 9003b로 되돌린다. 단계 9003c에서 상기 기지국이, 수신 개시의 트리거로서 수신기나 서버에 등록되어 있는지 어떤지를 확인하고, YES의 경우는 단계 9003d로 진행되어 신호의 수신을 개시하고, 단계 9003e에서 종료한다. NO의 경우는 단계 9003b로 되돌린다.
이 방법에 의해, 사용자가 수신 개시의 조작을 하지 않아도 수신을 개시할 수 있다. 또, 항상 수신을 행하는 것보다도 소비 전력을 억제할 수 있다.
(타매체의 정보를 병용한 ID의 생성)
도 50은, 실시의 형태 7에 있어서의 타매체의 정보를 병용한 ID의 생성 방법을 나타내는 플로우 차트이다.
우선, 단계 9004a에서 start하여, 단계 9004b에서 접속되어 있는 캐리어 통신망이나 Wi－Fi나 Bluetooth(등록 상표) 등의 ID, 또는, 상기 ID로부터 얻은 위치 정보나 GPS 등으로부터 얻은 위치 정보를 상위 비트 ID 색인 서버에 송신한다. 단계 9004c에서 상위 비트 ID 색인 서버로부터 가시광 ID의 상위 비트를 수신하고, 단계 9004d에서 송신기로부터의 신호를 가시광 ID의 하위 비트로서 수신한다. 단계 9004e에서 가시광 ID의 상위 비트와 하위 비트를 맞추어 ID 해결 서버에 송신하여, 단계 9004f에서 종료한다.
이 방법에 의해, 수신기의 부근의 장소에서 공통적으로 이용되는 상위 비트를 얻을 수 있고, 송신기가 송신하는 데이터량을 줄일 수 있다. 또, 수신기가 수신하는 속도를 올릴 수 있다.
또한, 송신기는 상위 비트와 하위 비트 양쪽을 송신하고 있다고 해도 된다. 이 경우는, 이 방법을 이용하고 있는 수신기는 하위 비트를 수신한 시점에서 ID를 합성할 수 있고, 이 방법을 이용하고 있지 않은 수신기는 송신기로부터 ID 전체를 수신함으로써 ID를 얻는다.
(주파수 분리에 의한 수신 방식의 선택)
도 51은, 실시의 형태 7에 있어서의 주파수 분리에 의한 수신 방식의 선택 방법을 나타내는 플로우 차트이다.
우선, 단계 9005a에서 start하여, 단계 9005b에서 수광한 광신호를 주파수 필터 회로에 가하거나, 또는, 이산 푸리에 급수 전개를 행하여 주파수 분해를 행한다. 단계 9005c에서 저주파수 성분이 존재하는지를 확인하고, YES의 경우는 단계 9005d로 진행하고, 주파수 변조 등의 저주파수 영역에서 표현된 신호를 디코드하여 단계 9005e로 진행한다. NO의 경우는 단계 9005e로 진행된다. 단계 9005e에서 상기 기지국이, 수신 개시의 트리거로서 수신기나 서버에 등록되어 있는지 어떤지를 확인하고, YES의 경우는 단계 9005f로 진행되고, 펄스 위치 변조 등의 고주파수 영역에서 표현된 신호를 디코드하여 단계 9005g로 진행한다. NO의 경우는 단계 9005g로 진행된다. 단계 9005g에서 신호의 수신을 개시하고, 단계 9005h에서 종료한다.
이 방법에 의해, 복수의 변조 방식으로 변조된 신호를 수신할 수 있다.
(노광 시간이 긴 경우의 신호 수신)
도 52는, 실시의 형태 7에 있어서의 노광 시간이 긴 경우의 신호 수신 방법을 나타내는 플로우 차트이다.
우선, 단계 9030a에서 start하여, 단계 9030b에서 감도를 설정할 수 있는 경우는 감도를 최고로 설정한다. 단계 9030c에서 노광 시간을 설정할 수 있는 경우는 통상 촬영 모드보다도 짧은 시간으로 설정한다. 단계 9030d에서 2장의 화상을 촬상하여 휘도의 차분을 구한다. 2장의 화상을 촬상하는 동안에 촬상부의 위치나 방향이 변화된 경우는 그 변화를 캔슬하여 동일한 위치·방향으로부터 촬상한 것 같은 화상을 생성하여 차분을 구한다. 단계 9030e에서 차분 화상, 또는, 촬상 화상의 노광 라인에 평행한 방향의 휘도값을 평균한 값을 구한다. 단계 9030f에서 상기 평균한 값을, 노광 라인에 수직인 방향으로 나열하여 이산 푸리에 변환을 행하고, 단계 9030g에서 소정의 주파수의 부근에 피크가 있는지 어떤지를 인식하여, 단계 9030h에서 종료한다.
이 방법에 의해, 노광 시간을 설정할 수 없는 경우나 통상 화상을 동시에 촬상하는 경우 등, 노광 시간이 긴 경우에 있어서도 신호를 수신할 수 있다.
노광 시간을 자동 설정으로 하고 있는 경우, 카메라를 조명으로 하여 구성되는 송신기로 향하면, 자동 노출 보정 기능에 의해서 노광 시간은 60분의 1초부터 480분의 1초 정도로 설정된다. 노광 시간의 설정을 할 수 없는 경우에는, 이 조건으로 신호를 수신한다. 실험에서는, 조명을 주기적으로 점멸시킨 경우에는, 1 주기의 시간이 노광 시간의 약 16분의 1이상이면, 노광 라인에 수직인 방향으로 줄무늬를 시인할 수 있고, 화상 처리에 의해서 점멸의 주기를 인식할 수 있었다. 이 때, 조명이 비치고 있는 부분은 휘도가 너무 높아서 줄무늬가 확인되기 어렵기 때문에, 조명광이 반사하고 있는 부분으로부터 신호의 주기를 구하는 것이 좋다.
주파수 편이 변조 방식이나 주파수 다중 변조 방식과 같이, 발광부를 주기적으로 점등·소등시키는 방식을 이용한 경우는, 펄스 위치 변조 방식을 이용한 경우보다도, 동일한 변조 주파수라도 사람에게 있어서 깜박거림을 시인하기 어렵고, 또, 비디오 카메라로 촬영한 동영상에도 깜박거림이 나타나기 어렵다. 그 때문에, 낮은 주파수를 변조 주파수로서 이용할 수 있다. 사람의 시각의 시간 분해능은 60Hz 정도이기 때문에, 이 주파수 이상의 주파수를 변조 주파수로서 이용할 수 있다.
또한, 변조 주파수가 수신기의 촬상 프레임 레이트의 정수배일 때에는, 2장의 화상의 동일한 위치의 화소는 송신기의 광패턴이 동일한 위상의 시점에서 촬상을 행하기 때문에, 차분 화상에 휘선이 나타나지 않고, 수신을 행하기 어렵다. 수신기의 촬상 프레임 레이트는 통상 30fps이기 때문에, 변조 주파수는 30Hz의 정수배 이외로 설정하면 수신을 행하기 쉽다. 또, 수신기의 촬상 프레임 레이트는 여러 가지 것이 존재하기 때문에, 서로 순수한 두 개의 변조 주파수를 동일한 신호에 할당하고. 송신기는, 그 두 개의 변조 주파수를 교대로 이용하여 송신함으로써, 수신기는, 적어도 하나의 신호를 수신함으로써 용이하게 신호를 복원할 수 있다.
도 53은, 송신기의 조광(밝기를 조정하는 것) 방법의 일례를 나타내는 도면이다.
휘도가 높은 구간과 휘도가 낮은 구간의 비율을 조정함으로써, 평균 휘도가 변화하여 밝기를 조정할 수 있다. 이 때, 휘도의 높낮이를 반복하는 주기 T1을 일정하게 유지함으로써, 주파수 피크를 일정하게 유지할 수 있다. 예를 들면, 도 53의 (a), (b), (c) 모두, 평균 휘도보다 밝아지는 제1 휘도 변화와, 제2 휘도 변화 사이의 시간 T1은 일정하게 유지하면서, 송신기를 어둡게 조광할 때에는, 평균 휘도보다도 밝게 조명하는 시간을 짧게 한다. 한편, 송신기를 밝게 조광할 때에는, 평균 휘도보다도 밝게 조명하는 시간을 길게 한다. 도 53의 (b), (c)는, (a)보다 어둡게 조광되고 있고, 도 53의 (c)는, 가장 어둡게 조광되고 있다. 이것에 의해, 동일한 의미를 가진 신호를 송신하면서 조광을 행할 수 있다.
휘도가 높은 구간의 휘도, 또는, 휘도가 낮은 구간의 휘도, 또는, 그 양쪽의 휘도의 값을 변화시킴으로써 평균 휘도를 변화시킨다고 해도 된다.
도 54는, 송신기의 조광 기능을 구성하는 방법의 일례를 나타내는 도면이다.
구성 부품의 정밀도에는 한계가 있기 때문에, 동일한 조광 설정을 행했다고 해도, 별도의 송신기와는 밝기가 미묘하게 상이하다. 그러나, 송신기를 나열하여 배치하는 경우에는, 인접하는 송신기의 밝기가 상이하면, 부자연스러움이 느껴진다. 따라서, 사용자는, 조광 보정 조작부를 조작함으로써 송신기의 밝기를 조정한다. 조광 보정부는, 보정값을 보관 유지하고, 조광 제어부는, 보정값에 따라서 발광부의 밝기를 제어한다. 사용자가 조광 조작부를 조작하는 것에 의해서 조광의 정도가 변화된 경우에는, 조광 제어부는, 변화된 조광 설정값과 조광 보정부에 보관 유지된 보정값을 근거로, 발광부의 밝기를 제어한다. 또, 조광 제어부는, 연동 조광부를 통하여, 다른 송신기에 조광 설정값을 전달한다. 다른 기기로부터 연동 조광부를 통해 조광 설정값이 전달된 경우에는, 조광 제어부는, 그 조광 설정값과 조광 보정부에 보관 유지된 보정값을 근거로, 발광부의 밝기를 제어한다.
본 발명의 하나의 실시 형태에 의하면, 발광체를 휘도 변화시키는 것에 의해서 신호를 송신하는 정보 통신 장치를 제어하는 제어 방법으로서, 정보 통신 장치의 컴퓨터에 대해서, 복수의 상이한 신호를 포함하는, 송신 대상의 신호를 변조시키는 것에 의해서, 상이한 신호마다 상이한 주파수의 휘도 변화의 패턴을 결정시키는 결정 단계와, 단일의 주파수에 해당하는 시간에, 단일의 신호를 변조한 휘도 변화의 패턴만을 포함하도록 발광체를 휘도 변화시키는 것에 의해서 송신 대상의 신호를 송신시키는 송신 단계를 가지는, 제어 방법이어도 된다.
예를 들면, 단일의 주파수에 해당하는 시간에, 복수의 신호를 변조한 휘도 변화의 패턴을 포함하는 경우, 시간 경과에 의한 휘도 변화의 파형이 복잡해지고, 적절하게 수신하는 것이 곤란해진다. 그러나, 단일의 주파수에 해당하는 시간에, 단일의 신호를 변조한 휘도 변화의 패턴만을 포함하도록 제어함으로써, 수신할 때에 보다 적절하게 수신을 행하는 것이 가능해진다.
본 발명의 하나의 실시의 형태에 의하면, 결정 단계는, 소정의 시간 내에 있어서, 복수의 상이한 신호 중 하나의 신호를 송신시키는 송신 횟수가, 다른 신호를 송신시키는 송신 횟수와 상이하도록 송신 횟수를 결정시켜도 된다.
하나의 신호를 송신시키는 송신 횟수가, 다른 신호를 송신시키는 송신 횟수와 상이한 것에 의해, 송신할 때의 깜빡거림을 막는 것이 가능해진다.
본 발명의 하나의 실시의 형태에 의하면, 결정 단계는, 소정의 시간 내에 있어서, 높은 주파수에 해당하는 신호의 송신 횟수를, 다른 신호의 송신 횟수보다도 많게 해도 된다.
수신측에 있어서 주파수 변환을 행할 때에, 높은 주파수에 해당하는 신호는, 휘도가 작아지지만, 송신 횟수를 많게 함으로써 주파수 변환을 행할 때의 휘도값을 크게 하는 것이 가능해진다.
본 발명의 하나의 실시의 형태에 의하면, 휘도 변화의 패턴은, 시간 경과에 의한 휘도 변화의 파형이, 직사각형파, 삼각파, 톱니파 중 어느 하나가 되는 패턴이어도 된다.
직사각형파 등으로 함으로써, 보다 적절하게 수신을 행하는 것이 가능해진다.
본 발명의 하나의 실시의 형태에 의하면, 발광체의 평균 휘도의 값을 크게 하는 경우에, 단일의 주파수에 해당하는 시간에 있어서, 발광체의 휘도가 소정의 값보다 커지는 시간을, 상기 발광체의 평균 휘도의 값을 작게 하는 경우에 대해서, 길게 해도 된다.
단일의 주파수에 해당하는 시간에 있어서, 발광체의 휘도가 소정의 값보다 커지는 시간을 조정함으로써, 신호를 송신하고, 또한, 발광체의 평균 휘도를 조정하는 것이 가능해진다. 예를 들면, 발광체를 조명으로 하여 사용하는 경우에는, 전체의 밝기를 어둡게 하거나 밝게 하거나 하면서, 신호를 송신하는 것이 가능해진다.
수신기는, 노광 시간을 설정하는 API(어플리케이션·프로그래밍·인터페이스의 생략으로, OS의 기능을 이용하기 위한 수단을 가리킴)를 이용함으로써, 노광 시간을 소정의 값으로 설정할 수 있고 가시광 신호를 안정되게 수신할 수 있다. 또, 수신기는, 감도를 설정하는 API를 이용함으로써, 감도를 소정의 값으로 설정할 수 있고, 송신 신호의 밝기가 어두운 경우나 밝은 경우라도 가시광 신호를 안정되게 수신할 수 있다.
(실시의 형태 8)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
여기서, EX줌에 대해 설명한다.
도 55는, EX줌을 설명하기 위한 도면이다.
줌, 즉, 큰 상을 얻는 방법에는, 렌즈의 초점 거리를 조정하여 촬상 소자에 비치는 상의 크기를 변화시키는 광학 줌과, 촬상 소자에 비친 상을 디지털 처리로 보간하여 큰 상을 얻는 디지털 줌과, 촬상에 이용되는 복수의 촬상 소자를 변경함으로써 큰 상을 얻는 EX줌이 있다. EX줌은, 촬상 화상의 해상도에 비해 이미지 센서에 포함되는 촬상 소자의 수가 많은 경우에 이용할 수 있다.
예를 들면, 도 55에 나타내는 이미지 센서(10080a)에서는, 32×24개의 촬상 소자가 매트릭스형상으로 배열되고 있다. 즉, 촬상 소자가 가로로 32개, 세로로 24개 배치되어 있다. 이 이미지 센서(10080a)에 의한 촬상에 의해서, 가로 16×세로 12의 해상도의 화상을 얻는 경우, 도 55의 (a)에 나타내는 바와 같이, 이미지 센서(10080a)에 포함되는 32×24개의 촬상 소자 가운데, 이미지 센서(10080a)에 있어서 전체적으로 균등하게 분산해서 배치된 16×12개의 촬상 소자(예를 들면, 도 55(a)에 있어서의 이미지 센서(1080a) 중의 검은 사각에 의해서 나타나는 촬상 소자)만이 촬상에 이용된다. 즉, 세로 방향 및 가로 방향의 각각에 배열되는 복수의 촬상 소자 가운데, 홀수 번째 또는 짝수 번째의 촬상 소자만이 촬상에 이용된다. 이것에 의해, 원하는 해상도의 화상(10080b)이 얻어진다. 또한, 도 55에 있어서, 이미지 센서(1008a)에 피사체가 나타나고 있지만, 이것은, 각 촬상 소자와 촬상에 의해서 얻어지는 화상과의 대응 관계를 알기 쉽게 하기 위함이다.
이 이미지 센서(10080a)를 구비한 수신기는, 넓은 범위를 촬상함으로써, 송신기를 탐색하거나 많은 송신기로부터의 정보를 수신하거나 하는 경우는, 이미지 센서(10080a)에 있어서 전체적으로 균등하게 분산해서 배치된 일부의 촬상 소자만을 이용해 촬상한다.
또, 수신기는, EX줌을 행할 때에는, 도 55의 (b)에 나타내는 바와 같이, 이미지 센서(10080a)에 있어서, 국소적으로 조밀하게 배치된 일부의 촬상 소자(예를 들면, 도 55의 (b)에 있어서의 이미지 센서(1080a) 중의 흑사각에 의해서 나타나는 16×12개의 촬상 소자)만을 촬상에 이용한다. 이것에 의해, 화상(10080b) 가운데, 그 일부의 촬상 소자에 대응하는 부분이 줌되게 되고, 화상(10080d)이 얻어진다. 이러한 EX줌에 의해서, 송신기를 크게 촬상함으로써, 가시광 신호를 장시간 수신할 수 있게 되고, 수신 속도가 향상되며, 또, 멀리서부터 가시광 신호를 수신할 수 있다.
디지털 줌에서는, 가시광 신호를 받는 노광 라인의 수를 늘릴 수 없고, 가시광 신호의 수신 시간도 증가하지 않기 때문에, 가능한 한 다른 줌을 이용하는 쪽이 좋다. 광학 줌은, 렌즈나 이미지 센서의 물리적인 이동 시간이 필요하지만, EX줌은 전자적인 설정 변경만으로 행해지기 때문에, 줌에 걸리는 시간이 짧다는 이점이 있다. 이 관점으로부터, 각 줌의 우선 순위는, (1) EX줌, (2) 광학 줌, (3) 디지털 줌이다. 수신기는, 이 우선 순위와 줌 배율의 필요성에 따라, 어느 하나 또는 복수의 줌을 선택하여 이용해도 된다. 또한, 도 55의 (a) 및 (b)에 나타내는 촬상 방법에서는, 사용하고 있지 않은 촬상 소자를 이용함으로써 화상 노이즈를 억제하는 것이 가능하다.
(실시의 형태 9)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
본 실시의 형태에서는, 노광 라인마다 또는 촬상 소자마다 노광 시간을 설정한다.
도 56, 도 57, 도 58은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
도 56에 나타내는 바와 같이, 수신기에 구비되어 있는 촬상부인 이미지 센서(10010a)에서는, 노광 라인마다 노광 시간이 설정된다. 즉, 소정의 노광 라인(도 56 중에 있어서의 흰 노광 라인)에는, 통상 촬상용의 긴 노광 시간이 설정되고, 다른 노광 라인(도 56 중에 있어서의 검은 노광 라인)에는, 가시광 촬상용의 짧은 노광 시간이 설정되어 있다. 예를 들면, 수직 방향으로 배열되어 있는 각 노광 라인에 대해서, 긴 노광 시간과 짧은 노광 시간이 교대로 설정되어 있다. 이것에 의해, 휘도 변화에 의해서 가시광 신호를 송신하는 송신기를 촬상할 때에, 통상 촬상과 가시광 촬상(가시광 통신)을 거의 동시에 행할 수 있다. 또한, 두 개의 노광 시간은 1 라인마다 교대로 설정되어도 되고, 수라인마다 설정되어도 되며, 이미지 센서(10010a)의 상부와 하부에서 별개의 노광 시간이 설정되어도 된다. 이와 같이 2개의 노광 시간을 이용함으로써, 동일한 노광 시간으로 설정된 복수의 노광 라인의 촬상에 의해서 얻어지는 데이터를 각각 정리하면, 통상 촬상 화상(10010b)과, 복수의 휘선의 패턴을 나타내는 휘선 화상인 가시광 촬상 화상(10010c)이 얻어진다. 통상 촬상 화상(10010b)에서는, 긴 노광 시간으로 촬상하고 있지 않은 부분(즉, 짧은 노광 시간으로 설정된 복수의 노광 라인에 대응하는 화상)이 빠져 있기 때문에, 그 부분을 보간함으로써, 프리뷰 화상(10010d)을 표시할 수 있다. 여기서, 프리뷰 화상(10010d)에는, 가시광 통신에 의해서 얻어지는 정보를 중첩할 수 있다. 이 정보는, 가시광 촬상 화상(10010c)에 포함되는 복수의 휘선의 패턴을 복호하는 것에 의해서 얻어진 가시광 신호에 관련시켜진 정보이다. 또한, 수신기는, 통상 촬상 화상(10010b), 또는 그 통상 촬상 화상(10010b)에 대해서 보간이 행해진 화상을 촬상 화상으로서 보존하고, 수신한 가시광 신호, 또는 그 가시광 신호에 관련시켜진 정보를 부가 정보로서 보존되는 촬상 화상에 부가할 수도 있다.
도 57에 나타내는 바와 같이, 이미지 센서(10010a) 대신에 이미지 센서(10011a)를 이용해도 된다. 이미지 센서(1011a)에서는, 노광 라인마다가 아니라, 노광 라인과 수직인 방향을 따라서 배열된 복수의 촬상 소자로 이루어지는 열(이하, 수직 라인이라고 함)마다, 노광 시간이 설정된다. 즉, 소정의 수직 라인(도 57 중에 있어서의 흰 수직 라인)에는, 통상 촬상용의 긴 노광 시간이 설정되고, 다른 수직 라인(도 57 중에 있어서의 검은 수직 라인)에는, 가시광 촬상용의 짧은 노광 시간이 설정되어 있다. 이 경우, 이미지 센서(10011a)에서는, 이미지 센서(10010a)와 동일하게, 노광 라인마다 서로 상이한 타이밍으로 노광이 개시되지만, 노광 라인의 각각에서, 그 노광 라인에 포함되는 각 촬상 소자의 노광 시간이 상이하다. 수신기는, 이 이미지 센서(10011a)에 의한 촬상에 의해서, 통상 촬상 화상(10011b)와 가시광 촬상 화상(10011c)를 얻는다. 또한, 수신기는, 이 통상 촬상 화상(10011b)과 가시광 촬상 화상(10011c)으로부터 얻어지는 가시광 신호에 관련시켜진 정보에 근거하여, 프리뷰 화상(10011d)을 생성하여 표시한다.
이 이미지 센서(10011a)에서는, 이미지 센서(10010a)와는 상이하게, 가시광 촬상에 모든 노광 라인을 이용할 수 있다. 그 결과, 이미지 센서(10011a)에 의해서 얻어지는 가시광 촬상 화상(10011c))에는, 가시광 촬상 화상(10010c)과 비교해서 휘선이 많이 포함되어 있기 때문에, 가시광 신호의 수신 정밀도를 높게 할 수 있다.
또, 도 58에 나타내는 바와 같이, 이미지 센서(10010a) 대신에 이미지 센서(10012a)를 이용해도 된다. 이미지 센서(10012a)에서는, 수평 방향 및 수직 방향을 따라서 각 촬상 소자에 대해서 연속하여 동일한 노광 시간이 설정되지 않도록, 촬상 소자마다 노광 시간이 설정된다. 즉, 긴 노광 시간이 설정되는 복수의 촬상 소자와, 짧은 노광 시간이 설정되는 복수의 촬상 소자가, 격자형상 또는 체크무늬와 같이 분포하도록 각 촬상 소자에 대해서 노광 시간이 설정된다. 이 경우도, 이미지 센서(10010a)와 동일하게, 노광 라인마다 서로 상이한 타이밍으로 노광이 개시되지만, 노광 라인의 각각에서, 그 노광 라인에 포함되는 각 촬상 소자의 노광 시간이 상이하다. 수신기는, 이 이미지 센서(10012a)에 의한 촬상에 의해서, 통상 촬상 화상(10012b)와 가시광 촬상 화상(10012c)을 얻는다. 또한, 수신기는, 이 통상 촬상 화상(10012b)과 가시광 촬상 화상(10012c)으로부터 얻어진 가시광 신호에 관련시켜진 정보에 근거하여, 프리뷰 화상(10012d)을 생성하여 표시한다.
이미지 센서(10012a)에 의해서 얻어지는 통상 촬상 화상(10012b)은, 격자형상으로 배치된, 또는 균일하게 배치된 복수의 촬상 소자의 데이터를 가지기 때문에, 통상 촬상 화상(10010b)과 통상 촬상 화상(10011b)보다도 정확하게 보간이나 리사이즈를 할 수 있다. 또, 가시광 촬상 화상(10012c)은, 이미지 센서(10012a)의 모든 노광 라인을 이용한 촬상에 의해서 생성되고 있다. 즉, 이 이미지 센서(10012a)에서는, 이미지 센서(10010a)와는 상이하게, 가시광 촬상에 모든 노광 라인을 이용할 수 있다. 그 결과, 이미지 센서(10012a)에 의해서 얻어지는 가시광 촬상 화상(10012c)에는, 가시광 촬상 화상(10011c))과 동일하게, 가시광 촬상 화상(10010c)과 비교해서 휘선이 많이 포함되어 있기 때문에, 가시광 신호의 수신을 고정밀도로 행할 수 있다.
여기서, 프리뷰 화상의 인터레이스 표시에 대해 설명한다.
도 59는, 실시의 형태 9에 있어서의 수신기의 화면 표시 방법의 일례를 나타내는 도면이다.
전술의 도 56에 나타내는 이미지 센서(10010a)를 구비하는 수신기는, 홀수 번째의 노광 라인(이하, 홀수 라인이라고 함)에 설정되는 노광 시간과, 짝수 번째의 노광 라인(이하, 짝수 라인이라고 함)에 설정되는 노광 시간을 소정의 시간마다로 바꾸어 넣는다. 예를 들면, 도 59에 나타내는 바와 같이, 수신기는, 시각 t1에서, 홀수 라인의 각 촬상 소자에 대해서 긴 노광 시간을 설정하고, 짝수 라인의 각 촬상 소자에 대해서 짧은 노광 시간을 설정하며, 그러한 설정된 노광 시간을 이용한 촬상을 행한다. 또한, 수신기는, 시각 t2에서, 홀수 라인의 각 촬상 소자에 대해서 짧은 노광 시간을 설정하고, 짝수 라인의 각 촬상 소자에 대해서 긴 노광 시간을 설정하며, 그러한 설정된 노광 시간을 이용한 촬상을 행한다. 그리고, 수신기는, 시각 t3에서, 시각 t1 일 때와 동일하게 설정된 각 노광 시간을 이용한 촬상을 행하고, 시각 t4에서 시각 t2 일 때와 동일하게 설정된 각 노광 시간을 이용한 촬상을 행한다.
또, 수신기는, 시각 t1에서는, 촬상에 의해서 복수의 홀수 라인의 각각으로부터 얻어지는 화상(이하, 홀수 라인상이라고 함)과, 촬상에 의해서 복수의 짝수 라인의 각각으로부터 얻어지는 화상(이하, 짝수 라인상이라고 함)을 포함하는 Image1을 취득한다. 이 때에는, 복수의 짝수 라인의 각각에서는 노광 시간이 짧기 때문에, 짝수 라인상의 각각에는 피사체가 선명하게 비추어지지 않는다. 따라서, 수신기는, 복수의 홀수 라인상에 대해서 화소값의 보간을 행하는 것에 의해서, 복수의 보간 라인상을 생성한다. 그리고, 수신기는, 복수의 짝수 라인상 대신에 복수의 보간 라인상을 포함하는 프리뷰 화상을 표시한다. 즉, 프리뷰 화상에는, 홀수 라인상과 보간 라인상이 교대로 배열되고 있다.
수신기는, 시각 t2에서는, 촬상에 의해서 복수의 홀수 라인상과 짝수 라인상을 포함하는 Image2를 취득한다. 이 때에는, 복수의 홀수 라인의 각각에서는, 노광 시간이 짧기 때문에, 홀수 라인상의 각각에는 피사체가 선명하게 비추어지지 않는다. 따라서, 수신기는, Image2의 홀수 라인상 대신에, Image1의 홀수 라인상을 포함하는 프리뷰 화상을 표시한다. 즉, 프리뷰 화상에는, Image1의 홀수 라인상과 Image2의 짝수 라인상이 교대로 배열되고 있다.
또한, 수신기는, 시각 t3에서는, 촬상에 의해서 복수의 홀수 라인상과 짝수 라인상을 포함하는 Image3를 취득한다. 이 때에는, 시각 t1일 때와 동일하게, 복수의 짝수 라인의 각각에서는 노광 시간이 짧기 때문에, 짝수 라인상의 각각에는 피사체가 선명하게 비추어지지 않는다. 따라서, 수신기는, Image3의 짝수 라인상 대신에, Image2의 짝수 라인상을 포함하는 프리뷰 화상을 표시한다. 즉, 프리뷰 화상에는, Image2의 짝수 라인상과 Image3의 홀수 라인상이 교대로 배열되고 있다. 그리고, 수신기는, 시각 t4에서는, 촬상에 의해서 복수의 홀수 라인상과 짝수 라인상을 포함하는 Image4를 취득한다. 이 때에는, 시각 t2일 때와 동일하게, 복수의 홀수 라인의 각각에서는, 노광 시간이 짧기 때문에, 홀수 라인상의 각각에는, 피사체가 선명하게 비추어지지 않는다. 따라서, 수신기는, Image4의 홀수 라인상 대신에, Image3의 홀수 라인상을 포함하는 프리뷰 화상을 표시한다. 즉, 프리뷰 화상에는, Image3의 홀수 라인상과 Image4의 짝수 라인상이 교대로 배열되고 있다.
이와 같이, 수신기는, 취득된 타이밍이 서로 상이한 짝수 라인상과 홀수 라인상을 포함하는 Image를 표시하는, 이른바 인터레이스 표시를 행한다.
이것과 같은 수신기는, 가시광 촬상을 행하면서 세밀한 프리뷰 화상을 표시할 수 있다. 또한, 동일한 노광 시간이 설정되는 복수의 촬상 소자는, 이미지 센서(10010a)와 같이 노광 라인에 수평인 방향을 따라서 배열되고 있는 복수의 촬상 소자라도 되고, 이미지 센서(10011a)와 같이 노광 라인에 수직인 방향을 따라서 배열되고 있는 복수의 촬상 소자라도 되며, 이미지 센서(10012a)와 같이 체크무늬에 따라서 배열되고 있는 복수의 촬상 소자라도 된다. 또, 수신기는, 프리뷰 화상을 촬상 데이터로서 보존해도 된다.
다음에, 통상 촬상과 가시광 촬상의 공간 비율에 대해 설명한다.
도 60은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
수신기에 구비되는 이미지 센서(10014b)에서는, 전술의 이미지 센서(10010a)와 동일하게, 노광 라인마다 긴 노광 시간 또는 짧은 노광 시간이 설정된다. 이 이미지 센서(10014b)에서는, 긴 노광 시간이 설정되는 촬상 소자의 수와 짧은 노광 시간이 설정되는 촬상 소자의 수와의 비는 1：1이다. 또한, 이 비는, 통상 촬상과 가시광 촬상과의 비로서, 이하, 공간 비율이라고 한다.
그러나, 본 실시의 형태에서는, 그 공간 비율은 1：1일 필요는 없다. 예를 들면, 수신기는, 이미지 센서(10014a)를 구비하고 있어도 된다. 이 이미지 센서(10014a)에서는, 짧은 노광 시간의 촬상 소자가, 긴 노광 시간의 촬상 소자보다 많고, 공간 비율은 1：N(N＞1)이다. 또, 수신기는, 이미지 센서(10014c)를 구비하고 있어도 된다. 이 이미지 센서(10014c)에서는, 짧은 노광 시간의 촬상 소자가, 긴 노광 시간의 촬상 소자보다 적고, 공간 비율은, N(N＞1)：1이다. 또, 수신기는, 이미지 센서(10014a~10014c) 대신에, 전술의 수직 라인마다 노광 시간이 설정되고 각각 1：N, 1：1, 또는 N：1 의 공간 비율을 가지는 이미지 센서(10015a~10015c) 중 어느 것을 구비해도 된다.
이러한 이미지 센서(10014a, 10015a)에서는, 짧은 노광 시간의 촬상 소자가 많기 때문에, 가시광 신호의 수신 정밀도 또는 수신 속도를 높일 수 있다. 한편, 이미지 센서(10014c, 10015c)에서는, 긴 노광 시간의 촬상 소자가 많기 때문에, 세밀한 프리뷰 화상을 표시할 수 있다.
또, 수신기는, 이미지 센서(10014a, 10014c, 10015a, 10015c)를 이용하여, 도 59에 나타내는 바와 같이, 인터레이스 표시를 행해도 된다.
다음에, 통상 촬상과 가시광 촬상의 시간 비율에 대해 설명한다.
도 61은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
수신기는, 도 61의 (a)에 나타내는 바와 같이, 촬상 모드를 1 프레임마다 통상 촬상 모드와 가시광 촬상 모드로 전환해도 된다. 통상 촬상 모드는, 수신기의 이미지 센서의 모든 촬상 소자에 대해서, 통상 촬상용의 긴 노광 시간이 설정되는 촬상 모드이다. 가시광 촬상 모드는, 수신기의 이미지 센서의 모든 촬상 소자에 대해서, 가시광 촬상용의 짧은 노광 시간이 설정되는 촬상 모드이다. 이와 같이, 노광 시간의 길고/짧음을 전환함으로써, 짧은 노광 시간으로의 촬상에 의해서 가시광 신호를 수신하면서, 긴 노광 시간으로의 촬상에 의해서 프리뷰 화상을 표시할 수 있다.
또한, 수신기는, 긴 노광 시간을 자동 노출에 의해서 결정하는 경우에는, 짧은 노광 시간으로의 촬상에 의해서 얻어진 화상을 무시하고, 긴 노광 시간으로의 촬상에 의해서 얻어진 화상의 밝기만을 기준으로 자동 노출을 행해도 된다. 이것에 의해, 긴 노광 시간을 적절한 시간으로 결정할 수 있다.
또, 수신기는, 도 61의 (b)에 나타내는 바와 같이, 촬상 모드를 복수 프레임세트마다 통상 촬상 모드와 가시광 촬상 모드로 전환해도 된다. 노광 시간의 전환에 시간이 걸리는 경우나, 노광 시간이 안정되기까지 시간이 걸리는 경우에는, 도 61의 (b)에 나타내는 바와 같이, 복수 프레임의 세트마다 노광 시간을 변화시킴으로써, 가시광 촬상(가시광 신호의 수신)과 통상 촬상을 양립시킬 수 있다. 또, 세트에 포함되는 프레임의 수가 많을수록 노광 시간의 전환의 횟수가 적어지기 때문에, 수신기에 있어서의 전력 소비, 및, 발열을 억제할 수 있다.
여기서, 통상 촬상 모드로의 긴 노광 시간의 촬상에 의해서 연속하여 생성되는 적어도 1개의 프레임의 수와, 가시광 촬상 모드로의 짧은 노광 시간의 촬상에 의해서 연속하여 생성되는 적어도 1개의 프레임의 수와의 비(이하, 시간 비율이라고 함)는, 1：1이 아니어도 된다. 즉, 도 61의 (a) 및 (b)에 나타내는 경우에서는, 시간 비율은 1：1이지만, 그 시간 비율은 1：1이 아니어도 된다.
예를 들면, 수신기는, 도 61의 (c)에 나타내는 바와 같이, 가시광 촬상 모드의 프레임을, 통상 촬상 모드의 프레임보다 많게 해도 된다. 이것에 의해, 가시광 신호의 수신 속도를 빠르게 할 수 있다. 프리뷰 화상의 프레임 레이트가 소정의 레이트 이상이면, 프레임 레이트에 의한 프리뷰 화상의 차이는 사람의 눈에는 인식되지 않는다. 촬상의 프레임 레이트가 충분히 높은 경우, 예를 들면, 그 프레임 레이트가 120fps인 경우에는, 수신기는, 연속하는 3 프레임에 대해서 가시광 촬상 모드를 설정하고, 계속되는 1프레임에 대해서 가시광 촬상 모드를 설정한다. 이것에 의해, 수신기는, 전술의 소정의 레이트보다도 충분히 높은 30fps의 프레임 레이트로 프리뷰 화상을 표시하면서, 고속으로 가시광 신호를 수신할 수 있다. 또, 전환의 횟수가 적어지기 때문에, 도 61의 (b)에서 설명한 효과도 얻어진다.
또, 수신기는, 도 61의 (d)에 나타내는 바와 같이, 통상 촬상 모드의 프레임을 가시광 촬상 모드의 프레임보다 많게 해도 된다. 이와 같이, 통상 촬상 모드의 프레임, 즉, 긴 노광 시간으로의 촬상에 의해서 얻어지는 프레임을 많게 함으로써, 프리뷰 화상을 매끄럽게 표시할 수 있다. 또, 가시광 신호의 수신 처리를 행하는 횟수가 줄어들기 때문에 전력 절약 효과가 있다. 또, 전환의 횟수가 적어지기 때문에, 도 61의 (b)에서 설명한 효과도 얻어진다.
또, 수신기는, 도 61의 (e)에 나타내는 바와 같이, 우선, 도 61의 (a)에 나타내는 경우와 동일하게, 1 프레임마다 촬상 모드를 전환하고, 계속해서, 가시광 신호의 수신이 완료되면, 도 61의 (d)에 나타내는 경우와 동일하게, 통상 촬상 모드의 프레임을 많게 해도 된다. 이것에 의해, 가시광 신호의 수신 완료 후에는, 프리뷰 화상을 매끄럽게 표시하면서, 새로운 가시광 신호가 존재하지 않는지의 탐색을 계속할 수 있다. 또, 전환의 횟수가 적어지기 때문에, 도 61의 (b)에서 설명한 효과도 얻어진다.
도 62는, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 플로우 차트이다.
수신기는, 가시광 신호를 수신하는 처리인 가시광 수신을 개시하고(단계 S10017a), 노광 시간 장단 설정비를, 사용자가 지정한 값으로 설정한다(단계 S10017b). 노광 시간 장단 설정비는, 전술의 공간 비율과 시간 비율 중 적어도 1개이다. 사용자는, 공간 비율만, 시간 비율만, 또는, 그 공간 비율 및 시간 비율의 쌍방의 값을 지정해도 되고, 수신기가 사용자에 의한 지정에 상관없이 자동으로 설정해도 된다.
다음에, 수신기는, 수신 성능이 소정의 값 이하인지 아닌지를 판정한다(단계 S10017c). 소정의 값 이하라고 판정하면(단계 S10017c의 Y), 수신기는, 짧은 노광 시간의 비율을 높게 설정한다(단계 S10017d). 이것에 의해, 수신 성능을 높일 수 있다. 또한, 짧은 노광 시간의 비율은, 공간 비율의 경우, 긴 노광 시간이 설정되는 촬상 소자의 수에 대한, 짧은 노광 시간이 설정되는 촬상 소자의 수의 비율이며, 시간 비율의 경우, 통상 촬상 모드로 연속하여 생성되는 프레임의 수에 대한, 가시광 촬상 모드로 연속하여 생성되는 프레임의 수의 비율이다.
다음에, 수신기는, 가시광 신호의 적어도 일부를 수신하고, 그 수신된 가시광 신호의 적어도 일부(이하, 수신 신호라고 함)에 우선도가 설정되어 있는지 아닌지를 판정한다(단계 S10017e). 또한, 우선도가 설정되어 있는 경우에는, 우선도를 나타내는 식별자가 수신 신호에 포함되어 있다. 수신기는, 우선도가 설정되어 있다고 판정하면(단계 S10017e의 Y), 그 우선도에 따라서 노광 시간 장단비를 설정한다(단계 S10017f). 즉, 우선도가 높으면, 수신기는, 짧은 노광 시간의 비율을 높게 설정한다. 예를 들면, 송신기로서 구성된 비상등이 휘도 변화하는 것에 의해서, 높은 우선도를 나타내는 식별자를 발하고 있다. 이 경우, 수신기는, 짧은 노광 시간의 비율을 높게 함으로써, 수신 속도를 올려 신속하게 피난 경로 등을 표시할 수 있다.
다음에, 수신기는, 가시광 신호의 모든 수신이 완료했는지 아닌지를 판정한다(단계 S10017g). 여기서, 완료하고 있지 않다고 판정했을 때에는(단계 S10017g의 N), 수신기는 단계 S10017c로부터의 처리를 반복하여 실행한다. 한편, 완료했다고 판정했을 때에는(단계 S10017g의 Y), 수신기는, 긴 노광 시간의 비율을 높게 설정하고, 전력 절약 모드로 이행한다(단계 S10017h). 또한, 긴 노광 시간의 비율은, 공간 비율의 경우, 짧은 노광 시간이 설정되는 촬상 소자의 수에 대한, 긴 노광 시간이 설정되는 촬상 소자의 수의 비율이며, 시간 비율의 경우, 가시광 촬상 모드로 연속하여 생성되는 프레임의 수에 대한, 통상 촬상 모드로 연속하여 생성되는 프레임의 수의 비율이다. 이것에 의해, 불필요한 가시광 수신을 행하지 않고, 프리뷰 화상을 매끄럽게 표시할 수 있다.
다음에, 수신기는, 다른 가시광 신호를 발견했는지 아닌지를 판정한다(단계 S10017i). 여기서, 발견했다고 판정했을 때에는(단계 S10017 i의 Y), 수신기는, 단계 S10017b로부터의 처리를 반복하여 실행한다.
다음에, 가시광 촬상과 통상 촬상과의 동시 실행에 대해 설명한다.
도 63은, 실시의 형태 9에 있어서의 신호 수신 방법의 일례를 나타내는 도면이다.
수신기는, 이미지 센서에 2이상의 노광 시간을 설정해도 된다. 즉, 도 63의 (a)에 나타내는 바와 같이, 이미지 센서에 포함되는 노광 라인의 각각은, 설정된 2이상의 노광 시간 가운데, 가장 긴 노광 시간만 연속하여 노광된다. 수신기는, 노광 라인마다, 전술의 설정된 2이상의 노광 시간이 각각 경과한 시점에서, 그 노광 라인의 노광에 의해서 얻어진 촬상 데이터를 독출한다. 여기서, 수신기는, 가장 긴 노광 시간이 경과하기 까지는, 독출된 촬상 데이터를 리셋하지 않는다. 따라서, 수신기는, 독출된 촬상 데이터의 누적값을 기록해 둠으로써, 가장 긴 노광 시간의 노광만으로, 복수의 노광 시간으로의 촬상 데이터를 얻을 수 있다. 또한, 이미지 센서는, 촬상 데이터의 누적값의 기록을 행해도 되고, 행하지 않아도 된다. 이미지 센서가 행하지 않는 경우에는, 이미지 센서로부터 데이터를 독출하는 수신기의 구성 요소가, 누적의 계산, 즉 촬상 데이터의 누적값의 기록을 행한다.
노광 시간이 2개 설정되어 있는 경우에는, 도 63의 (a)에 나타내는 바와 같이, 수신기는, 짧은 노광 시간의 노광에 의해서 생성된, 가시광 신호를 포함하는 가시광 촬상 데이터를 독출하고, 계속해서 긴 노광 시간의 노광에 의해서 생성된 통상 촬상 데이터를 독출한다.
이것에 의해, 가시광 신호를 수신하기 위한 촬상인 가시광 촬상과 통상 촬상을 동시에 행할 수 있고, 가시광 신호를 수신하면서 통상의 촬상을 행할 수 있다. 또, 복수의 노광 시간의 데이터를 이용함으로써, 샘플링 정리 이상의 신호 주파수를 인식할 수 있고, 고주파 신호나 고밀도 변조 신호의 수신을 행할 수 있다.
또한, 수신기는, 촬상 데이터를 출력할 때, 도 63(b)에 나타내는 바와 같이, 그 촬상 데이터를 촬상 데이터 보디로서 포함하는 데이터열을 출력한다. 즉, 수신기는, 촬상 모드(가시광 촬상 또는 통상 촬상)를 나타내는 촬상 모드 식별자와, 촬상 소자 또는 촬상 소자가 속하는 노광 라인을 특정하기 위한 촬상 소자 식별자와, 촬상 데이터 보디가 몇 번째의 노광 시간의 촬상 데이터인지를 나타내는 촬상 데이터 번호와, 촬상 데이터 보디의 사이즈를 나타내는 촬상 데이터 길이를 포함하는 부가 정보를, 촬상 데이터 보디에 부가하는 것에 의해서, 전술의 데이터열을 생성하여 출력한다. 도 63의 (a)를 이용해 설명한 촬상 데이터의 독출 방법에서는, 각각의 촬상 데이터가 노광 라인의 차례로 출력된다고는 할 수 없다. 따라서, 도 63의 (b)에 나타내는 부가 정보를 부가함으로써, 촬상 데이터가 어느 노광 라인의 촬상 데이터인지를 특정할 수 있다.
도 64는, 실시의 형태 9에 있어서의 수신 프로그램의 처리를 나타내는 플로우 차트이다.
이 수신 프로그램은, 수신기에 구비된 컴퓨터에 예를 들면 도 56 ~도 63에 나타내는 처리를 실행시키는 프로그램이다.
즉, 이 수신 프로그램은, 휘도 변화하는 발광체로부터, 정보를 수신하기 위한 수신 프로그램이다. 구체적으로는, 이 수신 프로그램은, 단계 SA31, 단계 SA32 및 단계 SA33를 컴퓨터에 실행시킨다. 단계 SA31에서는, 이미지 센서에 포함되는 K개(K는 4이상의 정수)의 촬상 소자 중 일부의 복수의 촬상 소자에 대해서 제1 노광 시간을 설정하고, K개의 촬상 소자 중 나머지의 복수의 촬상 소자에 대해서, 제1 노광 시간보다 짧은 제2 노광 시간을 설정한다. 단계 SA32에서는, 휘도 변화하는 발광체인 피사체를, 설정된 제1 및 제2 노광 시간에 이미지 센서에 촬상시키는 것에 의해서, 제1 노광 시간이 설정된 복수의 촬상 소자로부터의 출력에 따른 통상 화상을 취득함과 함께, 제2 노광 시간이 설정된 복수의 촬상 소자로부터의 출력에 따른 화상으로서, 이미지 센서에 포함되는 복수의 노광 라인의 각각에 대응하는 휘선을 포함하는 화상인 휘선 화상을 취득한다. 단계 SA33에서는, 취득된 휘선 화상에 포함되는 복수의 휘선의 패턴을 복호함으로써 정보를 취득한다.
이것에 의해, 제1 노광 시간이 설정되는 복수의 촬상 소자와, 제2 노광 시간이 설정되는 복수의 촬상 소자에 의해서 촬상이 행해지기 때문에, 이미지 센서에 의한 1회의 촬상으로, 통상 화상과 휘선 화상을 취득할 수 있다. 즉, 통상 화상의 촬상과, 가시광 통신에 의한 정보의 취득을 동시에 행할 수 있다.
또, 노광 시간 설정 단계 SA31에서는, 이미지 센서에 포함되는 L개(L은 4이상의 정수)의 촬상 소자열 중 일부의 복수의 촬상 소자열에 대해서, 제1 노광 시간을 설정하고, L개의 촬상 소자열 중 나머지의 복수의 촬상 소자열에 대해서, 제2 노광 시간을 설정한다. 여기서, L개의 촬상 소자열의 각각은, 이미지 센서에 포함되는, 일렬로 배열된 복수의 촬상 소자로 이루어진다.
이것에 의해, 작은 단위인 촬상 소자의 각각에 대해 개별적으로 노광 시간을 설정하지 않고, 큰 단위인 촬상 소자열마다 노광 시간을 설정할 수 있고, 처리 부담을 경감할 수 있다.
예를 들면, L개의 촬상 소자열의 각각은, 도 56에 나타내는 바와 같이, 이미지 센서에 포함되는 노광 라인이다. 또는, L개의 촬상 소자열의 각각은, 도 57에 나타내는 바와 같이, 이미지 센서에 포함되는 노광 라인에 수직인 방향을 따라서 배열된 복수의 촬상 소자로 이루어진다.
또, 도 59에 나타내는 바와 같이,노광 시간 설정 단계 SA31에서는, 이미지 센서에 포함되는 L개의 촬상 소자열 중 홀수 번째에 있는 촬상 소자열의 각각에 대해 동일한 노광 시간인, 제1 및 제2 노광 시간 중 한쪽을 설정하고, L개의 촬상 소자열 중 짝수 번째에 있는 촬상 소자열의 각각에 대해 동일한 노광 시간인, 제1 및 제2 노광 시간 중 다른쪽을 설정해도 된다. 그리고, 노광 시간 설정 단계 SA31, 화상 취득 단계 SA32 및 정보 취득 단계 SA33를 반복하는 경우, 반복되는 노광 시간 설정 단계 SA31에서는, 직전의 노광 시간 설정 단계 SA31에서, 홀수 번째의 촬상 소자열의 각각에 설정되어 있던 노광 시간과, 짝수 번째의 촬상 소자열의 각각에 설정되어 있던 노광 시간을 바꿔 넣어도 된다.
이것에 의해, 통상 화상의 취득이 행해질 때마다, 그 취득에 이용되는 복수의 촬상 소자열을, 홀수 번째의 복수의 촬상 소자열과, 짝수 번째의 복수의 촬상 소자열로 전환할 수 있다. 그 결과, 차례차례 취득되는 통상 화상의 각각을 인터레이스에 의해서 표시할 수 있다. 또, 연속해 취득된 2개의 통상 화상을 서로 보완하는 것에 의해서, 홀수 번째의 복수의 촬상 소자열에 의한 화상과, 짝수 번째의 복수의 촬상 소자열에 의한 화상과 포함한 새로운 통상 화상을 생성할 수 있다.
또, 도 60에 나타내는 바와 같이, 노광 시간 설정 단계 SA31에서는, 설정 모드를 통상 우선 모드와 가시광 우선 모드로 전환하고, 통상 우선 모드로 전환되는 경우에는, 제1 노광 시간이 설정되는 촬상 소자의 수를, 제2 노광 시간이 설정되는 촬상 소자의 수보다 많게 해도 된다. 또, 가시광 우선 모드로 전환되는 경우에는, 제1 노광 시간이 설정되는 촬상 소자의 수를, 제2 노광 시간이 설정되는 촬상 소자의 수보다 적게 해도 된다.
이것에 의해, 설정 모드가 통상 우선 모드로 전환된 경우에는, 통상 화상의 화질을 향상할 수 있고, 가시광 우선 모드로 전환된 경우에는, 발광체로부터의 정보의 수신 효율을 향상할 수 있다.
또, 도 58에 나타내는 바와 같이, 노광 시간 설정 단계 SA31에서는, 제1 노광 시간이 설정되는 복수의 촬상 소자와, 제2 노광 시간이 설정되는 복수의 촬상 소자가, 체크무늬(Checkered pattern)와 같이 분포하도록 이미지 센서에 포함되는 촬상 소자마다, 그 촬상 소자의 노광 시간을 설정해도 된다.
이것에 의해, 제1 노광 시간이 설정되는 복수의 촬상 소자와 제2 노광 시간이 설정되는 복수의 촬상 소자가 각각 균일하게 분포하기 때문에, 수평 방향 및 수직 방향으로 화질의 편향이 없는 통상 화상 및 휘선 화상을 취득할 수 있다.
도 65는, 실시의 형태 9에 있어서의 수신 장치의 블럭도이다.
이 수신 장치(A30)는, 예를 들면 도 56~도 63에 나타내는 처리를 실행하는 전술의 수신기이다.
즉, 이 수신 장치(A30)는, 휘도 변화하는 발광체로부터 정보를 수신하는 수신 장치로서, 복수 노광 시간 설정부(A31)와, 촬상부(A32)와, 복호부(A33)를 구비한다. 복수 노광 시간 설정부(A31)는, 이미지 센서에 포함되는 K개(K는 4이상의 정수)의 촬상 소자 중 일부의 복수의 촬상 소자에 대해서 제1 노광 시간을 설정하고, K개의 촬상 소자 중 나머지의 복수의 촬상 소자에 대해서, 제1 노광 시간보다 짧은 제2 노광 시간을 설정한다. 촬상부(A32)는, 휘도 변화하는 발광체인 피사체를, 설정된 제1 및 제2 노광 시간으로 이미지 센서에 촬상시키는 것에 의해서, 제1 노광 시간이 설정된 복수의 촬상 소자로부터의 출력에 따른 통상 화상을 취득함과 함께, 제2 노광 시간이 설정된 복수의 촬상 소자로부터의 출력에 따른 화상으로서, 이미지 센서에 포함되는 복수의 노광 라인의 각각에 대응하는 휘선을 포함하는 화상인 휘선 화상을 취득한다. 복호부(A33)는, 취득된 휘선 화상에 포함되는 복수의 휘선의 패턴을 복호함으로써 정보를 취득한다. 이러한 수신 장치(A30)에서는, 전술의 수신 프로그램과 동일한 효과를 나타낼 수 있다.
다음에, 수신된 가시광 신호에 관한 내용의 표시에 대해 설명한다.
도 66 및 도 67은, 가시광 신호를 수신했을 때의 수신기의 표시의 일례를 나타내는 도면이다.
도 66의 (a)에 나타내는 바와 같이, 수신기는, 송신기(10020d)를 촬상하면, 그 송신기(10020d)가 비추어진 화상(10020a)을 표시한다. 또한, 수신기는, 화상(10020a)에 오브젝트(10020e)를 중첩하는 것에 의해서, 화상(10020b)을 생성하여 표시한다. 오브젝트(10020e)는, 그 송신기(10020d)의 상이 있는 장소와, 그 송신기(10020d)로부터의 가시광 신호를 수신하고 있는 것을 나타내는 화상이다. 오브젝트(10020e)는, 가시광 신호의 수신 상태(수신 중 상태, 송신기를 탐색하고 있는 상태, 수신의 진행의 정도, 수신 속도, 또는 에러율 등)에 따라서 상이한 화상이어도 된다. 예를 들면, 수신기는, 오브젝트(1020e)의 색, 선의 굵기, 선의 종류(단선, 2중선, 또는 점선 등), 또는 점선의 간격 등을 변화시킨다. 이것에 의해, 사용자에게 수신 상태를 인식시킬 수 있다. 다음에, 수신기는, 취득 데이터의 내용을 나타내는 화상을 취득 데이터 화상(10020f)으로서 화상(10020a)에 중첩하는 것에 의해서, 화상(10020c)을 생성하여 표시한다. 취득 데이터는, 수신한 가시광 신호, 또는, 수신한 가시광 신호에 의해서 나타나는 ID에 관련시켜진 데이터이다.
수신기는, 이 취득 데이터 화상(10020f)을 표시할 때, 도 66의 (a)에 나타내는 바와 같이, 송신기(10020d)로부터의 불어냄과 같이 취득 데이터 화상(10020f)을 표시하거나, 송신기(10020d)의 근처에 취득 데이터 화상(10020f)을 표시한다. 또, 수신기는, 도 66의 (b)에 나타내는 바와 같이, 취득 데이터 화상(10020f)이 송신기(10020d)로부터 수신기측에 서서히 가까워지도록 그 취득 데이터 화상(10020f)을 표시해도 된다. 이것에 의해, 취득 데이터 화상(10020f)이, 어느 송신기로부터 수신된 가시광 신호에 근거하는 것인지를, 사용자에게 인식시킬 수 있다. 또, 수신기는, 도 67에 나타내는 바와 같이, 취득 데이터 화상(10020f)이 수신기의 디스플레이의 끝으로부터 서서히 나오도록 그 취득 데이터 화상(10020f)을 표시해도 된다. 이것에 의해, 그 때에 가시광 신호를 취득했다고 하는 것을 사용자에게 알기 쉽게 인식시킬 수 있다.
다음에, AR(Augmented Reality)에 대해 설명한다.
도 68은, 취득 데이터 화상(10020f)의 표시의 일례를 나타내는 도면이다.
수신기는, 디스플레이 내에서 송신기의 상이 이동한 경우에는, 취득 데이터 화상(10020f)을 송신기의 상의 이동에 맞추어 이동시킨다. 이것에 의해, 취득 데이터 화상(10020f)이 그 송신기에 대응하고 있는 것을 사용자에게 인식시킬 수 있다. 또, 수신기는, 취득 데이터 화상(10020f)을 그 송신기의 상은 아니고 다른 것에 대응시켜 표시해도 된다. 이것에 의해, AR 표시를 행할 수 있다.
다음에, 취득 데이터의 보존 및 파기에 대해 설명한다.
도 69는, 취득 데이터를 보존하거나, 또는, 파기하는 경우의 조작의 일례를 나타내는 도면이다.
예를 들면, 수신기는, 도 69의 (a)에 나타내는 바와 같이, 취득 데이터 화상(10020f)에 대해서, 하측으로의 스와이프가 사용자에 의해서 행해지면, 그 취득 데이터 화상(10020f)에 의해서 나타나는 취득 데이터를 보존한다. 수신기는, 보존한 취득 데이터를 나타내는 취득 데이터 화상(10020f)을, 다른 이미 보존되고 있는 1개 또는 복수의 취득 데이터를 나타내는 취득 데이터 화상의 가장 끝에 배치시킨다. 이것에 의해, 취득 데이터 화상(10020f)에 의해서 나타나는 취득 데이터가 마지막에 보존된 취득 데이터인 것을, 사용자에게 인식시킬 수 있다. 예를 들면, 수신기는, 도 69의 (a)에 나타내는 바와 같이, 복수의 취득 데이터 화상 중에서 가장 바로 앞에 취득 데이터 화상(10020f)을 배치한다.
또, 수신기는, 도 69의 (b)에 나타내는 바와 같이, 취득 데이터 화상(10020f)에 대해서, 우측으로의 스와이프가 사용자에 의해서 행해지면, 그 취득 데이터 화상(10020f)에 의해서 나타나는 취득 데이터를 파기한다. 또는, 수신기는, 사용자가 수신기를 이동시키는 것에 의해서 송신기의 상이 디스플레이로부터 프레임 아웃하면, 취득 데이터 화상(10020f)에 의해서 나타나는 취득 데이터를 파기해도 된다. 또한, 스와이프하는 방향은, 상하 좌우의 어디에서라도, 전술과 동일한 효과가 얻어진다. 수신기는, 보존 또는 파기에 대응한 스와이프의 방향을 표시해도 된다. 이것에 의해, 그 조작에 의해서 보존 또는 파기를 할 수 있는 것을 사용자에게 인식시킬 수 있다.
다음에, 취득 데이터의 열람에 대해 설명한다.
도 70은, 취득 데이터를 열람할 때의 표시예를 나타내는 도면이다.
수신기는, 도 70의 (a)에 나타내는 바와 같이, 보존되어 있는 복수의 취득 데이터의 취득 데이터 화상을, 디스플레이의 하단에 겹쳐서 작게 표시하고 있다. 이 때에, 사용자가 표시되고 있는 취득 데이터 화상의 일부를 탭하면, 수신기는, 도 70의 (b)에 나타내는 바와 같이, 복수의 취득 데이터 화상의 각각을 크게 표시한다. 이것에 의해, 각 취득 데이터의 열람이 필요한 때에만, 그러한 취득 데이터 화상을 크게 표시하고, 불필요한 때에는, 다른 표시를 위해서 디스플레이를 유효하게 이용할 수 있다.
도 70의 (b)에 나타내는 상태로, 사용자가 표시하고 싶은 취득 데이터 화상을 탭 하면, 수신기는, 도 70의 (c)에 나타내는 바와 같이, 그 탭된 취득 데이터 화상을 더욱 크게 표시하고, 그 취득 데이터 화상 중에서 많은 정보를 표시한다. 또, 이면 표시 버튼(10024a)을 사용자가 탭하면, 수신기는, 취득 데이터 화상의 이면을 표시하고, 그 취득 데이터에 관련하는 다른 데이터를 표시한다. .
다음에, 자기 위치 추정시의 손떨림 보정을 오프로 하는 것에 대하여 설명한다.
수신기는, 손떨림 보정을 무효(오프)로 하거나, 또는, 손떨림 보정의 보정 방향과 보정량에 대응해 촬상 화상을 변환함으로써, 정확한 촬상 방향을 취득하고, 정확하게 자기 위치 추정을 행할 수 있다. 또한, 촬상 화상은, 수신기의 촬상부에 의한 촬상에 의해서 얻어지는 화상이다. 또, 자기 위치 추정은, 수신기가 스스로의 위치를 추정하는 것이다. 자기 위치 추정에서는, 구체적으로는, 수신기는, 수신된 가시광 신호에 근거해 송신기의 위치를 특정하고, 촬상 화상에 비치는 송신기의 크기, 위치 또는 형상 등에 근거하여, 수신기와 송신기와의 사이의 상대적인 위치 관계를 특정한다. 그리고, 수신기는, 송신기의 위치와, 수신기와 송신기와의 사이의 상대적인 위치 관계에 근거하여 수신기의 위치를 추정한다.
또, 도 56 등에 나타내는, 일부의 노광 라인만을 이용하여 촬상을 행하는 부분 독출 시에는, 즉, 도 56 등에 나타내는 촬상이 행해질 때에는, 수신기의 조금의 흔들림으로 송신기가 프레임 아웃해 버린다. 이러한 경우, 수신기는, 손떨림 보정을 유효하게 함으로써 계속해서 신호를 수신할 수 있다.
다음에, 비대칭형의 발광부를 이용한 자기 위치 추정에 대해 설명한다.
도 71은, 실시의 형태 9에 있어서의 송신기의 일례를 나타내는 도면이다.
전술의 송신기는 발광부를 구비하고, 그 발광부를 휘도 변화시키는 것에 의해서 가시광 신호를 송신한다. 전술의 자기 위치 추정에서는, 수신기는, 촬상 화상 중의 송신기(구체적으로는 발광부)의 형상에 근거하여, 수신기와 송신기와의 사이의 상대적인 위치 관계로서, 수신기와 송신기와의 사이의 상대 각도를 구한다. 여기에서, 예를 들면 도 71에 나타내는 바와 같이, 송신기가 회전 대칭의 형상인 발광부(10090a)를 구비하고 있는 경우에는, 전술한 바와 같이, 촬상 화상 중의 송신기의 형상에 근거하여, 송신기와 수신기와의 사이의 상대 각도를 정확하게 구할 수 없다. 따라서, 송신기는, 회전 대칭이 아닌 형상의 발광부를 구비하고 있는 것이 바람직하다. 이것에 의해, 수신기는 전술의 상대 각도를 정확하게 구할 수 있다. 즉, 각도를 취득하기 위한 방위 센서에서는 계측 결과의 오차가 크기 때문에, 수신기는, 전술의 방법으로 구한 상대 각도를 이용함으로써, 정확한 자기 위치 추정을 행할 수 있다.
여기서, 송신기는, 도 71에 나타내는 바와 같이, 완전한 회전 대칭의 형상이 아닌 발광부(10090b)를 구비하고 있어도 된다. 이 발광부(10090b)의 형상은, 90°의 회전에 대해서는 대칭형이긴 하지만, 완전한 회전 대칭은 아니다. 이 경우는, 수신기는, 대략의 각도를 방위 센서로 구하고, 다시 촬상 화상 중의 송신기의 형상을 이용함으로써, 수신기와 송신기와의 사이의 상대 각도를 한결같이 한정할 수 있어 정확한 자기 위치 추정을 행할 수 있다.
또, 송신기는, 도 71에 나타내는 발광부(10090c)를 구비하고 있어도 된다. 이 발광부(10090c)의 형상은, 기본적으로는 회전 대칭의 형상이다. 그러나, 그 발광부(10090c)의 일부분에 도광판 등이 설치되어 있음으로써, 발광부(10090c)의 형상은, 회전 대칭이 아닌 형상으로 되고 있다.
또, 송신기는, 도 71에 나타내는 발광부(10090d)를 구비하고 있어도 된다. 이 발광부(10090d)는, 각각 회전 대칭의 형상의 조명을 구비하고 있다. 그러나, 그들을 조합하여 배치되는 것에 의해서 구성되는 발광부(10090d)의 전체의 형상은, 회전 대칭의 형상은 아니다. 따라서, 수신기는, 그 송신기를 촬상함으로써, 정확한 자기 위치 추정을 행할 수 있다. 또, 발광부(10090d)에 포함되는 모든 조명이, 가시광 신호를 송신하기 위해서 휘도 변화하는 가시광 통신용의 조명일 필요는 없고, 일부의 조명만이 가시광 통신용의 조명이어도 된다.
또, 송신기는, 도 71에 나타내는 발광부(10090e) 및 물체(10090f)를 구비해도 된다. 여기서, 물체(10090f)는, 발광부(10090e)와의 사이의 위치 관계가 변화하지 않도록 구성되어 있는 물체(예를 들면, 화재 경보기나 배관 등)이다. 발광부(10090e)와 물체(10090f)와의 조합의 형상은 회전 대칭의 형상은 아니기 때문에, 수신기는, 발광부(10090e)와 물체(10090f)가 촬상함으로써, 정확하게 자기 위치 추정을 행할 수 있다.
다음에, 자기 위치 추정의 시계열 처리에 대해 설명한다.
수신기는, 촬상할 때마다, 촬상 화상 중인 송신기의 위치와 형상으로부터, 자기 위치 추정을 행할 수 있다. 그 결과, 수신기는, 촬상 중인 수신기의 이동 방향과 거리를 추정할 수 있다. 또, 수신기는, 복수의 프레임 또는 화상을 이용한 삼각측량을 행함으로써, 보다 정확한 자기 위치 추정을 행할 수 있다. 복수의 화상을 이용한 추정 결과나, 상이한 조합의 복수의 화상을 이용한 추정 결과를 종합함으로써, 수신기는, 보다 정확하게 자기 위치 추정을 행할 수 있다. 이 때, 수신기는, 최근의 촬상 화상으로부터 추정한 결과를 중요시하여 종합함으로써, 보다 정확하게 자기 위치 추정을 행할 수 있다.
다음에, 옵티컬 블랙의 건너뛰어 읽기에 대해서 설명한다.
도 72는, 실시의 형태 9에 있어서의 수신 방법의 일례를 나타내는 도면이다. 또한, 도 72에 나타내는 그래프의 횡축은, 시각을 나타내고, 종축은, 이미지 센서내의 각 노광 라인의 위치를 나타낸다. 또한, 그 그래프의 실선 화살표는, 이미지 센서 내의 각 노광 라인의 노광이 개시되는 시각(노광 타이밍)을 나타낸다.
수신기는, 통상 촬상시에는, 도 72의 (a)에 나타내는 바와 같이, 이미지 센서에 있어서의 수평 옵티컬 블랙의 신호를 독출하지만, 도 72의 (b)에 나타내는 바와 같이, 수평 옵티컬 블랙의 신호를 건너뛰고 읽어도 된다. 이것에 의해, 연속적인 가시광 신호를 수신할 수 있다.
수평 옵티컬 블랙은, 노광 라인에 수평 방향의 옵티컬 블랙이다. 또, 수직 옵티컬 블랙은, 옵티컬 블랙 중 수평 옵티컬 블랙 이외의 부분이다.
수신기는, 옵티컬 블랙으로부터 독출되는 신호에 의해서 흑레벨의 조정을 행하기 때문에, 가시광 촬상 개시 시에는 통상 촬상 시와 동일하게 옵티컬 블랙을 이용하여 흑레벨을 조정할 수 있다. 수직 옵티컬 블랙을 이용할 수 있는 경우는, 수신기는, 수직 옵티컬 블랙만을 이용해 흑레벨 조정을 행한다고 함으로써, 연속 수신과 흑레벨 조정이 가능하다. 가시광 촬상 계속 시에는, 수신기는, 소정의 시간마다 수평 옵티컬 블랙을 이용해 흑레벨을 조정해도 된다. 수신기는, 통상 촬상과 가시광 촬상을 교대로 행하는 경우에 있어서, 가시광 촬상을 연속하여 행할 때에는, 수평 옵티컬 블랙의 신호를 건너뛰고 읽고, 그 이외일 때에는, 수평 옵티컬 블랙의 신호를 독출한다. 그리고, 수신기는, 그 돌출된 신호에 근거해 흑레벨의 조정을 행함으로써, 연속적으로 가시광 신호를 수신하면서 흑레벨의 조정을 행할 수 있다. 수신기는, 가시광 촬상 화상의 가장 어두운 부분을 흑으로 하여 흑레벨의 조정을 행한다고 해도 된다.
이와 같이, 신호가 독출되는 옵티컬 블랙을 수직 옵티컬 블랙만으로 함으로써, 연속적인 가시광 신호의 수신이 가능하다. 또, 수평 옵티컬 블랙의 신호를 건너뛰어 읽는 모드를 구비함으로써, 통상 촬상 시에는 흑레벨 조정을 행하고, 가시광 촬상 시에는 필요에 따라서 연속 통신을 행할 수 있다. 또, 수평 옵티컬 블랙의 신호를 건너뛰어 읽음으로써, 노광 라인의 노광을 개시하는 타이밍의 차이가 커지기 때문에, 작게밖에 비치지 않은 송신기로부터의 가시광 신호도 수신할 수 있다.
다음에, 송신기의 종류를 나타내는 식별자에 대해 설명한다.
송신기는, 송신기의 종류를 나타내는 송신기 식별자를 가시광 신호에 부가해 송신해도 된다. 이 경우, 수신기는, 송신기 식별자를 수신한 시점에서, 그 송신기의 종류에 따른 수신 동작을 행할 수 있다. 예를 들면, 송신기 식별자가 디지털 사이니지를 나타내는 경우는, 송신기는, 송신기의 개체 식별을 행하기 위한 송신기 ID 외에, 현재 어느 컨텐츠를 표시하고 있는지를 나타내는 컨텐츠 ID를 가시광 신호로서 송신하고 있다. 수신기는, 송신기 식별자에 근거하여, 이러한 ID를 나누어 취급함으로써 송신기가 현재 표시하고 있는 컨텐츠에 맞춘 정보를 표시할 수 있다. 또, 예를 들면, 송신기 식별자가 디지털 사이니지나 비상등을 나타내는 경우는, 수신기는, 감도를 높여 촬상함으로써 수신 에러를 저감할 수 있다.
(실시의 형태 10)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
여기서, 동일한 어드레스의 데이터부를 비교하는 수신 방법에 대해 설명한다.
도 73은, 본 실시의 형태에 있어서의 수신 방법의 일례를 나타내는 플로우 차트이다.
수신기는, 패킷을 수신하고(단계 S10101), 오류 정정을 행한다(단계 S10102). 그리고, 수신기는, 수신한 패킷의 어드레스와 동일한 어드레스의 패킷을 이미 수신하고 있는지 아닌지를 판정한다(단계 S10103). 여기서, 수신하고 있다고 판정한 경우는(단계 10103의 Y), 수신기는, 그러한 데이터를 비교한다. 즉, 수신기는, 데이터부가 동일한지 아닌지를 판정한다(단계 S10104). 여기서, 동일하지 않다고 판정한 경우(단계 S10104의 N), 수신기는, 다시, 복수의 데이터부에 있어서의 차이가 소정의 수 이상인지, 구체적으로는, 상이한 비트의 수, 또는, 휘도 상태가 상이한 슬롯의 수가 소정의 수 이상인지 아닌지를 판정한다(단계 S10105). 여기서, 소정의 수 이상이라고 판정하면(단계 S10105의 N), 수신기는, 이미 수신하고 있던 패킷을 파기한다(단계 S10106). 이것에 의해, 별도의 송신기로부터 패킷을 수신하기 시작했을 때에, 이전의 송신기로부터 수신한 패킷과의 혼신을 피할 수가 있다. 한편, 소정의 수 이상은 아니라고 판정하면(단계 S10105의 N), 수신기는, 동일한 데이터부를 가지는 패킷이 가장 많은 데이터부의 데이터를 그 어드레스의 데이터로 한다(단계 S10107). 또는, 수신기는, 동일한 비트의 가장 많은 비트를, 그 어드레스의 그 비트의 값으로 한다. 또는, 수신기는, 동일한 휘도 상태가 가장 많은 휘도 상태를 그 어드레스의 그 슬롯의 휘도 상태로 하고, 그 어드레스의 데이터를 복조한다.
이와 같이, 본 실시의 형태에서는, 수신기는, 우선, 복수의 휘선의 패턴으로부터, 데이터부 및 어드레스부를 포함하는 제1 패킷을 취득한다. 다음에, 수신기는, 제1 패킷보다 전에 이미 취득되고 있는 적어도 1개의 패킷 가운데, 그 제1 패킷의 어드레스부와 동일한 어드레스부를 포함하는 패킷인 적어도 1개의 제2 패킷이 존재하는지 아닌지를 판정한다. 다음에, 수신기는, 그 적어도 1개의 제2 패킷이 존재한다고 판정한 경우에는, 그 적어도 1개의 제2 패킷과 제1 패킷의 각각의 데이터부가 모두 동일한지 아닌지를 판정한다. 각각의 데이터부가 모두 동일하지 않다고 판정한 경우에는, 수신기는, 그 적어도 1개의 제2 패킷의 각각에 있어서, 제2 패킷의 데이터부에 포함되는 각 부분 가운데, 제1 패킷의 데이터부에 포함되는 각 부분과 상이한 부분의 수가, 소정의 수 이상 존재하는지 아닌지를 판정한다. 여기서, 수신기는, 그 적어도 1개의 제2 패킷 가운데, 상이한 부분의 수가 소정의 수 이상 존재한다고 판정된 제2 패킷이 있는 경우에는, 그 적어도 1개의 제2 패킷을 파기한다. 한편, 그 적어도 1개의 제2 패킷 가운데, 상이한 부분의 수가 소정의 수 이상 존재한다고 판정된 제2 패킷이 없는 경우에는, 수신기는, 제1 패킷 및 적어도 1개의 제2 패킷 가운데, 동일한 데이터부를 가지는 패킷의 수가 가장 많은 복수의 패킷을 특정한다. 그리고, 수신기는, 그 복수의 패킷의 각각에 포함되는 데이터부를, 제1 패킷에 포함되는 어드레스부에 대응하는 데이터부로서 복호함으로써, 가시광 식별자(ID)의 적어도 일부를 취득한다.
이것에 의해, 동일한 어드레스부를 가지는 복수의 패킷이 수신되었을 때에, 그러한 패킷의 데이터부가 상이해도, 적절한 데이터부를 복호할 수 있어 가시광 식별자의 적어도 일부를 올바르게 취득할 수 있다. 즉, 동일한 송신기로부터 송신되는 동일한 어드레스부를 가지는 복수의 패킷은, 기본적으로 동일한 데이터부를 가진다. 그러나, 수신기가, 패킷의 송신원이 되는 송신기를 전환하는 경우에는, 수신기는, 동일한 어드레스부를 가지고 있어도 서로 상이한 데이터부를 가지는 복수의 패킷을 수신하는 일이 있다. 이러한 경우에는, 본 실시의 형태에서는, 도 73의 단계 S10106과 같이, 이미 수신되어 있는 패킷(제2 패킷)이 파기되고, 최신의 패킷(제1 패킷)의 데이터부를, 그 어드레스부에 대응하는 올바른 데이터부로서 복호할 수 있다. 또한, 전술과 같은 송신기의 전환이 없는 경우라도, 가시광 신호의 송수신 상황에 따라, 동일한 어드레스부를 가지는 복수의 패킷의 데이터부가 조금 상이한 일이 있다. 이러한 경우에는, 본 실시의 형태에서는, 도 73의 단계 S10107과 같이, 이른바 다수결에 의해서, 적절한 데이터부를 복호할 수 있다. .
여기서, 복수의 패킷으로부터 데이터부의 데이터를 복조하는 수신 방법에 대해 설명한다.
도 74는, 본 실시의 형태에 있어서의 수신 방법의 일례를 나타내는 플로우 차트이다.
우선, 수신기는, 패킷을 수신하고(단계 S10111), 어드레스부의 오류 정정을 행한다(단계 S10112). 이 때, 수신기는, 데이터부의 복조를 행하지 않고, 촬상에 의해서 얻어지는 화소값을 그대로 보관 유지한다. 그리고, 수신기는, 이미 수신된 복수의 패킷에 있어서, 동일한 어드레스의 패킷이 소정의 수 이상 존재하는지 아닌지를 판정한다(단계 S10113). 여기서, 존재한다고 판정하면(단계 S10113의 Y), 수신기는, 동일한 어드레스를 가지는 복수의 패킷의 데이터부에 상당하는 부분의 화소값을 맞추어 복조 처리를 행한다(단계 S10114).
이와 같이 본 실시의 형태에 있어서의 수신 방법에서는, 복수의 휘선의 패턴으로부터, 데이터부 및 어드레스부를 포함하는 제1 패킷을 취득한다. 그리고, 제1 패킷보다 전에 이미 취득되어 있는 적어도 1개의 패킷 가운데, 제1 패킷의 어드레스부와 동일한 어드레스부를 포함하는 패킷인 제2 패킷이 소정의 수 이상 존재하는지 아닌지를 판정한다. 제2 패킷이 그 소정의 수 이상 존재한다고 판정한 경우에는, 그 소정의 수 이상의 제2 패킷의 각각의 데이터부에 대응하는 휘선 화상의 일부의 영역의 화소값과, 제1 패킷의 데이터부에 대응하는 휘선 화상의 일부의 영역의 화소값을 맞춘다. 즉, 화소값을 가산한다. 그 가산에 의해서, 합성 화소값을 산출하고, 그 합성 화소값을 포함하는 데이터부를 복호하는 것에 의해서, 가시광 식별자(ID)가 적어도 일부를 취득한다.
복수의 패킷이 수신된 타이밍은 각각 상이하기 때문에, 데이터부의 화소값은 각각 미묘하게 상이한 시점의 송신기의 휘도를 반영한 값이 되고 있다. 따라서, 전술한 바와 같이 복조 처리되는 부분은, 단일의 패킷의 데이터부보다 많은 데이터량(샘플수)을 포함하게 된다. 이것에 의해, 보다 정확하게 데이터부를 복조할 수 있다. 또, 샘플수의 증가에 의해, 보다 높은 변조 주파수로 변조된 신호를 복조할 수 있다.
데이터부와 그 오류 정정 코드부는 헤더부, 어드레스부 및 어드레스부의 오류 정정 코드부보다 높은 주파수로 변조되고 있다. 상기의 복조 방법에 의해, 데이터부 이후는 높은 변조 주파수로 변조되고 있어도 복조 가능하기 때문에, 이 구성에 의해, 패킷 전체의 송신 시간을 짧게 할 수 있어, 보다 멀리에서라도, 보다 작은 광원에서라도, 보다 빠르고 가시광 신호를 수신할 수 있다.
다음에, 가변 길이 어드레스의 데이터를 수신하는 수신 방법에 대해 설명한다.
도 75는, 본 실시의 형태에 있어서의 수신 방법의 일례를 나타내는 플로우 차트이다.
수신기는, 패킷을 수신하고(단계 S10121), 데이터부의 모든 비트가 0이 되고 있는 패킷(이하, 0 종단 패킷이라고 함)을 수신했는지 아닌지를 판정한다(단계 S10122). 여기서, 수신했다고 판정하면, 즉, 0 종단 패킷이 존재한다고 판정하면(단계 S10122의 Y), 수신기는, 그 0 종단 패킷의 어드레스 이하의 어드레스의 패킷이 모두 갖추어져 있는지 아닌지, 즉 수신하고 있는지 아닌지를 판정한다(단계 S10123). 또한, 어드레스는, 송신되는 데이터를 분할하는 것에 의해서 생성된 패킷의 각각에 대하여, 그러한 패킷의 송신 순서에 따라서 커지는 값으로 설정되어 있다. 수신기는, 모두 갖추어져 있다고 판정하면(단계 S10123의 Y), 0 종단 패킷의 어드레스가 송신기로부터 송신되는 패킷의 최후의 어드레스라고 판단한다. 그리고, 수신기는, 0 종단 패킷까지의 각 어드레스의 패킷의 데이터를 연결함으로써, 데이터를 복원한다(단계 S10124). 또한, 수신기는, 복원된 데이터의 에러 체크를 행한다(단계 S10125). 이것에 의해, 송신되는 데이터가 몇 개로 분할되고 있는지 알 수 없는 경우, 즉, 어드레스가 고정 길이는 아니고 가변 길이인 경우라도, 가변 길이 어드레스의 데이터를 송수신할 수 있고, 고정 길이 어드레스의 데이터보다 많은 ID를, 높은 효율로 송수신 할 수 있다.
이와 같이, 본 실시의 형태에서는, 수신기는, 복수의 휘선의 패턴으로부터, 각각 데이터부 및 어드레스부를 포함하는 복수의 패킷을 취득한다. 그리고, 수신기는, 취득된 복수의 패킷 가운데, 데이터부에 포함되는 모든 비트가 0을 나타내는 패킷인 0 종단 패킷이 존재하는지 아닌지를 판정한다. 0 종단 패킷이 존재한다고 판정한 경우에는, 수신기는, 복수의 패킷 가운데, 그 0 종단 패킷의 어드레스부에 관련시켜져 있는 어드레스부를 포함하는 패킷인 N개(N는 1이상의 정수)의 관련 패킷이 모두 존재하는지 아닌지를 판정한다. 다음에, 수신기는, N개의 관련 패킷이 모두 존재한다고 판정한 경우에는, N개의 관련 패킷의 각각의 데이터부를 나열하여 복호하는 것에 의해, 가시광 식별자(ID)를 취득한다. 여기서, 0 종단 패킷의 어드레스부에 관련시켜져 있는 어드레스부는, 0 종단 패킷의 어드레스부에 나타나는 어드레스보다 작고 0이상인 어드레스를 나타내는 어드레스부이다.
다음에, 변조 주파수의 주기보다 긴 노광 시간을 이용한 수신 방법에 대해 설명한다.
도 76과 도 77은, 본 실시의 형태에 있어서의 수신기가, 변조 주파수의 주기(변조 주기)보다 긴 노광 시간을 이용한 수신 방법을 설명하기 위한 도면이다.
예를 들면 도 76의 (a)에 나타내는 바와 같이, 노광 시간이 변조 주기와 동일한 시간으로 설정되면, 가시광 신호를 올바르게 수신할 수 없는 경우가 있다. 또한, 변조 주기는, 전술의 하나의 슬롯의 시간이다. 즉, 이러한 경우에는, 어느 슬롯의 휘도의 상태를 반영하고 있는 노광 라인(도 76 중의 검은색으로 나타내고 있는 노광 라인)이 적다. 그 결과, 이러한 노광 라인의 화소값에 노이즈가 우연히 많이 포함된 경우에는, 송신기의 휘도를 추정하는 일은 어렵다.
한편, 예를 들면 도 76의 (b)에 나타내는 바와 같이, 노광 시간이 변조 주기보다 긴 시간으로 설정되면 가시광 신호를 올바르게 수신할 수 있다. 즉, 이러한 경우에는, 어느 슬롯의 휘도를 반영하고 있는 노광 라인이 많기 때문에, 많은 노광 라인의 화소값으로부터 송신기의 휘도를 추정할 수 있고 노이즈에 강하다.
또, 노광 시간이 너무 길면, 반대로, 가시광 신호를 올바르게 수신할 수 없다.
예를 들면, 도 77의 (a)에 나타내는 바와 같이, 노광 시간이 변조 주기와 동일한 경우에는, 수신기로 수신되는 휘도 변화(즉, 각 노광 라인의 화소값의 변화)는, 송신에 이용되는 휘도 변화에 추종한다. 그러나, 도 77의 (b)에 나타내는 바와 같이, 노광 시간이 변조 주기의 3배인 경우에는, 수신기로 수신되는 휘도 변화는, 송신에 이용되는 휘도 변화에 충분히 추종할 수 없다. 또, 도 77의 (c)에 나타내는 바와 같이, 노광 시간이 변조 주기의 10배인 경우에는, 수신기로 수신되는 휘도 변화는, 송신에 이용되는 휘도 변화에 전혀 추종할 수 없다. 즉, 노광 시간이 긴 쪽이, 많은 노광 라인으로부터 휘도를 추정할 수 있기 때문에 노이즈 내성이 높아지지만, 노광 시간이 길어지면, 식별 마진이 낮아지거나 혹은 식별 마진이 작아짐으로써 노이즈 내성이 낮아진다. 이러한 밸런스에 의해, 노광 시간을 변조 주기의 2~5배 정도로 함으로써, 가장 노이즈 내성을 높게 할 수 있다.
다음에, 패킷의 분할수에 대해 설명한다.
도 78은, 송신 데이터의 사이즈에 대한 효율적인 분할수를 나타내는 도면이다.
송신기가 데이터를 휘도 변화에 의해서 송신하는 경우, 송신되는 모든 데이터(송신 데이터)를 1개의 패킷에 포함시키면, 그 패킷의 데이터 사이즈는 크다. 그러나, 그 송신 데이터를 복수의 부분 데이터로 분할하여, 그러한 부분 데이터를 각 패킷에 포함시키면, 각각의 패킷의 데이터 사이즈는 작아진다. 여기서, 수신기는, 촬상에 의해서, 그 패킷을 수신한다. 그러나, 패킷의 데이터 사이즈가 클수록 수신기는 그 패킷을 1회의 촬상에 의해서 수신하는 것이 어려워져, 촬상을 반복할 필요가 있다.
따라서, 송신기는, 도 78의 (a) 및 (b)에 나타내는 바와 같이, 송신 데이터의 데이터 사이즈가 클수록, 그 송신 데이터의 분할수를 많게 하는 쪽이 바람직하다. 그러나, 분할수가 너무 많으면, 그러한 부분 데이터를 모두 수신하지 않으면 송신 데이터를 복원할 수 없기 때문에, 반대로, 수신 효율이 저하된다.
따라서, 도 78의 (a)에 나타내는 바와 같이, 어드레스의 데이터 사이즈(어드레스 사이즈)가 가변이며, 송신 데이터의 데이터 사이즈가 2－16비트, 16－24비트, 24－64비트, 66－78비트, 78－128비트, 128비트 이상인 경우에는, 각각, 1－2개, 2－4개, 4개, 4－6개, 6－8개, 7개 이상의 부분 데이터에 송신 데이터를 분할하면, 송신 데이터를 효율적으로 가시광 신호에 의해서 송신할 수 있다. 또, 도 78의 (b)에 나타내는 바와 같이, 어드레스의 데이터 사이즈(어드레스 사이즈)가 4비트에 고정되고, 송신 데이터의 데이터 사이즈가 2－8비트, 8－16비트, 16－30비트, 30－64비트, 66－80비트, 80－96비트, 96－132비트, 132비트 이상인 경우에는, 각각, 1－2개, 2－3개, 2－4개, 4－5개, 4－7개, 6개, 6－8개, 7개 이상의 부분 데이터로 송신 데이터를 분할하면, 송신 데이터를 효율적으로 가시광 신호에 의해서 송신할 수 있다.
또, 송신기는, 복수의 부분 데이터의 각각을 포함하는 각 패킷에 근거하는 휘도 변화를 순차 행한다. 예를 들면, 송신기는, 각 패킷의 어드레스 순서로, 그 패킷에 근거한 휘도 변화를 행한다. 또한, 송신기는, 어드레스 순서와 상이한 순서로, 그 복수의 부분 데이터에 근거한 휘도 변화를 재차 행해도 된다. 이것에 의해, 각 부분 데이터를 확실히 수신기에 수신시킬 수 있다.
다음에, 수신기에 의한 통지 동작의 설정 방법에 대해 설명한다.
도 79A는, 본 실시의 형태에 있어서의 설정 방법의 일례를 나타내는 도면이다.
우선, 수신기는, 통지 동작을 식별하기 위한 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를, 수신기의 근처에 있는 서버로부터 취득한다(단계 S10131). 여기서, 통지 동작은, 복수의 부분 데이터의 각각을 포함하는 각 패킷이 휘도 변화에 의해서 송신되어 수신기에 수신되었을 때에, 그러한 패킷이 수신된 것을 수신기의 사용자에게 통지하는 수신기의 동작이다. 예를 들면, 그 동작은, 소리의 명동, 바이브레이션, 또는 화면 표시 등이다.
다음에, 수신기는, 패킷화된 가시광 신호, 즉 복수의 부분 데이터의 각각을 포함하는 각 패킷을 수신한다(단계 S10132). 여기서, 수신기는, 그 가시광 신호에 포함되어 있는, 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를 취득한다(단계 S10133).
또한, 수신기는, 수신기의 현재의 통지 동작의 설정 내용, 즉, 수신기에 미리 설정되어 있는 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를 독출한다(단계 S10134). 또한, 수신기에 미리 설정되어 있는 통지 동작 식별자는, 예를 들면, 사용자의 조작에 의해서 설정되어 있다.
그리고, 수신기는, 미리 설정되어 있는 통지 동작 식별자와, 단계 S10131 및 단계 S10133의 각각에서 취득된 통지 동작 식별자 중, 우선도가 가장 높은 식별자를 선택한다(단계 S10135). 다음에, 수신기는, 선택한 통지 동작 식별자를 새롭게 스스로 다시 설정함으로써, 선택한 통지 동작 식별자에 의해서 나타나는 동작을 행하고, 가시광 신호의 수신을 사용자에게 통지한다(단계 S10136).
또한, 수신기는,단계 S10131 및 단계 S10133 중 어느 한 쪽을 행하지 않고, 2개의 통지 동작 식별자 중에서 우선도가 높은 통지 동작 식별자를 선택해도 된다.
또한, 극장 또는 미술관 등에 설치되어 있는 서버로부터 송신되는 통지 동작 식별자의 우선도, 또는, 그러한 시설 내에서 송신되는 가시광 신호에 포함되는 통지 동작 식별자의 우선도는 높게 설정되어도 된다. 이것에 의해, 사용자의 설정에 상관없이, 그 시설 내에서는, 수신 통지를 위한 소리를 울리지 않도록 할 수 있다. 또, 그 외의 시설에서는, 통지 동작 식별자의 우선도를 낮게 해 둠으로써, 수신기는, 사용자의 설정에 따른 동작에 의해서 수신을 통지할 수 있다.
도 79B는, 본 실시의 형태에 있어서의 설정 방법의 다른 예를 나타내는 도면이다.
우선, 수신기는, 통지 동작을 식별하기 위한 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를, 수신기의 근처에 있는 서버로부터 취득한다(단계 S10141). 다음에, 수신기는, 패킷화된 가시광 신호, 즉 복수의 부분 데이터의 각각을 포함하는 각 패킷을 수신한다(단계 S10142). 여기서, 수신기는, 그 가시광 신호에 포함되어 있는, 통지 동작 식별자와 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를 취득한다(단계 S10143).
또한, 수신기는, 수신기의 현재의 통지 동작의 설정 내용, 즉, 수신기에 미리 설정되어 있는 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를 독출한다(단계 S10144).
그리고, 수신기는, 미리 설정되어 있는 통지 동작 식별자와, 단계 S10141 및 단계 S10143의 각각에서 취득된 통지 동작 식별자 중에, 통지음의 발생을 금지하는 동작을 나타내는 동작 통지 식별자가 포함되어 있는지 아닌지를 판정한다(단계 S10145). 여기서, 포함되어 있다고 판정하면(단계 S10145의 Y), 수신기는, 수신 완료를 통지하기 위한 통지음을 울린다(단계 S10146). 한편, 포함되어 있지 않다고 판정하면(단계 S10145의 N), 수신기는, 예를 들면 바이브레이션 등에 의해서, 수신 완료를 사용자에게 통지한다(단계 S10147) .
또한, 수신기는, 단계 S10141 및 단계 S10143 중 어느 한 쪽을 행하지 않고, 2개의 통지 동작 식별자 중에, 통지음의 발생을 금지하는 동작을 나타내는 동작 통지 식별자가 포함되어 있는지 아닌지를 판정해도 된다.
또, 수신기는, 촬상에 의해서 얻어지는 화상에 근거해 자기 위치 추정을 행하고, 추정된 위치, 또는 그 위치에 있는 시설에 대응시켜진 동작에 의해서, 수신을 사용자에게 통지해도 된다.
도 80은, 실시의 형태 10에 있어서의 정보 처리 프로그램의 처리를 나타내는 플로우 차트이다.
이 정보 처리 프로그램은, 전술의 송신기의 발광체를 도 78에 나타내는 분할수에 따라서 휘도 변화시키기 위한 프로그램이다.
즉, 이 정보 처리 프로그램은, 송신 대상의 정보를 휘도 변화에 의해서 송신하기 위해서, 송신 대상의 정보를 컴퓨터에 처리시키는 정보 처리 프로그램이다. 구체적으로는, 이 정보 처리 프로그램은, 송신 대상의 정보를 부호화하는 것에 의해서 부호화 신호를 생성하는 부호화 단계 SA41와, 생성된 부호화 신호의 비트수가 24~64비트의 범위에 있는 경우, 부호화 신호를 4개의 부분 신호로 분할하는 분할 단계 SA42와, 4개의 부분 신호를 순차 출력하는 출력 단계 SA43를 컴퓨터에 실행시킨다. 또한, 이러한 부분 신호는, 패킷으로서 출력된다. 또, 정보 처리 프로그램은, 부호화 신호의 비트수를 특정하고, 그 특정된 비트수에 근거하여 부분 신호의 수를 결정하는 것을 컴퓨터에 시켜도 된다. 이 경우, 정보 처리 프로그램은, 부호화 신호를 분할하는 것에 의해서, 그 결정된 수의 부분 신호를 생성하는 것을 컴퓨터에 시킨다.
이것에 의해, 부호화 신호의 비트수가 24~64비트의 범위에 있는 경우에는, 부호화 신호가 4개의 부분 신호로 분할되어 출력된다. 그 결과, 출력되는 4개의 부분 신호에 따라서 발광체가 휘도 변화하면, 그 4개의 부분 신호는 각각 가시광 신호로서 송신되어 수신기에 의해서 수신된다. 여기서, 출력되는 신호의 비트수가 많을수록, 수신기는 촬상에 의해서 그 신호를 적절하게 수신하는 것이 어려워지고, 수신 효율이 저하된다. 따라서, 그 신호를 비트수가 적은 신호, 즉 작은 신호로 분할해 두는 것이 바람직하다. 그러나, 신호를 많은 작은 신호로 너무 세세하게 분할하면, 수신기는, 모든 작은 신호의 각각을 개별적으로 수신하지 않으면 원래의 신호를 수신할 수 없기 때문에, 수신 효율이 저하된다. 따라서, 전술한 바와 같이, 부호화 신호의 비트수가 24~64비트의 범위에 있는 경우에는, 부호화 신호를 4개의 부분 신호로 분할해 차례차례 출력하는 것에 의해서, 송신 대상의 정보를 나타내는 부호화 신호를 가장 좋은 수신 효율로 가시광 신호로서 송신할 수 있다. 그 결과, 다양한 기기간의 통신을 가능하게 할 수 있다.
또, 출력 단계 SA43에서는, 제1 순서에 따라서 4개의 부분 신호를 출력하고, 또한, 제1 순서와 상이한 제2 순서에 따라서 4개의 부분 신호를 다시 출력해도 된다.
이것에 의해, 그러한 4개의 부분 신호가 순서를 바꾸어 반복 출력되기 때문에, 출력되는 각 신호가 가시광 신호로서 수신기에 송신되는 경우에는, 그러한 4개의 부분 신호의 수신 효율을 더욱 높일 수 있다. 즉, 4개의 부분 신호를 동일한 순서로 반복해 출력해도, 동일한 부분 신호가 수신기에 수신되지 않는 경우가 생기지만, 그 순서를 바꾸는 것에 의해서, 그러한 경우가 생기는 것을 억제할 수 있다.
또, 도 79A 및 도 79B에 나타내는 바와 같이, 출력 단계 SA43에서는, 또한, 4개의 부분 신호에 통지 동작 식별자를 부수시켜 출력해도 된다. 통지 동작 식별자는, 4개의 부분 신호가 휘도 변화에 의해서 송신되어 수신기에 수신되었을 때에, 4개의 부분 신호가 수신된 것을 수신기의 사용자에게 통지하는 수신기의 동작을 식별하기 위한 식별자이다.
이것에 의해, 그 통지 동작 식별자가 가시광 신호로서 송신되어 수신기에 수신되는 경우에는, 수신기는, 그 통지 동작 식별자에 의해서 식별되는 동작에 따라서, 4개의 부분 신호의 수신을 사용자에게 통지할 수 있다. 즉, 송신 대상의 정보를 송신하는 측에서, 수신기에 의한 통지 동작을 설정할 수 있다.
또, 도 79A 및 도 79B에 나타내는 바와 같이, 출력 단계 SA43에서는, 또한, 통지 동작 식별자의 우선도를 식별하기 위한 우선도 식별자를 4개의 부분 신호에 부수시켜 출력해도 된다.
이것에 의해, 그 우선도 식별자 및 통지 동작 식별자가 가시광 신호로서 송신되어 수신기에 수신되는 경우에는, 수신기는, 그 우선도 식별자에 의해서 식별되는 우선도에 따라서 통지 동작 식별자를 취급할 수 있다. 즉, 수신기가 다른 통지 동작 식별자를 취득하고 있는 경우에는, 수신기는, 가시광 신호로서 송신된 통지 동작 식별자에 의해서 식별되는 통지 동작과, 다른 통지 동작 식별자에 의해서 식별되는 통지 동작 중의 한쪽을, 그 우선도에 근거해 선택할 수 있다.
본 발명의 일 양태에 따른 정보 처리 프로그램은, 송신 대상의 정보를 휘도 변화에 의해서 송신하기 위해서, 상기 송신 대상의 정보를 컴퓨터에 처리시키는 정보 처리 프로그램으로서, 상기 송신 대상의 정보를 부호화하는 것에 의해서 부호화 신호를 생성하는 부호화 단계와, 생성된 상기 부호화 신호의 비트수가 24~64비트의 범위에 있는 경우, 상기 부호화 신호를 4개의 부분 신호로 분할하는 분할 단계와, 상기 4개의 부분 신호를 순차 출력하는 출력 단계를, 상기 컴퓨터에 실행시킨다.
이것에 의해, 도 77~도 80에 나타내는 바와 같이, 부호화 신호의 비트수가 24~64비트의 범위에 있는 경우에는, 부호화 신호가 4개의 부분 신호로 분할되어 출력된다. 그 결과, 출력되는 4개의 부분 신호에 따라서 발광체가 휘도 변화하면, 그 4개의 부분 신호는 각각 가시광 신호로서 송신되어 수신기에 의해서 수신된다. 여기서, 출력되는 신호의 비트수가 많을수록, 수신기는 촬상에 의해서 그 신호를 적절하게 수신하는 것이 어려워져, 수신 효율이 저하된다. 따라서, 그 신호를 비트수가 적은 신호, 즉 작은 신호로 분할해 두는 것이 바람직하다. 그러나, 신호를 많은 작은 신호로 너무 세세하게 분할하면, 수신기는, 모든 작은 신호의 각각을 개별적으로 수신하지 않으면 원래의 신호를 수신할 수 없기 때문에, 수신 효율이 저하된다. 따라서, 전술한 바와 같이, 부호화 신호의 비트수가 24~64비트의 범위에 있는 경우에는, 부호화 신호를 4개의 부분 신호로 분할하여 순차 출력하는 것에 의해서, 송신 대상의 정보를 나타내는 부호화 신호를 가장 좋은 수신 효율로 가시광 신호로서 송신할 수 있다. 그 결과, 다양한 기기간의 통신을 가능하게 할 수 있다.
또, 상기 출력 단계에서는, 제1 순서에 따라서 상기 4개의 부분 신호를 출력하고, 상기 제1 순서와 상이한 제2 순서에 따라서 상기 4개의 부분 신호를 추가로 재차 출력해도 된다.
이것에 의해, 그러한 4개의 부분 신호가 차례를 바꾸어 반복 출력되기 때문에, 출력되는 각 신호가 가시광 신호로서 수신기에 송신되는 경우에는, 그러한 4개의 부분 신호의 수신 효율을 한층 더 높일 수 있다. 즉, 4개의 부분 신호를 동일한 차례로 반복해 출력해도, 동일한 부분 신호가 수신기에 수신되지 않는 경우가 생기지만, 그 차례를 바꾸는 것에 의해서, 그러한 경우가 생기는 것을 억제할 수 있다.
또, 상기 출력 단계에서는, 또한, 상기 4개의 부분 신호에 통지 동작 식별자를 부수시켜 출력하고, 상기 통지 동작 식별자는, 상기 4개의 부분 신호가 휘도 변화에 의해서 송신되어 수신기에 수신되었을 때에, 상기 4개의 부분 신호가 수신된 것을 상기 수신기의 사용자에게 통지하는 상기 수신기의 동작을 식별하기 위한 식별자라도 좋다.
이것에 의해, 그 통지 동작 식별자가 가시광 신호로서 송신되어 수신기에 수신되는 경우에는, 수신기는, 그 통지 동작 식별자에 의해서 식별되는 동작에 따라서, 4개의 부분 신호의 수신을 사용자에게 통지할 수 있다. 즉, 송신 대상의 정보를 송신하는 측에서, 수신기에 의한 통지 동작을 설정할 수 있다.
또, 상기 출력 단계에서는, 상기 통지 동작 식별자의 우선도를 식별하기 위한 우선도 식별자를 상기 4개의 부분 신호에 부수시켜 추가로 출력해도 된다.
이것에 의해, 그 우선도 식별자 및 통지 동작 식별자가 가시광 신호로서 송신되어 수신기에 수신되는 경우에는, 수신기는, 그 우선도 식별자에 의해서 식별되는 우선도에 따라서 통지 동작 식별자를 취급할 수 있다. 즉, 수신기가 다른 통지 동작 식별자를 취득하고 있는 경우에는, 수신기는, 가시광 신호로서 송신된 통지 동작 식별자에 의해서 식별되는 통지 동작과, 다른 통지 동작 식별자에 의해서 식별되는 통지 동작 중 한 쪽을 그 우선도에 근거해 선택할 수 있다.
다음에, 전자 기기의 네트워크 접속의 등록에 대해 설명한다.
도 81은, 본 실시의 형태에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
이 송수신 시스템은, 예를 들면 세탁기 등의 전자 기기로서 구성되는 송신기(10131b)와, 예를 들면 스마트 폰으로서 구성되는 수신기(10131a)와, 액세스 포인트 또는 라우터로서 구성되는 통신 장치(10131c)를 구비한다.
도 82는, 본 실시의 형태에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우 차트이다.
송신기(10131b)는, 개시 버튼이 눌러지면(단계 S10165), SSID, 패스워드, IP 어드레스, MAC 어드레스, 또는 암호열쇠 등의, 자신에게 접속하기 위한 정보를, Wi－Fi, Bluetooth(등록 상표), 또는 이더넷(ethernet)(등록 상표) 등을 개재하여 송신하고(단계 S10166), 접속을 기다린다. 송신기(10131b)는, 이러한 정보를, 직접적으로 송신해도 되고, 간접적으로 송신해도 된다. 간접적으로 송신하는 경우, 송신기(10131b)는, 그러한 정보에 관련시켜진 ID를 송신한다. 그 ID를 수신한 수신기(10131a)는, 예를 들면, 그 ID에 관련시켜져 있는 정보를 서버 등으로부터 다운로드한다.
수신기(10131a)는, 그 정보를 수신하고(단계 S10151), 송신기(10131b)에 접속하며, 액세스 포인트나 라우터로서 구성되는 통신 장치(10131c)에 접속하기 위한 정보(SSID, 패스워드, IP 어드레스, MAC 어드레스, 또는 암호열쇠 등)를 송신기(10131b)에 송신한다(단계 S10152). 수신기(10131a)는, 송신기(10131b)가 통신 장치(10131c)에 접속하기 위한 정보(MAC 어드레스, IP 어드레스 또는 암호열쇠 등)를 통신 장치(10131c)에 등록하고, 통신 장치(10131c)에 접속을 기다리게 한다. 또한, 수신기(10131a)는, 송신기(10131b)로부터 통신 장치(10131c)로의 접속 준비가 완료된 것을 송신기(10131b)에 통지한다(단계 S10153).
송신기(10131b)는, 수신기(10131a)와의 접속을 절단하고(단계 S10168), 통신 장치(10131c)에 접속한다(단계 S10169). 접속이 성공하면(단계 S10170의 Y), 송신기(10131b)는, 통신 장치(10131c)를 개재하여 수신기(10131a)에 접속 성공을 통지하고, 화면 표시나 LED의 상태나 음성 등으로 사용자에게 접속 성공을 통지한다(단계 S10171). 접속이 실패하면(단계 S10170의 N), 송신기(10131b)는, 가시광 통신으로 수신기(10131a)에 접속 실패를 통지하고, 성공 시와 동일하게 사용자에게 통지한다(단계 S10172). 또한, 접속 성공을 가시광 통신으로 통지해도 된다.
수신기(10131a)는, 통신 장치(10131c)에 접속하고(단계 S10154), 접속 성공이나 실패의 통지가 없으면(단계 S10155의 N, 또한 단계 S10156의 N), 통신 장치(10131c) 경유로 송신기(10131b)에 액세스가 가능한지 어떤지 확인한다(단계 S10157). 불가능하면(단계 S10157의 N), 수신기(10131a)는, 송신기(10131b)로부터 수신한 정보를 이용한 송신기(10131b)로 접속이 소정의 횟수 이상 행해졌는지 아닌지를 판정한다(단계 S10158). 여기서, 소정의 횟수 이상 행해져 있지 않다고 판정하면(단계 S10158의 N), 수신기(10131a)는 단계 S10152로부터의 처리를 반복한다. 한편, 소정의 횟수 이상 행해졌다고 판정하면(단계 S10158의 Y), 수신기(10131a)는, 처리 실패를 사용자에게 통지한다(단계 S10159). 또, 수신기(10131a)는, 단계 S10156에서, 접속 성공의 통지가 있었다고 판정하면(단계 S10156의 Y), 처리 성공을 사용자에게 통지한다(단계 S10160). 즉, 수신기(10131a)는, 송신기(10131b)가 통신 장치(10131c)에 접속할 수 있었는지 어떤지를, 화면 표시나 음성 등으로 사용자에게 통지한다. 이것에 의해, 사용자에게 복잡한 입력을 시키지 않아도, 송신기(10131b)를 통신 장치(10131c)에 접속시킬 수 있다.
다음에, 전자 기기의 네트워크 접속의 등록(다른 전자 기기를 개재하여 접속하는 경우)에 대해 설명한다.
도 83은, 본 실시의 형태에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
이 송수신 시스템은, 에어컨(10133b)과 에어컨(10133b)에 접속된 무선 어댑터 등의 전자 기기로서 구성되는 송신기(10133c)와, 예를 들면 스마트 폰으로서 구성되는 수신기(10133a), 액세스 포인트 또는 라우터로서 구성되는 통신 장치(10133d)와, 예를 들면 무선 어댑터, 무선 액세스 포인트 또는 라우터 등으로서 구성되는 다른 전자 기기(10133e)를 구비한다.
도 84는, 본 실시의 형태에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우 차트이다. 또한, 이하, 에어컨(10133b) 또는 송신기(10133c)를 전자 기기 A라고 칭하고, 전자 기기(10133e)를 전자 기기 B라고 칭한다.
우선, 전자 기기 A는, 개시 버튼이 눌러지면(단계 S10188), 자신에게 접속하기 위한 정보(개체 ID, 패스워드, IP 어드레스, MAC 어드레스, 또는 암호열쇠 등)를 송신하고(단계 S10189), 접속을 기다린다(단계 S10190). 전자 기기 A는, 이러한 정보를, 전술과 동일하게, 직접적으로 송신해도 되고, 간접적으로 송신해도 된다.
수신기(10133a)는, 그 정보를 전자 기기 A로부터 수신하고(단계 S10181), 전자 기기 B에 그 정보를 송신한다(단계 S10182). 전자 기기 B는, 그 정보를 수신하면(단계 S10196), 그 수신한 정보에 따라서 전자 기기 A에 접속한다(단계 S10197). 그리고, 전자 기기 B는, 전자 기기 A와의 접속이 이루어졌는지 아닌지를 판정하고(단계 S10198), 그 성공 여부를 수신기(10133a)에 통지한다(단계 S10199 또는 단계 S101200).
전자 기기 A는, 소정의 시간 동안에 전자 기기 B와 접속되면(단계 S10191의 Y), 전자 기기 B 경유로 수신기(10133a)에 접속 성공을 통지하고(단계 S10192), 접속되지 않으면(단계 S10191의 N), 가시광 통신으로 수신기(10133a)에 접속 실패를 통지한다(단계 S 10193). 또, 전자 기기 A는, 화면 표시, 발광 상태 또는 음성 등에 의해서, 접속의 성공 여부를 사용자에게 통지한다. 이것에 의해, 사용자에게 복잡한 입력을 시키지 않아도, 전자 기기 A(송신기(10133c))를 전자 기기 B(전자 기기 10133e)에 접속시킬 수 있다. 또한, 도 83에 나타내는 에어컨(10133b)과 송신기(10133c)는 일체로 구성되어 있어도 되고, 동일하게 통신 장치(10133d)와 전자 기기(10133e) 모두 일체로 구성되어 있어도 된다.
다음에, 적절한 촬상 정보의 송신에 대해 설명한다.
도 85는, 본 실시의 형태에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
이 송수신 시스템은, 예를 들면 디지털 카메라나 디지털 비디오 카메라로서 구성되는 수신기(10135a)와, 예를 들면 조명으로서 구성되는 송신기(10135b)를 구비한다.
도 86은, 본 실시의 형태에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우 차트이다.
우선, 수신기(10135a)는, 송신기(10135b)에, 촬상 정보 송신 명령을 보낸다(단계 S10211). 다음에, 송신기(10135b)는, 촬상 정보 송신 명령을 수신한 경우, 촬상 정보 송신 버튼이 눌러진 경우, 촬상 정보 송신 스위치가 온이 되어 있는 경우, 전원이 넣어진 경우에(단계 S10221의 Y), 촬상 정보를 송신한다(단계 S10222). 촬상 정보 송신 명령은, 촬상 정보를 송신시키기 위한 명령으로서, 촬상 정보는, 예를 들면 조명의 색 온도, 스펙트럼 분포, 조도 또는 배광을 나타낸다. 송신기(10135b)는, 촬상 정보를, 전술과 동일하게 직접적으로 송신해도 되고, 간접적으로 송신해도 된다. 간접적으로 송신하는 경우, 송신기(10135b)는, 촬상 정보에 관련시켜진 ID를 송신한다. 그 ID를 수신한 수신기(10135a)는, 예를 들면, 그 ID에 관련시켜져 있는 촬상 정보를 서버 등으로부터 다운로드한다. 이 때, 송신기(10135b)는, 자신에게 송신 정지 명령을 송신하기 위한 방법(송신 정지 명령을 전송하는 전파, 적외선, 또는 음파의 주파수, 혹은, 자신에 접속하기 위한 SSID, 패스워드 또는 IP 어드레스 등)을 송신해도 된다.
수신기(10135a)는, 촬상 정보를 수신하면(단계 S10212), 송신 정지 명령을 송신기(10135b)에 송신한다(단계 S10213). 여기서, 송신기(10135b)는, 수신기(10135a)로부터 송신 정지 명령을 수신하면(단계 S10223의), 촬상 정보의 송신을 정지하고, 일정하게 발광한다(단계 S10224).
또한, 수신기(10135a)는, 단계 S10212에서 수신한 촬상 정보에 따라서 촬상 파라미터를 설정한다(단계 S10214), 혹은, 촬상 정보를 사용자에게 통지한다. 촬상 파라미터는, 예를 들면 화이트 밸런스, 노광 시간, 초점 거리, 감도 또는 씬 모드이다. 이것에 의해, 조명에 맞추어 최적인 설정으로 촬상할 수 있다. 다음에, 수신기(10135a)는, 송신기(10135b)로부터의 촬상 정보의 송신이 정지되고 나서(단계 S10215의 Y), 촬상한다(단계 S10216). 이것에 의해, 신호 송신에 의한 피사체의 밝기의 변화를 없애고 촬상을 행할 수 있다. 또한, 수신기(10135a)는, 단계 S10216의 후, 촬상 정보의 송신 개시를 재촉하는 송신 개시 명령을 송신기(10135b)에 송신해도 된다(단계 S10217).
다음에, 충전 상태의 표시에 대해 설명한다.
도 87은, 본 실시의 형태에 있어서의 송신기의 응용예를 설명하기 위한 도면이다.
예를 들면 충전기로서 구성되는 송신기(10137b)는, 발광부를 구비하고, 배터리의 충전 상태를 나타내는 가시광 신호를 발광부로부터 송신한다. 이것에 의해, 고가의 표시 장치를 구비하지 않아도, 배터리의 충전 상태를 통지할 수 있다. 또한, 발광부로서 작은 LED를 이용한 경우에는, 근처로부터 그 LED를 촬상하지 않으면 가시광 신호를 수신할 수 없다. 또, 그 LED의 근처에 돌기부가 있는 송신기(10137c)에서는, 돌기부가 방해로 LED를 근접 촬영하기 어렵다. 따라서, 송신기(10137c)로부터의 가시광 신호보다, LED의 부근에 돌기부가 없는 송신기(10137b)로부터의 가시광 신호 쪽을, 용이하게 수신할 수 있다.
(실시의 형태 11)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
우선, 데모 모드시와 고장시의 송신에 대해 설명한다.
도 88은, 본 실시의 형태에 있어서의 송신기의 동작의 일례를 설명하는 도면이다.
송신기는, 에러가 발생하고 있는 경우에는, 에러가 발생하고 있는 것을 나타내는 신호, 또는, 에러 코드에 대응하는 신호를 송신함으로써, 수신기에 에러가 발생하고 있는 것이나 에러 내용을 전달할 수 있다. 수신기는, 에러 내용에 맞추어 적절한 대응을 나타냄으로써, 에러를 수복하거나 서비스 센터에 에러 내용을 적절하게 보고하거나 할 수 있다.
송신기는, 데모 모드로 되어 있는 경우는, 데모 코드를 송신한다. 이것에 의해, 예를 들면 매장에서 상품인 송신기의 데모를 행하고 있는 경우에, 내점자가 데모 코드를 수신하고, 데모 코드에 관련시켜진 상품 설명을 취득할 수 있다. 데모 모드인지의 어떤지의 판단은, 송신기의 동작 설정이 데모 모드가 되어 있다, 매장용 CAS 카드가 삽입되어 있다, CAS 카드가 삽입되어 있지 않다, 기록용 미디어가 삽입되어 있지 않다라는 점으로부터 판단할 수 있다.
다음에, 리모콘으로부터의 신호 송신에 대해 설명한다.
도 89는, 본 실시의 형태에 있어서의 송신기의 동작의 일례를 설명하는 도면이다.
예를 들면 에어컨의 리모컨으로서 구성되는 송신기가, 본체 정보를 수신했을 때에, 송신기가 본체 정보를 송신함으로써, 수신기는 먼 본체의 정보를 근처에 있는 송신기로부터 정보를 수신할 수 있다. 수신기는 네트워크 너머 등, 가시광 통신이 불가능한 장소에 존재하는 본체로부터의 정보를 수신할 수도 있다.
다음에, 밝은 장소에 있을 때만 송신하는 처리에 대해 설명한다.
도 90은, 본 실시의 형태에 있어서의 송신기의 동작의 일례를 설명하는 도면이다.
송신기는, 주위의 밝기가 일정 이상이면 송신을 행하고, 일정 이하가 되면 송신을 정지한다. 이것에 의해, 예를 들면 전철의 광고로서 구성되는 송신기는, 차량이 차고에 들어갔을 때에 자동으로 동작을 정지할 수 있어 전지의 소모를 억제할 수 있다.
다음에, 송신기의 표시에 맞춘 컨텐츠 배달(관련 시킴 변경·스케줄링)에 대해 설명한다.
도 91은, 본 실시의 형태에 있어서의 송신기의 동작의 일례를 설명하는 도면이다.
송신기는, 표시하는 컨텐츠의 표시 타이밍에 맞추어, 수신기에 취득시키고 싶은 컨텐츠를 송신 ID에 관련시킨다. 표시 컨텐츠가 변경될 때마다, 관련시킴의 변경을 서버에 등록한다.
송신기는, 표시 컨텐츠의 표시 타이밍이 이미 알려진 경우는, 표시 컨텐츠의 변화 타이밍에 맞추어 다른 컨텐츠가 수신기에 건네지도록 서버에 설정한다. 서버는, 수신기로부터 송신 ID에 관련시켜진 컨텐츠의 요구가 맞았을 때에는, 설정된 스케줄에 맞춘 컨텐츠를 수신기에 송신한다.
이것에 의해, 예를 들면 디지털 사이니지로서 구성되는 송신기가 표시 내용을 차례차례로 변경하고 있는 경우에, 수신기는, 송신기가 표시하고 있는 컨텐츠에 맞춘 컨텐츠를 취득할 수 있다.
다음에, 송신기의 표시에 맞춘 컨텐츠 배달(시각에 의한 동기)에 대해 설명한다.
도 92는, 본 실시의 형태에 있어서의 송신기의 동작의 일례를 설명하는 도면이다.
소정의 ID에 관련시켜진 컨텐츠 취득의 요구에 대해, 시각에 따라 상이한 컨텐츠를 건네주도록 미리 서버에 등록해 둔다.
송신기는, 서버와 시각을 동기하고, 소정의 시각에 소정의 부분이 표시되도록 타이밍을 조정하여 컨텐츠를 표시한다.
이것에 의해, 예를 들면 디지털 사이니지로서 구성되는 송신기가 표시 내용을 차례차례로 변경하고 있는 경우에, 수신기는, 송신기가 표시하고 있는 컨텐츠에 맞춘 컨텐츠를 취득할 수 있다.
다음에, 송신기의 표시에 맞춘 컨텐츠 배달(표시 시각의 송신)에 대해 설명한다.
도 93은, 본 실시의 형태에 있어서의 송신기와 수신기의 동작의 일례를 설명하는 도면이다.
송신기는, 송신기의 ID에 더하여 표시 중인 컨텐츠의 표시 시각을 송신한다. 컨텐츠 표시 시각은, 현재 표시하고 있는 컨텐츠를 특정할 수 있는 정보이며, 예를 들면 컨텐츠의 개시 시점으로부터의 경과 시각 등으로 표현할 수 있다.
수신기는, 수신한 ID에 관련시켜진 컨텐츠를 서버로부터 취득하고, 수신한 표시 시각에 맞추어 컨텐츠를 표시한다. 이것에 의해, 예를 들면 디지털 사이니지로서 구성되는 송신기가 표시 내용을 차례차례로 변경하고 있는 경우에, 수신기는, 송신기가 표시하고 있는 컨텐츠에 맞춘 컨텐츠를 취득할 수 있다.
또, 수신기는, 시간의 경과에 따라서, 표시하는 컨텐츠를 변경한다. 이것에 의해, 송신기의 표시 컨텐츠가 변화했을 때에 재차 신호를 수신하지 않아도, 표시 컨텐츠에 맞춘 컨텐츠가 표시된다.
다음에, 사용자의 허락 상황에 맞춘 데이터의 업 로드에 대해 설명한다.
도 94는, 본 실시의 형태에 있어서의 수신기의 동작의 일례를 설명하는 도면이다.
수신기는, 사용자가 어카운트 등록을 하고 있는 경우에는, 어카운트 등록 시 등에 사용자가 액세스 허가를 행하고 있는 정보(수신기의 위치나 전화 번호나 ID나 인스톨되고 있는 어플리케이션이나 사용자의 연령이나 성별이나 직업이나 기호 등)를 수신한 ID와 맞추어 서버에 송신한다.
어카운트 등록이 되어 있지 않은 경우에는, 사용자가 상기와 같은 정보의 업 로드를 허가하고 있으면, 동일하게 서버에 송신하고, 허가하고 있지 않는 경우에는, 수신한 ID만을 서버에 송신한다.
이것에 의해, 사용자는 수신 시의 상황이나 자신의 퍼스낼러티에 맞춘 컨텐츠를 수신할 수 있고, 또, 서버는 사용자의 정보를 얻음으로써 데이터 해석에 도움줄 수 있다.
다음에, 컨텐츠 재생 어플리케이션의 기동에 대해 설명한다.
도 95는, 본 실시의 형태에 있어서의 수신기의 동작의 일례를 설명하는 도면이다.
수신기는, 수신한 ID에 관련시켜진 컨텐츠를 서버로부터 취득한다. 기동 중의 어플리케이션이 취득 컨텐츠를 취급할 수 있는(표시하거나 재생하거나 할 수 있는) 경우에는, 기동 중의 어플리케이션으로 취득 컨텐츠를 표시·재생한다. 취급할 수 없는 경우는, 취급할 수 있는 어플리케이션이 수신기에 인스톨되어 있는지 어떤지를 확인하고, 인스톨되어 있는 경우는, 그 어플리케이션을 기동하여 취득 컨텐츠의 표시·재생을 행한다. 인스톨되어 있지 않은 경우는, 자동으로 인스톨하거나, 인스톨을 재촉하는 표시를 하거나 다운로드 화면을 표시시키거나 하여, 인스톨 후에 취득 컨텐츠의 표시·재생을 행한다.
이것에 의해, 취득 컨텐츠를 적절하게 취급(표시·재생 등을 행함)할 수 있다.
다음에, 지정 어플리케이션의 기동에 대해 설명한다.
도 96은, 본 실시의 형태에 있어서의 수신기의 동작의 일례를 설명하는 도면이다.
수신기는, 수신한 ID에 관련시켜진 컨텐츠와, 기동해야 할 어플리케이션을 지정하는 정보(어플리 ID)를 서버로부터 취득한다. 기동 중의 어플리케이션이 지정 어플리케이션인 경우는, 취득한 컨텐츠를 표시·재생한다. 지정 어플리케이션이 수신기에 인스톨되어 있는 경우는, 지정 어플리케이션을 기동하여 취득 컨텐츠의 표시·재생을 행한다. 인스톨되어 있지 않은 경우는, 자동으로 인스톨하거나 인스톨을 재촉하는 표시를 하거나 다운로드 화면을 표시시키거나 하여, 인스톨 후에 취득 컨텐츠의 표시·재생을 행한다.
수신기는, 어플리케이션 ID만을 서버로부터 취득하고, 지정 어플리케이션을 기동한다고 해도 된다.
수신기는, 지정된 설정을 행한다고 해도 된다. 수신기는, 지정된 파라미터를 설정하여, 지정된 어플리케이션을 기동한다고 해도 된다.
다음에, 스트리밍 수신과 통상 수신의 선택에 대해 설명한다.
도 97은, 본 실시의 형태에 있어서의 수신기의 동작의 일례를 설명하는 도면이다.
수신기는, 수신한 데이터의 소정의 어드레스의 값이 소정의 값인 경우나, 수신한 데이터가 소정의 식별자를 포함하는 경우는, 신호가 스트리밍 배달되고 있다고 판단하여, 스트리밍 데이터의 수신 방법으로 수신을 행한다. 그렇지 않은 경우는, 통상의 수신 방법으로 수신한다.
이것에 의해, 스트리밍 배달과 통상 배달 중 어떤 방법으로 신호가 송신되어 있어도 수신을 행할 수 있다.
다음에, 프라이빗 데이터에 대해 설명한다.
도 98은, 본 실시의 형태에 있어서의 수신기의 동작의 일례를 설명하는 도면이다.
수신기는, 수신한 ID의 값이 소정의 범위 내인 경우나, 소정의 식별자를 포함하는 경우에는, 어플리케이션 내에 테이블을 참조하고, 수신 ID가 테이블에 존재하면, 그 테이블에서 지정된 컨텐츠를 취득한다. 그렇지 않은 경우에는, 서버로부터 수신 ID에 지정된 컨텐츠를 취득한다.
이것에 의해, 서버에 등록을 행하지 않아도 컨텐츠를 수신할 수 있다. 또, 서버와의 통신을 행하지 않기 때문에, 민첩한 리스폰스가 얻어진다.
다음에, 주파수에 맞춘 노광 시간의 설정에 대해 설명한다.
도 99는, 본 실시의 형태에 있어서의 수신기의 동작의 일례를 설명하는 도면이다.
수신기는, 신호를 검지하여, 신호의 변조 주파수를 인식한다. 수신기는, 변조 주파수의 주기(변조 주기)에 맞추어 노광 시간을 설정한다. 예를 들면, 변조 주기와 동일 정도의 노광 시간으로 함으로써, 신호를 수신하기 쉽게 할 수 있다. 또, 예를 들면, 변조 주기의 정수배, 또는, 거기에 가까운 값(대체로 ±30% 정도)으로 노광 시간을 설정함으로써, 중첩 복호에 의해서 신호를 수신하기 쉽게 할 수 있다.
다음에, 송신기의 최적 파라미터 설정에 대해 설명한다.
도 100은, 본 실시의 형태에 있어서의 수신기의 동작의 일례를 설명하는 도면이다.
수신기는, 송신기로부터 수신한 데이터에 더하여, 현재 위치 정보나 사용자에게 관련된 정보(어드레스나 성별이나 연령이나 기호 등)를 서버에 송신한다. 서버는, 수신한 정보에 맞추어, 송신기가 최적으로 동작하기 위한 파라미터를 수신기에 송신한다. 수신기는, 수신한 파라미터를 송신기에 설정할 수 있는 경우에는 설정한다. 설정할 수 없는 경우에는, 파라미터를 표시하고, 사용자가 송신기에 그 파라미터를 설정하도록 재촉한다.
이것에 의해, 예를 들면, 송신기가 사용되고 있는 지역의 물의 성질에 최적화하여 세탁기를 동작시키거나, 사용자가 사용하고 있는 쌀의 종류에 최적인 방법으로 취사하도록 밥솥을 동작시키거나 할 수 있다.
다음에, 데이터의 구성을 나타내는 식별자에 대해 설명한다.
도 101은, 본 실시의 형태에 있어서의 송신 데이터의 구성의 일례를 설명하는 도면이다.
송신되는 정보는 식별자를 포함하고, 수신기는, 그 값에 따라서 후속하는 부분의 구성을 알 수 있다. 예를 들면, 데이터의 길이, 에러 정정 부호의 종류나 길이, 데이터의 분할점 등을 특정할 수 있다.
이것에 의해, 송신기는, 송신기나 통신로의 성질에 따라 데이터 본체나 에러 정정 부호의 종류나 길이를 변경할 수 있다. 또, 송신기는, 송신기의 ID에 더하여, 컨텐츠 ID를 송신함으로써, 수신기에 컨텐츠 ID에 따른 ID를 취득시킬 수 있다.
(실시의 형태 12)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
도 102는, 본 실시의 형태에 있어서의 수신기의 동작을 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 수신기(1210a)는, 이미지 센서에 의한 연속한 촬영을 행할 때에, 예를 들면 프레임 단위로 셔터 속도를 고속과 저속으로 전환한다. 또한, 수신기(1210a)는, 그 촬영에 의해서 얻어지는 프레임에 근거하여, 그 프레임에 대한 처리를, 바코드 인식 처리와 가시광 인식 처리로 전환한다. 여기서, 바코드 인식 처리란, 저속의 셔터 속도에 의해서 얻어지는 프레임에 비쳐 있는 바코드를 디코드하는 처리이다. 가시광 인식 처리란, 고속의 셔터 속도에 의해서 얻어지는 프레임에 비쳐 있는 전술의 휘선의 패턴을 디코드하는 처리이다.
이러한 수신기(1210a)는, 영상 입력부(1211)와 바코드·가시광 식별부(1212)와 바코드 인식부(1212a)와 가시광 인식부(1212b)와 출력부(1213)를 구비하고 있다.
영상 입력부(1211)은, 이미지 센서를 구비하고, 이미지 센서에 의한 촬영의 셔터 속도를 전환한다. 즉, 영상 입력부(1211)은, 예를 들면 프레임 단위로 셔터 속도를 저속과 고속으로 교대로 전환한다. 보다 구체적으로는, 영상 입력부(1211)는, 홀수 번째의 프레임에 대해서는 셔터 속도를 고속으로 전환하고, 짝수 번째의 프레임에 대해서는 셔터 속도를 저속으로 전환한다. 저속의 셔터 속도의 촬영은, 전술의 통상 촬영 모드에 의한 촬영이며, 고속의 셔터 속도의 촬영은, 전술의 가시광 통신 모드에 의한 촬영이다. 즉, 셔터 속도가 저속인 경우에는, 이미지 센서에 포함되는 각 노광 라인의 노광 시간은 길고, 피사체가 비추어진 통상 촬영 화상이 프레임으로서 얻어진다. 또, 셔터 속도가 고속인 경우에는, 이미지 센서에 포함되는 각 노광 라인의 노광 시간은 짧고, 전술의 휘선이 비추어진 가시광 통신 화상이 프레임으로서 얻어진다.
바코드·가시광 식별부(1212)는, 영상 입력부(1211)에 의해서 얻어지는 화상에, 바코드가 나타나고 있는지 아닌지, 또는 휘선이 나타나고 있는지 아닌지를 판별하는 것에 의해서, 그 화상에 대한 처리를 전환한다. 예를 들면, 바코드·가시광 식별부(1212)는, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 바코드가 나타나고 있으면, 그 화상에 대한 처리를 바코드 인식부(1212a)에 실행시킨다. 한편, 바코드·가시광 식별부(1212)는, 고속의 셔터 속도의 촬영에 의해서 얻어진 화상에 휘선이 나타나고 있으면, 그 화상에 대한 처리를 가시광 인식부(1212b)에 실행시킨다.
바코드 인식부(1212a)는, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 나타나고 있는 바코드를 디코드한다. 바코드 인식부(1212a)는, 그 디코드에 의해서, 바코드의 데이터(예를 들면 바코드 식별자)를 취득하고, 그 바코드 식별자를 출력부(1213)에 출력한다. 또한, 바코드는, 일차원의 코드라도, 이차원의 코드(예를 들면, QR 코드(등록 상표))라도 된다.
가시광 인식부(1212b)는, 고속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 나타나고 있는 휘선의 패턴을 디코드한다. 가시광 인식부(1212b)는, 그 디코드에 의해서, 가시광의 데이터(예를 들면 가시광 식별자)를 취득하고, 그 가시광 식별자를 출력부(1213)에 출력한다. 또한, 가시광의 데이터는 전술의 가시광 신호이다.
출력부(1213)는, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임만을 표시한다. 따라서, 영상 입력부(1211)에 의한 촬영의 피사체가 바코드인 경우에는, 출력부(1213)는 바코드를 표시한다. 또, 영상 입력부(1211)에 의한 촬영의 피사체가, 가시광 신호를 송신하는 디지털 사이니지 등인 경우에는, 출력부(1213)는 휘선의 패턴을 표시하지 않고, 그 디지털 사이니지의 상을 표시한다. 그리고, 출력부(1213)는, 바코드 식별자를 취득한 경우에는, 그 바코드 식별자에 대응시켜져 있는 정보를 예를 들면 서버 등으로부터 취득하고, 그 정보를 표시한다. 또, 출력부(1213)는 가시광 식별자를 취득한 경우에는, 그 가시광 식별자에 대응시켜져 있는 정보를 예를 들면 서버 등으로부터서 취득하고 그 정보를 표시한다.
즉, 단말 장치인 수신기(1210a)는, 이미지 센서를 구비하고, 이미지 센서의 셔터 속도를, 제1 속도와 제1 속도보다 고속인 제2 속도로 교대로 전환하면서, 이미지 센서에 의한 연속한 촬영을 행한다. 그리고, (a) 이미지 센서에 의한 촬영의 피사체가 바코드인 경우에는, 수신기(1210a)는, 셔터 속도가 제1 속도일 때의 촬영에 의해서, 바코드가 비쳐 있는 화상을 취득하고, 그 화상에 비쳐 있는 바코드를 디코드하는 것에 의해서, 바코드 식별자를 취득한다. 또, (b) 이미지 센서에 의한 촬영의 피사체가 광원(예를 들면 디지털 사이니지 등)인 경우에는, 수신기(1210a)는, 셔터 속도가 제2 속도일 때의 촬영에 의해서, 이미지 센서에 포함되는 복수의 노광 라인의 각각에 대응하는 휘선을 포함하는 화상인 휘선 화상을 취득한다. 그리고, 수신기(1210a)는, 취득된 휘선 화상에 포함되는 복수의 휘선의 패턴을 디코드하는 것에 의해서 가시광 신호를 가시광 식별자로서 취득한다. 또한, 이 수신기(1210a)는, 셔터 속도가 제1 속도일 때의 촬영에 의해서 얻어지는 화상을 표시한다.
이러한 본 실시의 형태에 있어서의 수신기(1210a)에서는, 바코드 인식 처리와 가시광 인식 처리를 전환하여 행하는 것에 의해서, 바코드의 디코드를 행함과 함께 가시광 신호를 수신할 수 있다. 또한, 전환에 의해서, 소비 전력을 억제할 수 있다.
본 실시의 형태에 있어서의 수신기는, 바코드 인식 처리 대신에 화상 인식 처리를 가시광 처리와 동시에 행해도 된다.
도 103A는, 본 실시의 형태에 있어서의 수신기의 다른 동작을 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 수신기(1210b)는, 이미지 센서에 의한 연속한 촬영을 행할 때에, 예를 들면 프레임 단위로 셔터 속도를 고속과 저속으로 전환한다. 또한, 수신기(1210b)는, 그 촬영에 의해서 얻어지는 화상(프레임)에 대해서, 화상 인식 처리와 전술의 가시광 인식 처리를 동시에 실행한다. 화상 인식 처리는, 저속의 셔터 속도에 의해서 얻어지는 프레임에 비쳐 있는 피사체를 인식하는 처리이다.
이러한 수신기(1210b)는, 영상 입력부(1211)와 화상 인식부(1212c)와 가시광 인식부(1212b)와 출력부(1215)를 구비하고 있다.
영상 입력부(1211)는, 이미지 센서를 구비하고, 이미지 센서에 의한 촬영의 셔터 속도를 전환한다. 즉, 영상 입력부(1211)는, 예를 들면 프레임 단위로 셔터 속도를 저속과 고속으로 교대로 전환한다. 보다 구체적으로는, 영상 입력부(1211)는, 홀수 번째의 프레임에 대해서는 셔터 속도를 고속으로 전환하고, 짝수 번째의 프레임에 대해서는 셔터 속도를 저속으로 전환한다. 저속의 셔터 속도의 촬영은, 전술의 통상 촬영 모드에 의한 촬영이고, 고속의 셔터 속도의 촬영은, 전술의 가시광 통신 모드에 의한 촬영이다. 즉, 셔터 속도가 저속인 경우에는, 이미지 센서에 포함되는 각 노광 라인의 노광 시간은 길고, 피사체가 비추어진 통상 촬영 화상이 프레임으로서 얻어진다. 또, 셔터 속도가 고속인 경우에는, 이미지 센서에 포함되는 각 노광 라인의 노광 시간은 짧고, 전술의 휘선이 비추어진 가시광 통신 화상이 프레임으로서 얻어진다.
화상 인식부(1212c)는, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 나타나고 있는 피사체를 인식함과 함께, 그 피사체의 프레임 내의 위치를 특정한다. 화상 인식부(1212c)는, 인식의 결과, 그 피사체가 AR(Augmented Reality)의 대상으로 되는 것(이하, AR 대상물이라고 함)인지 아닌지를 판단한다. 그리고, 화상 인식부(1212c)는, 피사체가 AR 대상물이라고 판단하면, 그 피사체에 관한 정보를 표시하기 위한 데이터(예를 들면, 피사체의 위치 및 AR 마커 등)인 화상 인식 데이터를 생성하고, 그 AR 마커를 출력부(1215)에 출력한다.
출력부(1215)는, 전술의 출력부(1213)와 동일하게, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임만을 표시한다. 따라서, 영상 입력부(1211)에 의한 촬영의 피사체가, 가시광 신호를 송신하는 디지털 사이니지 등인 경우에는, 출력부(1213)는, 휘선의 패턴을 표시하지 않고 그 디지털 사이니지의 상을 표시한다. 또한, 출력부(1215)는, 화상 인식부(1212c)로부터 화상 인식 데이터를 취득하면, 화상 인식 데이터에 의해서 나타나는 프레임 내의 피사체의 위치에 근거하여, 그 피사체를 둘러싸는 흰 테두리 형상의 인디케이터를 그 프레임에 중첩한다.
도 103B는, 출력부(1215)에 의해서 표시되는 인디케이터의 예를 나타내는 도면이다.
출력부(1215)는, 예를 들면 디지털 사이니지로서 구성된 피사체의 상(1215a)을 둘러싸는 흰 테두리 형상의 인디케이터(1215b)를 프레임에 중첩한다. 즉, 출력부(1215)는, 화상 인식된 피사체를 나타내는 인디케이터(1215b)를 표시한다. 또한, 출력부(1215)는, 가시광 인식부(1212b)로부터 가시광 식별자를 취득하면, 그 인디케이터(1215b)의 색을 예를 들면 흰색으로부터 적색으로 변경한다.
도 103C는, AR의 표시예를 나타내는 도면이다.
출력부(1215)는, 또한, 그 가시광 식별자에 대응시켜져 있는, 피사체에 관한 정보를 관련 정보로서 예를 들면 서버 등으로부터 취득한다. 출력부(1215)는, 화상 인식 데이터에 의해서 나타나는 AR 마커(1215c)에 관련 정보를 기재하고, 관련 정보가 기재된 AR 마커(1215c)를, 프레임 내의 피사체의 상(1215a)에 관련시켜 표시한다.
이러한 본 실시의 형태에 있어서의 수신기(1210b)에서는, 화상 인식 처리와 가시광 인식 처리를 동시에 행하는 것에 의해서, 가시광 통신을 이용한 AR을 실현할 수 있다. 또한, 도 103A에 나타내는 수신기(1210a)도, 수신기(1210b)와 동일하게, 도 103B에 나타내는 인디케이터(1215b)를 표시해도 된다. 이 경우, 수신기(1210a)는, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 있어서 바코드가 인식되면, 그 바코드를 둘러싸는 흰 테두리 형상의 인디케이터(1215b)를 표시한다. 그리고, 수신기(1210a)는, 그 바코드가 디코드되면, 그 인디케이터(1215b)의 색을 백색으로부터 적색으로 변경한다. 동일하게 수신기(1210a)는, 고속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 있어서 휘선의 패턴이 인식되면, 그 휘선의 패턴이 있는 부위에 대응하는, 저속 프레임 내의 부위를 특정한다. 예를 들면, 디지털 사이니지가 가시광 신호를 송신하고 있는 경우에는, 저속 프레임 내의 디지털 사이니지의 상이 특정된다. 또한, 저속 프레임이란, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임이다. 그리고, 수신기(1210a)는, 저속 프레임 내에 있어서의 특정된 부위(예를 들면, 전술의 디지털 사이니지의 상)를 둘러싸는 흰 테두리 형상의 인디케이터(1215b)를 저속 프레임에 중첩해 표시한다. 그리고, 수신기(1210a)는, 그 휘선의 패턴이 디코드되면, 그 인디케이터(1215b)의 색을 백색으로부터 적색으로 변경한다.
도 104A는, 본 실시의 형태에 있어서의 송신기의 일례를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 송신기(1220a)는, 송신기(1230)와 동기하여 가시광 신호를 송신한다. 즉, 송신기(1220a)는, 송신기(1230)가 가시광 신호를 송신하는 타이밍에서, 그 가시광 신호와 동일한 가시광 신호를 송신한다. 또한, 송신기(1230)는 발광부(1231)을 구비하고, 그 발광부(1231)가 휘도 변화하는 것에 의해서 가시광 신호를 송신한다.
이러한 송신기(1220a)는, 수광부(1221)와 신호 해석부(1222)와 송신 클락 조정부(1223a)와 발광부(1224)를 구비한다. 발광부(1224)는, 송신기(1230)로부터 송신되는 가시광 신호와 동일한 가시광 신호를 휘도 변화에 의해서 송신한다. 수광부(1221)는, 송신기(1230)로부터의 가시광을 수광하는 것에 의해서, 송신기(1230)로부터 가시광 신호를 수신한다. 신호 해석부(1222)는, 수광부(1221)에 의해서 수신된 가시광 신호를 해석하고, 그 해석 결과를 송신 클락 조정부(1223a)에 송신한다. 송신 클락 조정부(1223a)는, 그 해석 결과에 근거하여, 발광부(1224)로부터 송신되는 가시광 신호의 타이밍을 조정한다. 즉, 송신 클락 조정부(1223a)는, 송신기(1230)의 발광부(1231)로부터 가시광 신호가 송신되는 타이밍과, 발광부(1224)로부터 가시광 신호가 송신되는 타이밍이 일치하도록 발광부(1224)에 의한 휘도 변화의 타이밍을 조정한다.
이것에 의해, 송신기(1220a)에 의해서 송신되는 가시광 신호의 파형과, 송신기(1230)에 의해서 송신되는 가시광 신호의 파형을 타이밍적으로 일치시킬 수 있다.
도 104B는, 본 실시의 형태에 있어서의 송신기의 다른 예를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 송신기(1220b)는, 송신기(1220a)와 동일하게, 송신기(1230)와 동기하여 가시광 신호를 송신한다. 즉, 송신기(1200b)는, 송신기(1230)가 가시광 신호를 송신하는 타이밍에서, 그 가시광 신호와 동일한 가시광 신호를 송신한다.
이러한 송신기(1220b)는 제1 수광부(1221a)와 제2 수광부(1221b)와 비교부(1225)와 송신 클락 조정부(1223b)와 발광부(1224)를 구비한다.
제1 수광부(1221a)는, 수광부(1221)와 동일하게, 송신기(1230)로부터의 가시광을 수광하는 것에 의해서, 그 송신기(1230)로부터 가시광 신호를 수신한다. 제2 수광부(1221b)는 발광부(1224)로부터의 가시광을 수광한다. 비교부(1225)는, 제1 수광부(1221a)에 의해서 가시광이 수광된 제1 타이밍과, 제2 수광부(1221b)에 의해서 가시광이 수광된 제2 타이밍을 비교한다. 그리고, 비교부(1225)는, 그 제1 타이밍과 제2 타이밍과의 차이(즉 지연 시간)를 송신 클락 조정부(1223b)에 출력한다. 송신 클락 조정부(1223b)는, 그 지연 시간이 줄어들도록 발광부(1224)로부터 송신되는 가시광 신호의 타이밍을 조정한다.
이것에 의해, 송신기(1220b)에 의해서 송신되는 가시광 신호의 파형과 송신기(1230)에 의해서 송신되는 가시광 신호의 파형을 타이밍적으로 보다 정확하게 일치시킬 수 있다.
또한, 도 104A 및 도 104B에 나타내는 예에서는, 2개의 송신기가 동일한 가시광 신호를 송신했지만, 상이한 가시광 신호를 송신해도 된다. 즉, 2개의 송신기는, 동일한 가시광 신호를 송신할 때에는, 전술한 바와 같이 동기를 취하여 송신한다. 그리고, 2개의 송신기는, 상이한 가시광 신호를 송신할 때에는, 2개의 송신기 중 한쪽의 송신기만이 가시광 신호를 송신하고, 그 동안, 다른쪽의 송신기는 일정하게 점등 또는 소등한다. 그 후, 한쪽의 송신기는 일정하게 점등 또는 소등하고, 그 동안 다른쪽의 송신기만이 가시광 신호를 송신한다. 또한, 2개의 송신기가, 서로 상이한 가시광 신호를 동시에 송신해도 된다.
도 105A는, 본 실시의 형태에 있어서의 복수의 송신기에 의한 동기 송신의 일례를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 복수의 송신기(1220)는, 도 105A에 나타내는 바와 같이, 예를 들면 일렬로 배열된다. 또한, 이러한 송신기(1220)는, 도 104A 에 나타내는 송신기(1220a) 또는 도 104B에 나타내는 송신기(1220b)와 동일한 구성을 가진다. 이러한 복수의 송신기(1220)의 각각은, 양 옆의 송신기(1220) 중 한쪽의 송신기(1220)와 동기하여 가시광 신호를 송신한다.
이것에 의해, 많은 송신기가 가시광 신호를 동기하여 송신할 수 있다.
도 105B는, 본 실시의 형태에 있어서의 복수의 송신기에 의한 동기 송신의 일례를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 복수의 송신기(1220) 중 하나의 송신기(1220)는, 가시광 신호의 동기를 취하기 위한 기준이 되고, 나머지의 복수의 송신기(1220)는, 그 기준에 맞추도록 가시광 신호를 송신한다.
이것에 의해, 많은 송신기가 가시광 신호를 보다 정확하게 동기하여 송신할 수 있다.
도 106은, 본 실시의 형태에 있어서의 복수의 송신기에 의한 동기 송신의 다른 예를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 복수의 송신기(1240)의 각각은, 동기 신호를 수신하고, 그 동기 신호에 따라 가시광 신호를 송신한다. 이것에 의해, 복수의 송신기(1240)의 각각으로부터 가시광 신호가 동기하여 송신된다.
구체적으로는, 복수의 송신기(1240)의 각각은, 제어부(1241)와 동기 제어부(1242)와 포토 커플러(1243)과 LED 드라이브 회로(1244)와 LED(1245)와 포토 다이오드(1246)를 구비한다.
제어부(1241)는 동기 신호를 수신하고, 그 동기 신호를 동기 제어부(1242)에 출력한다.
LED(1245)는, 가시광을 방출하는 광원으로서 LED 드라이브 회로(1244)에 의한 제어에 따라 명멸(즉 휘도 변화)한다. 이것에 의해, 가시광 신호가 LED(1245)로부터 송신기(1240)의 밖에 송신된다.
포토 커플러(1243)는, 동기 제어부(1242)와 LED 드라이브 회로(1244)와의 사이를 전기적으로 절연하면서, 그 사이에서 신호를 전달한다. 구체적으로는, 포토 커플러(1243)는, 동기 제어부(1242)로부터 송신되는 후술의 송신 개시 신호를 LED 드라이브 회로(1244)에 전달한다.
LED 드라이브 회로(1244)는, 동기 제어부(1242)로부터 포토 커플러(1243)를 개재하여 송신 개시 신호를 수신하면, 그 송신 개시 신호를 수신한 타이밍에서, 가시광 신호의 송신을 LED(1245)에 개시시킨다.
포토 다이오드(1246)는 LED(1245)로부터 발해지는 가시광을 검출하고, 가시광을 검출한 것을 나타내는 검출 신호를 동기 제어부(1242)에 출력한다.
동기 제어부(1242)는, 동기 신호를 제어부(1241)로부터 수신하면, 송신 개시 신호를, 포토 커플러(1243)를 개재하여 LED 드라이브 회로(1244)에 송신한다. 이 송신 개시 신호가 송신되는 것에 의해서, 가시광 신호의 송신이 개시된다. 또, 동기 제어부(1242)는, 그 가시광 신호의 송신에 의해서 포토 다이오드(1246)로부터 검출 신호를 수신하면, 그 검출 신호를 수신한 타이밍과, 제어부(1241)로부터 동기 신호를 수신한 타이밍과의 차이인 지연 시간을 산출한다. 동기 제어부(1242)는, 다음의 동기 신호를 제어부(1241)로부터 수신하면, 그 산출된 지연 시간에 근거하여, 다음의 송신 개시 신호를 송신하는 타이밍을 조정한다. 즉, 동기 제어부(1242)는, 다음의 동기 신호에 대한 지연 시간이 미리 정해진 설정 지연 시간이 되도록, 다음의 송신 개시 신호를 송신하는 타이밍을 조정한다. 이것에 의해, 동기 제어부(1242)는, 그 조정된 타이밍으로, 다음의 송신 개시 신호를 송신한다.
도 107은, 송신기(1240)에 있어서의 신호 처리를 설명하기 위한 도면이다.
동기 제어부(1242)는, 동기 신호를 수신하면, 소정의 타이밍에 지연 시간 설정 펄스가 발생하는 지연 시간 설정 신호를 생성한다. 또한, 동기 신호를 수신한다는 것은, 구체적으로는 동기 펄스를 수신하는 것이다. 즉, 동기 제어부(1242)는, 동기 펄스의 상승으로부터, 전술의 설정 지연 시간만큼 경과한 타이밍에 지연 시간 설정 펄스가 상승하도록 지연 시간 설정 신호를 생성한다.
그리고, 동기 제어부(1242)는, 동기 펄스의 하강으로부터, 전회에 얻어진 보정값 N만큼 늦어진 타이밍으로 송신 개시 신호를, 포토 커플러(1243)를 개재하여 LED 드라이브 회로(1244)에 송신한다. 그 결과, LED 드라이브 회로(1244)에 의해서 LED(1245)로부터 가시광 신호가 송신된다. 여기서, 동기 제어부(1242)는, 동기 펄스의 하강으로부터, 고유 지연 시간과 보정값 N의 합만큼 늦어진 타이밍으로, 포토 다이오드(1246)로부터 검출 신호를 수신한다. 즉, 그 타이밍으로부터 가시광 신호의 송신이 개시된다. 이하, 그 타이밍을 송신 개시 타이밍이라고 한다. 또한, 전술의 고유 지연 시간은, 포토 커플러(1243) 등의 회로에 기인하는 지연 시간이며, 동기 제어부(1242)가 동기 신호를 수신하자마자 송신 개시 신호를 송신해도 발생하는 지연 시간이다.
동기 제어부(1242)는, 송신 개시 타이밍으로부터 지연 시간 설정 펄스의 상승까지의 시간차를, 수정 보정값 N으로서 특정한다. 그리고, 동기 제어부(1242)는, 보정값(N＋1)을, 보정값(N＋1)=보정값 N＋수정 보정값 N에 의해서 산출해 보관 유지해 둔다. 이것에 의해, 동기 제어부(1242)는, 다음의 동기 신호(동기 펄스)를 수신했을 때에는, 그 동기 펄스의 하강으로부터, 보정값(N＋1)만큼 늦어진 타이밍으로 송신 개시 신호를 LED 드라이브 회로(1244)에 송신한다. 또한, 수정 보정값 N은 플러스의 값 뿐만 아니라 마이너스의 값도 될 수 있다.
이것에 의해, 복수의 송신기(1240)의 각각은, 동기 신호(동기 펄스)를 수신하고 나서, 설정 지연 시간 경과 후에 가시광 신호를 송신하기 때문에, 정확하게 동기하여 가시광 신호를 송신할 수 있다. 즉, 복수의 송신기(1240)의 각각에서, 포토 커플러(1243) 등의 회로에 기인하는 고유 지연 시간에 편차가 있었다고 해도, 그 편차에 영향을 받지 않고, 복수의 송신기(1240)의 각각으로부터의 가시광 신호의 송신을 정확하게 동기시킬 수 있다.
또한, LED 드라이브 회로는, 큰 전력을 소비하는 것이고, 동기 신호를 취급하는 제어 회로로부터는 포토 커플러 등을 이용하여 전기적으로 절연된다. 따라서, 이러한 포토 커플러가 이용되는 경우에는, 전술의 고유 지연 시간의 편차에 의해서, 복수의 송신기로부터의 가시광 신호의 송신을 동기시키는 것이 어렵다. 그러나, 본 실시의 형태에 있어서의 복수의 송신기(1240)에서는, 포토 다이오드(1246)에 의해서 LED(1245)의 발광 타이밍이 검지되고, 동기 제어부(1242)에 의해서 동기 신호로부터의 지연 시간이 검지되며, 그 지연 시간이 미리 설정된 지연 시간(전술의 설정 지연 시간)이 되도록 조정된다. 이것에 의해, 각각 예를 들면 LED 조명으로서 구성되는 복수의 송신기에 구비되는 포토 커플러에, 개체 편차가 있어도, 복수의 LED 조명으로부터 가시광 신호(예를 들면 가시광 ID)를 고정밀도로 동기한 상태로 송신시킬 수 있다.
또한, 가시광 신호 송신 기간 이외에는 LED 조명을 점등시켜도, 소등시켜도 된다. 상기 가시광 신호 송신 기간 이외를 점등시키는 경우는, 가시광 신호의 최초의 하강 엣지를 검출하면 된다. 상기 가시광 신호 송신 기간 이외를 소등시키는 경우는, 가시광 신호의 최초의 상승 엣지를 검출하면 된다.
또한, 전술의 예에서는, 송신기(1240)는, 동기 신호를 수신할 때마다, 가시광 신호를 송신하지만, 동기 신호를 수신하지 않아도, 가시광 신호를 송신해도 된다. 즉, 송신기(1240)는 동기 신호의 수신에 따라 가시광 신호를 한 번 송신하면, 동기 신호를 수신하지 않아도 가시광 신호를 순차 송신해도 된다. 구체적으로는, 송신기(1240)는, 동기 신호의 한 번의 수신에 대해서, 가시광 신호의 송신을 2~수천회, 순차 행해도 된다. 또, 송신기(1240)는 100 m초에 1회의 비율 또는 수 초에 1회의 비율로, 동기 신호에 따른 가시광 신호의 송신을 행해도 된다.
또, 동기 신호에 따른 가시광 신호의 송신이 반복해서 행해질 때에는, 전술의 설정 지연 시간에 의해서 LED(1245)의 발광의 연속성이 없어질 가능성이 있다. 즉, 조금 긴 블랭킹 기간이 발생할 가능성이 있다. 그 결과, LED(1245)의 점멸이 사람에게 시인되어 버려, 이른바 플리커가 발생할 가능성이 있다. 따라서, 송신기(1240)는 60Hz 이상의 주기로, 동기 신호에 따른 가시광 신호의 송신을 행해도 된다. 이것에 의해, 점멸이 고속으로 행해지고 그 점멸은 사람에게 시인되기 어려워진다. 그 결과, 플리커의 발생을 억제할 수 있다. 또는, 송신기(1240)는, 예를 들면 수 분에 1회의 주기 등의 충분히 긴 주기로, 동기 신호에 따른 가시광 신호의 송신을 행해도 된다. 이것에 의해, 점멸이 사람에게 시인되어 버리지만, 점멸이 반복해 연속하여 시인되는 것을 방지할 수 있어 플리커가 사람에게 주는 불쾌감을 경감시킬 수 있다.
(수신 방법의 전처리)
도 108은, 본 실시의 형태에 있어서의 수신 방법의 일례를 나타내는 플로우 차트이다. 또, 도 109는, 본 실시의 형태에 있어서의 수신 방법의 일례를 설명하기 위한 설명도이다.
우선, 수신기는, 노광 라인에 평행한 방향으로 배열되고 있는 복수의 화소의 각각의 화소값의 평균값을 계산한다(단계 S1211). 중심 극한 정리에 의해, N개의 화소의 화소값을 평균하면, 노이즈량의 기대값은 N의 마이너스 1/2승이 되고, SN비가 개선된다.
다음에, 수신기는, 모든 색의 각각에서, 화소값이 수직 방향으로 동일한 변화를 하고 있는 부분만 남기고, 상이한 변화를 하고 있는 부분에서는 화소값의 변화를 제거한다(단계 S1212). 송신기에 구비되어 있는 발광부의 휘도에 의해서 송신 신호(가시광 신호)가 표현되는 경우, 송신기인 조명이나 디스플레이의 백 라이트의 휘도가 변화한다. 이 때에는, 도 109의 (b)의 부분과 같이, 모든 색의 각각에서 화소값이 동일한 방향으로 변화한다. 도 109의 (a) 및 (c)의 부분에서는, 각 색에서 화소값이 상이한 변화를 하고 있다. 이러한 부분에서는, 수신 노이즈 혹은, 디스플레이 또는 사이니지의 그림에 따라서 화소값이 변동하고 있기 때문에, 이러한 변동을 제거함으로써, SN비를 개선할 수 있다.
다음에, 수신기는, 휘도값을 구한다(단계 S1213). 휘도는 색에 따른 변화를 받기 힘들기 때문에, 디스플레이 또는 사이니지의 그림에 의한 영향을 배제할 수 있고 SN비를 개선할 수 있다.
다음에, 수신기는, 휘도값을 로 패스 필터에 걸친다(단계 S1214). 본 실시의 형태에 있어서의 수신 방법에서는, 노광 시간의 길이에 의한 이동 평균 필터가 걸쳐져 있기 때문에, 고주파수 영역에는 거의 신호는 포함되지 않고, 노이즈가 지배적이 된다. 그 때문에, 고주파수 영역을 컷하는 로 패스 필터를 이용함으로써, SN비를 개선할 수 있다. 노광 시간의 역수까지의 주파수까지는 신호 성분이 많기 때문에, 그 이상의 주파수를 차단함으로써 SN비의 개선의 효과를 크게 할 수 있다. 신호에 포함되어 있는 주파수 성분이 유한한 경우는, 그 주파수보다 높은 주파수를 차단함으로써, SN비를 개선할 수 있다. 로 패스 필터에는, 주파수 진동 성분을 포함하지 않는 필터(버터워스 필터 등)가 적합하다.
(중첩 최우 복호에 의한 수신 방법)
도 110은, 본 실시의 형태에 있어서의 수신 방법의 다른 예를 나타내는 플로우 차트이다. 이하, 이 도면을 이용하여, 노광 시간이 송신 주기보다 긴 경우의 수신 방법에 대해 설명한다.
노광 시간이 송신 주기의 정수배인 경우에, 가장 정밀하게 수신을 행할 수 있다. 정수배가 아닌 경우라도, (N±0.33)배(N는 정수) 정도의 범위이면 수신을 행할 수 있다.
우선, 수신기는, 송수신 오프셋을 0으로 설정한다(단계 S1221). 송수신 오프셋이란, 송신의 타이밍과 수신의 타이밍의 엇갈림을 수정하기 위한 값이다. 이 엇갈림은 불명하기 때문에, 수신기는, 그 송수신 오프셋의 후보가 되는 값을 조금씩 변화시켜, 가장 앞뒤가 맞는 값을 송수신 오프셋에 채용한다.
다음에, 수신기는, 송수신 오프셋이 송신 주기 미만인지 아닌지를 판정한다(단계 S1222). 여기서, 수신의 주기와 송신 주기는 동기하고 있지 않기 때문에, 송신 주기에 맞춘 수신값이 얻어지고 있다고는 할 수 없다. 그 때문에, 수신기는, 단계 S1222에서, 송신 주기 미만이라고 판정하면(단계 S1222의 Y), 그 부근의 수신값을 이용하여, 송신 주기마다, 송신 주기에 맞춘 수신값(예를 들면 화소값)을 보간에 의해서 계산한다(단계 S1223). 보간 방법에는, 선형 보간, 최근방 값, 또는 스플라인 보간 등을 이용할 수 있다. 다음에, 수신기는, 송신 주기마다 구한 수신값의 차분을 구한다(단계 S1224).
수신기는, 송수신 오프셋에 소정의 값을 더하고(단계 S1226), 단계 S1222로부터의 처리를 반복하여 실행한다. 또, 수신기는, 단계 S1222에서, 송신 주기 미만이 아니라고 판정하면(단계 S1222 의 N), 각 송수신 오프셋에 대해서 계산된 수신 신호의 우도 중 가장 높은 우도를 특정한다. 그리고, 수신기는, 그 가장 높은 우도가 소정의 값 이상인지 아닌지를 판정한다(단계 S1227). 소정의 값 이상으로 판정하면(단계 S1227의 Y), 수신기는, 가장 우도가 높았던 수신 신호를 최종적인 추정 결과로서 이용한다. 또는, 수신기는, 가장 높았던 우도로부터 소정의 값을 뺀 값 이상의 우도를 가지는 수신 신호를 수신 신호 후보로서 이용한다(단계 S1228). 한편, 단계 S1227에 있어서, 가장 높은 우도가 소정의 값 미만으로 판정하면(단계 S1227의 N), 수신기는 추정 결과를 파기한다(단계 S1229).
노이즈가 너무 많은 경우에는 수신 신호의 추정을 적절하게 할 수 없는 경우가 많고, 동시에 우도가 낮아진다. 따라서, 우도가 낮은 경우에는 추정 결과를 파기함으로써, 수신 신호의 신뢰성을 향상시킬 수 있다. 또, 입력 화상에 유효한 신호가 포함되지 않은 경우라도, 최우 복호에서는 유효한 신호를 추정 결과로서 출력해 버린다는 문제가 있다. 그러나, 이 경우도 우도가 낮아지기 때문에, 우도가 낮은 경우는 추정 결과를 파기함으로써 이 문제를 회피할 수도 있다.
(실시의 형태 13)
본 실시의 형태에서는, 가시광 통신의 프로토콜 송출 방식에 대해 설명한다.
(다값 진폭 펄스 신호)
도 111, 도 112 및 도 113은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
펄스의 진폭에 의미를 갖게 함으로써, 단위시간 당 보다 많은 정보를 표현할 수 있다. 예를 들면, 진폭을 3 단계로 분류하면, 도 111과 같이, 평균 휘도는 50%로 유지한 채로, 2 슬롯의 송신 시간으로 3값을 표현할 수 있다. 단, 도 111의 (c)를 연속으로 송신하면 휘도 변화가 없기 때문에, 신호의 존재를 이해하기 어렵다. 또, 디지털 처리에서는 3값은 조금 취급하기 어렵다.
따라서, 도 112의 (a)부터 (d)의 4 종류의 심볼을 이용함으로써, 평균 휘도는 50%로 유지한 채로, 평균 3 슬롯의 송신 시간으로 4값을 표현할 수 있다. 심볼에 따라서 송신 시간이 상이하지만, 심볼의 마지막 상태를 휘도가 낮은 상태로 함으로써, 심볼의 종료 시점을 인식할 수 있다. 휘도가 높은 상태와 낮은 상태를 바꿔 넣어도 동일한 효과가 얻어진다. 도 112의 (e)는, (a)를 2회 송신함으로써 구별이 되지 않기 때문에, 적합하지 않다. 도 112의 (f)와 (g)는, 중간 휘도가 연속하기 때문에, 약간 인식하기 어렵지만, 이용할 수 있다.
도 113의 (a)나 (b)의 패턴을 헤더로서 이용하는 것을 생각한다. 이러한 패턴은 주파수 해석에 있어서 특정 주파수 성분을 강하게 가지기 때문에, 이러한 패턴을 헤더로 함으로써 주파수 해석에 의해서 신호 검출을 행할 수 있다.
도 113의 (c)과 같이, (a)나 (b)의 패턴을 이용해 송신 패킷을 구성한다. 특정 길이의 패턴을 패킷 전체의 헤더로 하고, 상이한 길이의 패턴을 세퍼레이터로서 이용함으로써 데이터를 단락지을 수 있다. 또, 도중의 개소에 이 패턴을 포함함으로써, 신호 검출을 용이하게 할 수 있다. 이것에 의해, 1 패킷이 1 프레임의 화상의 촬상 시간보다 긴 경우라도, 수신기는, 데이터를 서로 연결하여 복호할 수 있다. 또, 이것에 의해, 세퍼레이터의 수를 조정함으로써 패킷의 길이를 가변으로 할 수 있다. 패킷 헤더의 패턴의 길이로 패킷 전체의 길이를 표현한다고 해도 된다. 또, 세퍼레이터를 패킷 헤더로 하고, 세퍼레이터의 길이를 데이터의 어드레스로 함으로써, 수신기는, 부분적으로 수신한 데이터를 합성할 수 있다.
송신기는, 이와 같이 구성한 패킷을 반복하여 송신한다. 도 113의 (c)의 패킷 1~4의 내용은 모두 동일해도 되고, 상이한 데이터로서 수신측에서 합성한다고 해도 된다.
(실시의 형태 14)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해 설명한다.
도 114A는, 본 실시의 형태에 있어서의 송신기를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 송신기는, 예를 들면 액정 디스플레이의 백 라이트로서 구성되고, 청색 LED(2303)와 녹색 형광 성분(2304) 및 적색 형광 성분(2305)으로 이루어지는 형광체(2310)를 구비한다.
청색 LED(2303)는, 청색(B)의 광을 발한다. 형광체(2310)는, 청색 LED(2303)로부터 발해진 청색의 광을 여기광으로서 받으면 황색(Y)으로 발광한다. 즉, 형광체(2310)는 황색 광을 발한다. 상세하게는, 형광체(2130)는, 녹색 형광 성분(2304) 및 적색 형광 성분(2305)으로 되기 때문에, 이러한 형광 성분의 발광에 의해서 황색 광을 발한다. 그러한 2개의 형광 성분 중 녹색 형광 성분(2304)은, 청색 LED(2303)로부터 발해진 청색의 광을 여기광으로서 받으면 녹색으로 발광한다. 즉, 녹색 형광 성분(2304)은, 녹색(G)의 광을 발한다. 전술의 2개의 형광 성분 중 적색 형광 성분(2305)은 청색 LED(2303)로부터 발해진 청색의 광을 여기광으로서 받으면 적색으로 발광한다. 즉, 적색 형광 성분(2305)은, 적색(R)의 광을 발한다. 이것에 의해, RGB 또는 Y(RG)B의 각각의 광이 발해지기 때문에, 송신기는 백 라이트로서 백색광을 출력한다.
이 송신기는, 청색 LED(2303)를 상기 각 실시의 형태와 동일하게 휘도 변화시킴으로써, 백색광의 가시광 신호를 송신한다. 이 때, 백색광의 휘도가 변화하는 것에 의해서 소정의 반송 주파수를 가지는 가시광 신호가 출력된다.
여기서, 바코드 리더는, 적색 레이저광을 바코드에 조사하고, 바코드로부터 반사되는 적색 레이저광의 휘도 변화에 근거하여 그 바코드를 판독한다. 이 적색 레이저광에 있어서의 바코드의 판독 주파수는, 현재 실용화되고 있는 일반적인 송신기로부터 출력되는 가시광 신호의 반송 주파수와 일치 또는 근사하고 있는 경우가 있다. 따라서, 이러한 경우에, 바코드 리더가, 그 일반적인 송신기로부터의 가시광 신호인 백색광에 비추어진 바코드를 판독하려고 하면, 그 백색광에 포함되는 적색의 광의 휘도 변화에 의해서, 그 판독에 실패해 버리는 일이 있다. 즉, 가시광 신호(특히 적색의 광)의 반송 주파수와 바코드의 판독 주파수와의 간섭에 의해서, 바코드의 판독 에러가 발생한다.
따라서 본 실시의 형태에 있어서의, 적색 형광 성분(2305)에는, 녹색 형광 성분(2304)보다도, 잔광의 계속 시간이 긴 형광 재료가 이용된다. 즉, 본 실시의 형태에 있어서의 적색 형광 성분(2305)은 청색 LED(2303) 및 녹색 형광 성분(2304)의 휘도 변화의 주파수보다 충분히 낮은 주파수로 휘도 변화한다. 바꾸어 말하면, 적색 형광 성분(2305)은, 가시광 신호에 포함되는 적색의 휘도 변화의 주파수를 무디게 한다.
도 114B는, RGB의 각각의 휘도 변화를 나타내는 도면이다.
청색 LED(2303)로부터의 청색의 광은, 도 114B의 (a)에 나타내는 바와 같이, 가시광 신호에 포함되어 출력된다. 녹색 형광 성분(2304)은, 도 114B의 (b)에 나타내는 바와 같이, 청색 LED(2303)로부터의 청색의 광을 받으면, 녹색으로 발광한다. 이 녹색 형광 성분(2304)에 있어서의 잔광의 계속 시간은 짧다. 따라서, 그 청색 LED(2303)가 휘도 변화하고 있으면, 녹색 형광 성분(2304)은, 그 청색 LED(2303)의 휘도 변화의 주파수(즉 가시광 신호의 반송 주파수)와 대략 동일한 주파수로 휘도 변화하는 녹색의 광을 발한다.
적색 형광 성분(2305)은, 도 114B의 (c)에 나타내는 바와 같이, 청색 LED(2303)로부터의 청색의 광을 받으면, 적색으로 발광한다. 이 적색 형광 성분(2305)에 있어서의 잔광의 계속 시간은 길다. 따라서, 그 청색 LED(2303)가 휘도 변화하고 있으면, 적색 형광 성분(2305)은 그 청색 LED(2303)의 휘도 변화의 주파수(즉 가시광 신호의 반송 주파수)보다, 낮은 주파수로 휘도 변화하는 적색의 광을 발한다.
도 115는, 본 실시의 형태에 있어서의 녹색 형광 성분(2304) 및 적색 형광 성분(2305)의 잔광 특성을 나타내는 도면이다.
녹색 형광 성분(2304)은, 예를 들면, 청색 LED(2303)가 휘도 변화하지 않고 점등하고 있는 경우, 강도 I=I0의 녹색의 광을 휘도 변화시키지 않고(즉 휘도 변화의 주파수 f=0의 광을) 발한다. 또, 청색 LED(2303)가 낮은 주파수로 휘도 변화해도, 녹색 형광 성분(2304)은, 그 낮은 주파수와 대략 동일한 주파수 f로 휘도 변화하는, 강도 I=I0의 녹색의 광을 발한다. 그러나, 청색 LED(2303)가 높은 주파수로 휘도 변화하면, 그 높은 주파수와 대략 동일한 주파수 f로 휘도 변화하는, 녹색 형광 성분(2304)으로부터 발해지는 녹색의 광의 강도 I는, 녹색 형광 성분(2304)에 있어서의 잔광의 영향에 의해서, 강도 I0보다 작아진다. 그 결과, 녹색 형광 성분(2304)으로부터 발해지는 녹색의 광의 강도 I는, 도 115의 점선에 나타내는 바와 같이, 그 광의 휘도 변화의 주파수 f가 임계값 fb 미만인 경우에는, I=I0으로 유지되지만, 주파수 f가 임계값 fb를 넘어 높아지면, 점차 작아진다.
또, 본 실시의 형태에 있어서의 적색 형광 성분(2305)의 잔광의 계속 시간은, 녹색 형광 성분(2304)의 잔광의 계속 시간보다 길다. 따라서, 적색 형광 성분(2305)으로부터 발해지는 적색의 광의 강도 I는, 도 115의 실선에 나타내는 바와 같이, 그 광의 휘도 변화의 주파수 f가, 상기 임계값 fb보다 낮은 임계값 fa 미만까지, I=I0로 유지되지만, 주파수 f가 임계값 fb를 넘어 높아지면, 점차 작아진다. 바꾸어 말하면, 적색 형광 성분(2305)으로부터 발해지는 적색의 광은, 녹색 형광 성분(2304)으로부터 발해지는 녹색의 광의 주파수 대역 중, 고주파 영역에는 존재하지 않고, 저주파 영역에만 존재한다.
보다 구체적으로는, 본 실시의 형태에 있어서의 적색 형광 성분(2305)에는, 가시광 신호의 반송 주파수 f1과 동일한 주파수 f로 발해지는 적색의 광의 강도 I가 I=I1이 되는 형광 재료가 이용된다. 반송 주파수 f1은, 송신기에 구비되어 있는 청색 LED(2303)에 의한 휘도 변화의 반송 주파수이다. 또, 전술의 강도 I1은, 강도 I0의 1/3의 강도, 또는, 강도 I0의 -10dB의 강도이다. 예를 들면, 반송 주파수 f1은 10 kHz, 또는 5~100 kHz이다.
즉, 본 실시의 형태에 있어서의 송신기는, 가시광 신호를 송신하는 송신기로서, 휘도 변화하는 청색의 광을 상기 가시광 신호에 포함되는 광으로서 발사하는 청색 LED와, 상기 청색의 광을 받는 것에 의해서 녹색의 광을 상기 가시광 신호에 포함되는 광으로서 발사하는 녹색 형광 성분과, 상기 청색의 광을 받는 것에 의해서 적색의 광을 상기 가시광 신호에 포함되는 광으로서 발사하는 적색 형광 성분을 구비한다. 그리고, 상기 적색 형광 성분에 있어서의 잔광의 계속 시간은, 녹색 형광 성분에 있어서의 잔광의 계속 시간보다 길다. 또한, 상기 녹색 형광 성분 및 상기 적색 형광 성분은, 상기 청색의 광을 받는 것에 의해서 황색 광을 상기 가시광 신호에 포함되는 광으로서 발사하는 단일의 형광체에 포함되어 있어도 된다. 혹은, 상기 녹색 형광 성분은, 녹색 형광체에 포함되고 또한, 상기 적색 형광 성분은, 상기 녹색 형광체와는 별체의 적색 형광체에 포함되어 있어도 된다.
이것에 의해, 적색 형광 성분에 있어서의 잔광의 계속 시간이 길기 때문에, 청색 및 녹색의 광의 휘도 변화에 있어서의 주파수보다 낮은 주파수로 적색의 광을 휘도 변화시킬 수 있다. 따라서, 백색광의 가시광 신호에 포함되는 청색 및 녹색의 광의 휘도 변화에 있어서의 주파수가, 적색 레이저광에 있어서의 바코드의 판독 주파수와 동일 또는 근사하고 있어도, 백색광의 가시광 신호에 포함되는 적색의 광의 주파수를, 바코드의 판독 주파수로부터 크게 상이하게 할 수 있다. 그 결과, 바코드의 판독 에러의 발생을 억제할 수 있다.
여기서, 상기 적색 형광 성분은, 청색 LED로부터 발해지는 광의 휘도 변화의 주파수보다 낮은 주파수로 휘도 변화하는 적색의 광을 발사해도 된다.
또, 상기 적색 형광 성분은, 청색의 광을 받는 것에 의해서 적색의 광을 발사하는 적색 형광 재료와, 소정의 주파수 대역의 광만을 투과시키는 로 패스 필터를 구비하고 있어도 된다. 예를 들면, 상기 로 패스 필터는, 상기 청색 LED로부터 발해지는 청색의 광 중, 저역의 주파수 대역의 광만을 투과시켜 상기 적색 형광 재료에 닿게 한다. 또한, 상기 적색 형광 재료는, 상기 녹색 형광 성분과 동일한 잔광 특성을 가지는 것이어도 된다. 또는, 상기 로 패스 필터는, 상기 청색 LED로부터 발해진 청색의 광이 상기 적색 형광 재료에 닿는 것에 의해서, 상기 적색 형광 재료로부터 발해지는 적색의 광 중, 저역의 주파수 대역의 광만을 투과시킨다. 이러한 로 패스 필터를 이용하는 경우라도, 전술과 동일하게, 바코드의 판독 에러의 발생을 억제할 수 있다.
또, 상기 적색 형광 성분은, 미리 정해진 잔광 특성을 가지는 형광 재료로부터 되어도 된다. 예를 들면, 미리 정해진 잔광 특성은, (a) 상기 적색 형광 성분으로부터 발해지는 적색의 광의 휘도 변화의 주파수f가 0인 경우에 있어서의 상기 적색의 광의 강도를 I0으로 하고, (b) 상기 청색 LED로부터 발해지는 광의 휘도 변화에 있어서의 반송 주파수를 f1로 하는 경우, 상기 적색의 광의 주파수 f가 f=f1일 때에, 상기 적색의 광의 강도가, 상기 I0의 1/3 이하, 또는 -10dB 이하가 되는, 특성이다.
이것에 의해, 가시광 신호에 포함되는 적색의 광의 주파수를, 바코드의 판독 주파수로부터 확실히 크게 상이하게 할 수 있다. 그 결과, 바코드의 판독 에러의 발생을 확실히 억제할 수 있다.
또, 상기 반송 주파수 f1는 대략 10 kHz라도 된다.
이것에 의해, 현재 실용화되고 있는, 가시광 신호의 송신에 이용되는 반송 주파수는 9.6 kHz이기 때문에, 이 실용화되고 있는 가시광 신호의 송신에 있어서, 바코드의 판독 에러의 발생을 유효하게 억제할 수 있다.
또, 상기 반송 주파수 f1은 대략 5~100 kHz라도 된다.
가시광 신호를 수신하는 수신기의 이미지 센서(촬상 소자)의 진보에 의해, 향후의 가시광 통신에 있어서, 20 kHz, 40 kHz, 80 kHz 또는 100 kHz 등의 반송 주파수가 이용되는 것이 상정된다. 따라서, 전술의 반송 주파수 f1을 대략 5~100 kHz로 함으로써, 향후의 가시광 통신에 있어서도, 바코드의 판독 에러의 발생을 유효하게 억제할 수 있다.
또한, 본 실시의 형태에서는, 녹색 형광 성분 및 적색 형광 성분이 단일의 형광체에 포함되어 있거나, 그러한 2개의 형광 성분의 각각이 별체의 형광체에 포함되어 있는 것에 관계없이, 상기 각 효과를 나타낼 수 있다. 즉, 단일의 형광체가 이용되는 경우라도, 그 형광체로부터 발해지는 적색의 광 및 녹색의 광의 각각의 잔광 특성, 즉 주파수 특성은 상이하다. 따라서, 적색의 광에 있어서의 잔광 특성 또는 주파수 특성이 뒤떨어져, 녹색의 광에 있어서의 잔광 특성 또는 주파수 특성이 우수한 단일 형광체를 이용하는 것에 의해서도, 상기 각 효과를 나타낼 수 있다. 또한, 잔광 특성 또는 주파수 특성이 뒤떨어진다는 것은, 잔광의 계속 시간이 길거나, 또는, 고주파수 대역에 있어서의 광의 강도가 약하다고 하는 것이고, 잔광 특성 또는 주파수 특성이 우수하다는 것은, 잔광의 계속 시간이 짧거나, 또는, 고주파수 대역에 있어서의 광의 강도가 강하다고 하는 것이다.
여기서, 도 114A~도 115에 나타내는 예에서는, 가시광 신호에 포함되는 적색의 휘도 변화의 주파수를 무디게 하는 것에 의해서, 바코드의 판독 에러의 발생을 억제했지만, 가시광 신호의 반송 주파수를 높게 하는 것에 의해서, 그 판독 에러의 발생을 억제해도 된다.
도 116은, 바코드의 판독 에러의 발생을 억제하기 위해서 새롭게 발생하는 과제를 설명하기 위한 도면이다.
도 116에 나타내는 바와 같이, 가시광 신호의 반송 주파수 fc가 약 10 kHz인 경우, 바코드의 판독에 이용되는 적색 레이저광의 판독 주파수도 약 10~20 kHz이기 때문에, 서로의 주파수가 간섭하여 바코드의 판독 에러가 발생한다.
따라서, 가시광 신호의 반송 주파수 fc를 약 10 kHz로부터 예를 들면 40 kHz로 올림으로써, 바코드의 판독 에러의 발생을 억제할 수 있다.
그러나, 가시광 신호의 반송 주파수 fc가 약 40 kHz이면, 수신기가 촬영에 의해서 가시광 신호를 샘플링하기 위한 샘플링 주파수 fs는, 80 kHz 이상일 필요가 있다.
즉, 수신기에 있어서 필요하게 되는 샘플링 주파수 fs가 높기 때문에, 수신기의 처리 부담이 증대한다는 새로운 과제가 생긴다. 따라서, 이 새로운 과제를 해결하기 위해서, 본 실시의 형태에 있어서의 수신기는 다운 샘플링을 행한다.
도 117은, 본 실시의 형태에 있어서의 수신기로 행해지는 다운 샘플링을 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 송신기(2301)는, 예를 들면 액정 디스플레이, 디지털 사이니지 또는 조명 기기로서 구성되어 있다. 그리고, 송신기(2301)는, 주파수 변조된 가시광 신호를 출력한다. 이 때, 송신기(2301)는, 그 가시광 신호의 반송 주파수 fc를 예를 들면 40 kHz와 45 kHz로 전환한다.
본 실시의 형태에 있어서의 수신기(2302)는, 그 송신기(2301)을 예를 들면 3 0fps의 프레임 레이트로 촬영한다. 이 때, 수신기(2302)는, 상기 각 실시의 형태에 있어서의 수신기와 동일하게, 촬영에 의해서 얻어지는 각 화상(구체적으로는 각 프레임)에 휘선이 생기도록 짧은 노광 시간에 촬영을 행한다. 또, 수신기(2302)의 촬영에 이용되는 이미지 센서에는, 예를 들면 1000개의 노광 라인이 있다. 따라서, 1 프레임의 촬영에서는, 1000개의 노광 라인이 각각 상이한 타이밍으로 노광을 개시하는 것에 의해서, 가시광 신호가 샘플링된다. 그 결과, 1초 동안에서는, 30fps×1000개=30000회의 샘플링(30 ks/초)이 행해진다. 바꾸어 말하면, 가시광 신호의 샘플링 주파수 fs는 30 kHz가 된다.
일반적인 샘플링 정리에 따르면, 샘플링 주파수 fs=30 kHz에서는, 15 kHz 이하의 반송 주파수의 가시광 신호 밖에 복조할 수 없다.
그러나, 본 실시의 형태에 있어서의 수신기(2302)는, 샘플링 주파수 fs=30 kHz로, 반송 주파수 fc=40 kHz 또는 45 kHz의 가시광 신호를 다운 샘플링한다. 이 다운 샘플링에 의해서, 프레임에는 앨리어스가 발생하지만, 본 실시의 형태에 있어서의 수신기(2302)는, 그 앨리어스를 관찰 및 분석하는 것에 의해서, 가시광 신호의 반송 주파수 fc를 추정한다.
도 118은, 본 실시의 형태에 있어서의 수신기(2302)의 처리 동작을 나타내는 플로우 차트이다.
우선, 수신기(2302)는, 피사체를 촬영함으로써, 반송 주파수 fc=40 kHz 또는 45 kHz의 가시광 신호에 대해서, 샘플링 주파수 fs=30 kHz의 다운 샘플링을 행한다(단계 S2310).
다음에, 수신기(2302)는, 그 다운 샘플링에 의해서 얻어지는 프레임에 발생하는 앨리어스를 관찰 및 분석한다(단계 S2311). 이것에 의해, 수신기(2302)는, 그 앨리어스의 주파수를 예를 들면 5.1kHz 또는 5.5 kHz로서 특정한다.
그리고, 수신기(2302)는, 그 특정된 앨리어스의 주파수에 근거하여, 가시광 신호의 반송 주파수 fc를 추정한다(단계 S2311). 즉, 수신기(2302)는, 앨리어스로부터 원래의 주파수를 복원한다. 이것에 의해, 수신기(2302)는, 가시광 신호의 반송 주파수 fc를 예를 들면 40 kHz 또는 45 kHz로서 추정한다.
이와 같이, 본 실시의 형태에 있어서의 수신기(2302)는, 다운 샘플링과 앨리어스에 근거한 주파수의 복원을 행하는 것에 의해서, 높은 반송 주파수의 가시광 신호를 적절하게 수신할 수 있다. 예를 들면, 수신기(2302)는, 샘플링 주파수가 fs=30 kHz라도, 30 kHz~60 kHz의 반송 주파수의 가시광 신호를 수신할 수 있다. 따라서, 가시광 신호의 반송 주파수를, 현재 실용화되고 있는 주파수(약 10 kHz)로부터 30 kHz~60 kHz로 올릴 수 있다. 그 결과, 가시광 신호의 반송 주파수와 바코드의 판독 주파수(10~20 kHz)를 크게 상이하게 할 수 있어 서로의 주파수의 간섭을 억제할 수 있다. 그 결과, 바코드의 판독 에러의 발생을 억제할 수 있다.
이러한 본 실시의 형태에 있어서의 수신 방법은, 피사체로부터 정보를 취득하는 수신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 프레임에, 상기 이미지 센서에 포함되는 복수의 노광 라인에 대응하는 복수의 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서에 포함되는 상기 복수의 노광 라인의 각각이 순차 상이한 시각으로 노광을 개시하는 것을 반복함으로써, 상기 이미지 센서가, 소정의 프레임 레이트로, 또한, 설정된 상기 노광 시간으로, 휘도 변화하는 상기 피사체를 촬영하는 촬영 단계와, 상기 촬영에 의해서 얻어지는 프레임마다, 상기 프레임에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계를 포함한다. 그리고, 상기 촬영 단계에서는, 상기 복수의 노광 라인의 각각이 순차 상이한 시각으로 노광을 개시하는 것을 반복하는 것에 의해서, 상기 피사체의 휘도 변화에 의해서 송신되는 가시광 신호의 반송 주파수보다 낮은 샘플링 주파수로, 상기 가시광 신호를 다운 샘플링하고, 상기 정보 취득 단계에서는, 상기 촬영에 의해서 얻어지는 프레임마다, 해당 프레임에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 앨리어스의 주파수를 특정하고, 특정된 상기 앨리어스의 주파수로부터 상기 가시광 신호의 주파수를 추정하며, 추정된 상기 가시광 신호의 주파수를 복조하는 것에 의해서 상기 정보를 취득한다.
이러한 수신 방법에서는, 다운 샘플링과 앨리어스에 근거한 주파수의 복원을 행하는 것에 의해서, 높은 반송 주파수의 가시광 신호를 적절하게 수신할 수 있다.
또, 상기 다운 샘플링에서는, 30 kHz보다 높은 반송 주파수의 가시광 신호를 다운 샘플링해도 된다. 이것에 의해, 가시광 신호의 반송 주파수와 바코드의 판독 주파수(10~20 kHz)와의 간섭을 피할 수 있고, 바코드의 판독 에러를 보다 효과적으로 억제할 수 있다.
(실시의 형태 15)
도 119는, 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다. 구체적으로는, 도 119는, 가시광 통신을 수신하는 경우에 있어서의, 통상 촬상 모드와 매크로 촬상 모드와의 전환 처리의 일례에 대해 설명하기 위한 도면이다.
여기서, 수신 장치(1610)는, 복수의 광원(도 119에서는, 4개의 광원)으로부터 구성되는 송신 장치가 발광하고 있는 가시광을 수신한다.
우선, 수신 장치(1610)는, 가시광 통신을 행하는 모드로 천이한 경우, 통상 촬상 모드로 촬상부를 기동한다(S1601). 또한, 수신 장치(1610)는 가시광 통신을 행하는 모드에 천이한 경우, 광원을 촬상하는 테두리(1611)를 화면에 표시한다.
소정 시간 후에, 수신 장치(1610)는 촬상부의 촬상 모드를 매크로 촬상 모드로 전환한다(S1602). 또한, 단계 S1601로부터 단계 S1602로의 전환의 타이밍은, 단계 S1601로부터 소정 시간 후는 아니라, 수신 장치(1610)가 테두리(1611) 내에 광원이 들어가도록 촬상된 것을 판단했을 때로 해도 된다. 이와 같이 매크로 촬상 모드로 전환하면, 사용자는, 매크로 촬상 모드에 의해 화상이 흐려지기 전의 통상 촬상 모드로의 선명한 화상으로 광원을 테두리(1611) 내에 넣으면 좋기 때문에, 용이하게 광원을 테두리(1611) 내에 넣을 수 있다.
다음에, 수신 장치(1610)는, 광원으로부터의 신호를 수신했는지 아닌지를 판정한다(S1603). 광원으로부터의 신호를 수신했다고 판정하면(S1603에서 Yes), 단계 S1601의 통상 촬상 모드로 되돌아가고, 광원으로부터의 신호를 수신하고 있지 않다고 판정하면(S1603에서 No), 단계 1602의 매크로 촬상 모드를 계속한다. 또한, 단계 S1603에서 Yes인 경우에는, 수신한 신호에 근거한 처리(예를 들면, 수신한 신호에 나타나는 화상을 표시하는 처리)를 행해도 된다.
이 수신 장치(1610)에 의하면, 사용자가 스마트 폰의 광원(1611)의 표시부를 손가락으로 터치함으로써 통상 촬상 모드로부터 매크로 촬상 모드로 전환함으로써, 복수의 광원을 흐려진 상태로 촬상할 수 있다. 이 때문에, 매크로 촬상 모드로 촬상한 화상에는, 통상 촬상 모드로 촬상한 경우의 화상보다 밝은 영역을 많이 포함한다. 특히, 복수의 광원 중 인접하는 2개의 광원의 사이에서는, 2개의 광원으로부터의 광이 서로 중합되기 때문에, 도 119의 (a)의 왼쪽 도면에 나타내는 바와 같이 스트라이프형상의 영상이 떨어져 있었기 때문에, 연속 신호로서 수신할 수 없다고 하는 과제를, 오른쪽 도면과 같이 연속한 스트라이프가 되기 위한 연속 수신 신호로서 복조할 수 있다. 한 번에 긴 부호를 수신할 수 있기 때문에, 리스폰스 시간이 짧아진다는 효과가 있다. 도 119의 (b)와 같이, 촬영 화상을 우선 통상 셔터와 통상 초점으로 촬영하면 아름다운 통상의 화상이 얻어진다. 그러나 문자와 같이 광원이 떨어져 있으면 셔터를 고속화해도 연속 데이터를 취할 수 없기 때문에 복조할 수 없다. 다음에 셔터를 고속화함과 함께 렌즈의 초점용 구동부를 근거리(매크로)로 하면 광원이 흐려져 넓혀지기 때문에, 4개의 광원이 연결되기 때문에 데이터를 수신할 수 있다. 다음에 초점을 되돌려, 셔터 속도를 통상으로 되돌리면 원래의 아름다운 화상이 얻어진다. (c)와 같이 표시부에는, 아름다운 화상을 메모리에 기록하고, 표시함으로써, 표시부에는 아름다운 화상만이 표시된다는 효과가 있다. 통상 촬상 모드로 촬상한 화상보다 매크로 촬상 모드로 촬상한 화상이 소정의 밝기보다 밝은 영역을 많이 포함한다. 따라서, 매크로 촬상 모드로는, 그 피사체에 대해서 휘선을 생성하는 것이 가능한 노광 라인의 수를 늘릴 수 있다.
도 120은, 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다. 구체적으로는, 도 120은, 가시광 통신을 수신하는 경우에 있어서의, 통상 촬상 모드와 매크로 촬상 모드와의 전환 처리의 다른 일례에 대해 설명하기 위한 도면이다.
여기서, 수신 장치(1620)는, 복수의 광원(도 120에서는, 4개의 광원)으로부터 구성되는 송신 장치가 발광하고 있는 가시광을 수신한다.
우선, 수신 장치(1620)는, 가시광 통신을 행하는 모드에 천이한 경우, 통상 촬상 모드로 촬상부를 기동하고, 수신 장치(1620)의 화면에 표시되고 있는 화상(1622)보다 넓은 범위의 화상(1623)을 촬상한다. 그리고, 촬상한 화상(1623)을 나타내는 화상 데이터와 상기 화상(1623)을 촬상했을 때의 수신 장치(1620)의 쟈이로 센서, 지자기 센서 및 가속도 센서에 의해 검출된 수신 장치(1620)의 자세를 나타내는 자세 정보를 메모리에 유지한다(S1611). 또한, 촬상한 화상(1623)은, 수신 장치(1620)의 화면에 표시되고 있는 화상(1622)을 기준으로 하여 상하 방향 및 좌우 방향으로 소정의 폭만큼 넓은 범위의 화상이다. 또, 수신 장치(1620)는 가시광 통신을 행하는 모드에 천이한 경우, 광원을 촬상하는 테두리(1621)를 화면에 표시한다.
소정 시간 후에, 수신 장치(1620)는, 촬상부의 촬상 모드를 매크로 촬상 모드로 전환한다(S1612). 또한, 단계 S1611로부터 단계 S1612로의 전환의 타이밍은, 단계 S1611로부터 소정 시간 후는 아니라, 화상(1623)을 촬상하고, 촬상한 화상(1623)을 나타내는 화상 데이터가 메모리에 보관 유지된 것을 판단했을 때로 해도 된다. 이 때, 수신 장치(1620)는 메모리에 보관 유지된 화상 데이터에 근거해 화상(1623) 중 수신 장치(1620)의 화면 사이즈에 대응하는 사이즈의 화상(1624)을 표시한다.
또한, 이 때 수신 장치(1620)에 표시되는 화상(1624)은, 화상(1623) 중 일부의 화상으로서, 단계 S1611에서 취득된 자세 정보로 나타나는 수신 장치(1620)의 자세(흰색 파선으로 나타나는 위치)와, 현재의 수신 장치(1620)의 자세와의 차분으로부터 현재의 수신 장치(1620)에 의해 촬상되어 있다고 예측되는 영역의 화상이다. 즉, 화상(1624)은, 화상(1623) 중 일부의 화상으로서, 실제로 매크로 촬상 모드로 촬상되고 있는 화상(1625)의 촬상 대상에 대응하는 영역의 화상이다. 즉, 단계 S1612에서는, 단계 S1611의 시점으로부터 변화한 자세(촬상 방향)를 취득하고, 취득한 현재의 자세(촬상 방향)로부터 현재 촬상되고 있다고 추측되는 촬상 대상을 특정하며, 미리 촬상한 화상(1623)으로부터 현재의 자세(촬상 방향)에 따른 화상(1624)을 특정하고, 화상(1624)을 표시하는 처리를 행하고 있다. 이 때문에, 수신 장치(1620)는, 도 120의 화상(1623)으로 나타내는 바와 같이, 흰색 파선으로 나타내는 위치로부터 희게 된 화살표의 방향으로 수신 장치(1620)가 이동한 경우에, 상기 이동량에 따라 화상(1623)으로부터 잘라내는 화상(1624)의 영역을 결정하고, 결정된 영역에 있어서의 화상(1623)인 화상(1624)을 표시할 수 있다.
이것에 의해, 수신 장치(1620)는, 매크로 촬상 모드로 촬상하고 있는 경우라도, 매크로 촬상 모드로 촬상되고 있는 화상(1625)을 표시하지 않고, 보다 선명한 통상 촬상 모드로 촬상한 화상(1623)으로부터, 현재의 수신 장치(1620)의 자세에 따라 잘라낸 화상(1624)을 표시할 수 있다. 초점을 흐리게 한 화상으로부터 거리가 떨어진 복수의 광원으로부터, 연속한 가시광 정보를 얻음과 함께, 기억한 통상 면상을 표시부에 표시시키는 본 발명의 방식에 있어서는, 사용자가 스마트 폰을 이용해 촬영할 때, 손 떨림이 발생하여, 실제의 촬영 화상과 메모리로부터 표시하는 정지 화상의 방향이 어긋나, 목표로 하는 광원에 사용자가 방향을 맞출 수 없다는 과제가 발생하는 것이 예상된다. 이 경우, 광원으로부터의 데이터를 수신할 수 없게 되기 때문에 대책이 필요하다. 그러나, 개량한 본 발명에 의해, 손이 떨려도 화상 요동 검지 수단이나 진동 쟈이로 당의 요동 검출 수단에 의해, 손떨림을 검지하여, 정지 화상 중의 목표 화상이 소정의 방향으로 시프트되어 카메라의 방향과의 어긋남을 사용자가 알 수 있다. 이 표시에 의해, 사용자가 목표로 하는 광원에 카메라를 향하게 하는 것이 가능해지기 때문에, 통상 화상을 표시하면서 분할된 복수의 광원을, 광학적으로 연결시켜 촬영할 수 있고 연속적으로 신호를 수신할 수 있다. 이것에 의해, 통상 화상을 표시시키기 때문에 복수로 분할된 광원을 수신할 수 있다. 이 경우, 복수의 광원이 테두리(1621)에 맞도록 수신 장치(1620)의 자세를 조정하는 것을 용이하게 할 수 있다. 또한, 초점을 번지게 하는 경우, 광원이 분산되기 때문에, 등가적으로 휘도가 떨어지기 때문에, 카메라의 ISO 등의 감도를 올림으로써 보다 확실하게 가시광 데이터를 수신할 수 있다는 효과가 있다.
다음에, 수신 장치(1620)는, 광원으로부터의 신호를 수신했는지 아닌지를 판정한다(S1613). 광원으로부터의 신호를 수신했다고 판정하면(S1613에서 Yes), 단계 S1611의 통상 촬상 모드로 되돌아가고, 광원으로부터의 신호를 수신하고 있지 않다고 판정하면(S1613에서 No), 단계 1612의 매크로 촬상 모드를 계속한다. 또한, 단계 S1613에서 Yes인 경우에는, 수신한 신호에 근거한 처리(예를 들면, 수신한 신호에 나타나는 화상을 표시하는 처리)를 행해도 된다.
이 수신 장치(1620)에 있어서도 수신 장치(1610)와 동일하게, 매크로 촬상 모드에 있어서 보다 밝은 영역을 포함하는 화상을 촬상할 수 있다. 이 때문에, 매크로 촬상 모드로는, 그 피사체에 대해서 휘선을 생성하는 것이 가능한 노광 라인의 수를 늘릴 수 있다.
도 121은, 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다.
여기서, 송신 장치(1630)는 예를 들면, 텔레비전 등의 표시 장치이며, 소정 시간 간격 Δ1630으로 가시광 통신에 의해 상이한 송신 ID를 송신하고 있다. 구체적으로는, 시각 t1631, t1632, t1633, t1634에 있어서, 각각 표시되는 화상 1631, 1632, 1633, 1634에 대응하는 데이터에 각각 서로 결합된 송신 ID인 ID1631, ID1632, ID1633, ID1634를 송신한다. 즉, 송신 장치(1630)로부터는, ID1631~ID1634가 소정 시간 간격 Δt1630으로 차례로 송신된다.
수신 장치(1640)는 가시광 통신에 의해 수신한 송신 ID에 근거해 서버(1650)에, 각 송신 ID에 서로 결합된 데이터를 요구하고, 서버로부터 데이터를 수신하며, 상기 데이터에 대응한 화상을 표시한다. 구체적으로는, ID1631, ID1632, ID1633, ID1634에 각각 대응한, 화상 1641, 1642, 1643, 1644를, 각각 시각 t1631, t1632, t1633, t1634에 있어서 표시한다.
수신 장치(1640)는 시각 t1631에서 수신한 ID1631를 취득한 경우, 서버(1650)로부터, 그 후의 시각 t1632~t1634에서 송신 장치(1630)로부터 송신될 예정의 송신 ID를 나타내는 ID 정보를 취득해도 된다. 이 경우, 수신 장치(1640)는, 취득한 ID 정보를 이용함으로써, 송신 장치(1630)로부터 송신 ID를 그때마다 수신하지 않아도, 시각 t1632~t1634에서의 ID1632~ID1634에 서로 결합된 데이터를 서버(1650)에 요구하고, 수신한 데이터를 각 시각 t1632~t1634로 표시할 수 있다.
또, 수신 장치(1640)는 서버(1650)로부터 그 후의 시각 t1632~t1634에서 송신 장치(1630)로부터 송신될 예정인 송신 ID를 나타내는 정보를 취득하지 않아도, 시각 t1631에 있어서 ID1631에 대응하는 데이터를 요구하면, 서버(1650)로부터 그 후의 시각 t1632~t1634에 대응하는 송신 ID에 서로 결합된 데이터를 수신하고, 수신한 데이터를 각 시각 t1632~t1634에서 표시하도록 해도 된다. 즉, 서버(1650)는, 수신 장치(1640)로부터 시각 t1631에 송신된 ID1631에 서로 결합된 데이터의 요구를 수신한 경우, 그 후의 시각 t1632~t1634에 대응하는 송신 ID에 서로 결합된 데이터를 수신 장치(1640)로부터의 요구가 없어도 수신 장치(1640)에 대해서 각 시각 t1632~t1634에 있어서 송신한다. 즉, 이 경우, 서버(1650)는, 각 시각 t1631~1634과, 각 시각 t1631~1634에 대응하는 송신 ID에 서로 결합된 데이터가 관련시켜진 관련시킴 정보를 보관 유지하고 있고, 관련시킴 정보에 근거해 소정의 시각에서 해당 소정의 시각에 관련시켜진 소정의 데이터를 송신한다.
이와 같이, 수신 장치(1640)는, 시각 t1631에 있어서 송신 ID1631을 가시광 통신에 의해 취득할 수 있으면, 그 후의 시각 t1632~t1634에서는, 가시광 통신을 행하지 않아도 서버(1650)로부터 각 시각 t1632~t1634에 대응하는 데이터를 수신할 수 있다. 이 때문에, 사용자는, 가시광 통신에 의해 송신 ID를 취득하기 위해서 송신 장치(1630)에 수신 장치(1640)을 계속해서 향하게 할 필요가 없어지고, 용이하게 수신 장치(1640)에 서버(1650)로부터 취득한 데이터를 표시시킬 수 있다. 이 경우, 수신 장치(1640)는, 서버로부터 ID에 대응하는 데이터를 매회 취득하면, 서버로부터의 시간 지연이 생겨 리스폰스 시간이 길어진다. 따라서, 리스폰스를 빠르게 하기 위해서는, 서버 등으로부터 미리, ID에 대응한 데이터를 수신기의 기억부에 기억해 두고, 기억부 중의 ID에 대응하는 데이터를 표시함으로써, 리스폰스 시간을 빠르게 할 수 있다. 이 방식에 있어서는, 가시광 송신기로부터의 송신 신호에 다음의 ID를 출력하는 시간 정보를 넣어 두면, 수신기측은 연속적으로 가시광 신호를 수신하지 않아도, 그 시간이 되면, 다음의 ID의 송신 시간을 알 수 있기 때문에, 수신 장치를 광원 쪽에 계속 향하게 해 둘 필요가 없어진다는 효과가 있다. 이 방식은, 가시광을 수신했을 때에, 송신기측의 시간 정보(시계)를 수신기측의 시간 정보(시계)의 동기를 취하는 것만으로, 동기 후에는, 송신기의 데이터를 취하지 않아도, 송신기와 동기한 화면을 연속적으로 표시할 수 있다는 효과가 있다.
또, 전술의 예에서는, 수신 장치(1640)는, 시각 t1631, t1632, t1633, 및 t1634의 각각에 있어서, 송신 ID인 ID1631, ID1632, ID1633 및 ID1634의 각각에 대응한, 화상 1641, 1642, 1643, 1644를 각각 표시했다. 여기서, 수신 장치(1640)는, 도 122에 나타내는 바와 같이, 상기 각 시각에 있어서 화상뿐만 아니라 다른 정보를 제시해도 된다. 즉, 수신 장치(1640)는, 시각 t1631에 있어서, ID1631에 대응한 화상 1641을 표시함과 함께, 그 ID1631에 대응한 소리 또는 음성을 출력한다. 이 때 또한, 수신 장치(1640)는 그 화상에 비추어져 있는 예를 들면 상품의 구입 사이트를 표시해도 된다. 이러한 소리의 출력 및 구입 사이트의 표시는, 시각 t1631 이외의 시각 t1632, t1633, 및 t1634의 각각에 있어서도 동일하게 행해진다.
다음에 도 119의 (b)와 같이 입체용의 좌우 2개의 카메라를 탑재한 스마트 폰의 경우는, 좌안용으로 통상의 셔터 속도, 통상의 초점으로 통상의 화질의 화상을 표시한다. 동시에 우안용 카메라에서는, 좌안보다 고속의 셔터로, 또한/혹은, 짧은 거리의 초점이나 매크로로 설정하여, 본 발명의 스트라이프형상의 휘선을 얻고 데이터를 복조한다. 이것에 의해, 표시부에는 통상의 화질의 화상이 표시됨과 함께, 우안 카메라에 의해, 거리적으로 분할된 복수의 광원의 광통신 데이터를 수신할 수 있다는 효과가 얻어진다.
(실시의 형태 16)
여기서, 음성 동기 재생의 응용예에 대해 이하에 설명한다.
도 123은, 실시의 형태 16에 있어서의 어플리케이션의 일례를 나타내는 도면이다.
예를 들면 스마트 폰으로서 구성되는 수신기(1800a)는, 예를 들면 가두 디지털 사이니지로서 구성되는 송신기(1800b)로부터 송신된 신호(가시광 신호)를 수신한다. 즉, 수신기(1800a)는, 송신기(1800b)에 의한 화상 재생의 타이밍을 수신한다. 수신기(1800a)는, 그 화상 재생과 동일한 타이밍으로, 음성을 재생한다. 바꾸어 말하면, 수신기(1800a)는, 송신기(1800b)에 의해서 재생되는 화상과 음성이 동기하도록 그 음성의 동기 재생을 행한다. 또한, 수신기(1800a)는, 송신기(1800b)에 의해서 재생되는 화상(재생 화상)과 동일한 화상, 또는, 그 재생 화상에 관련되는 관련 화상을, 음성과 함께 재생해도 된다. 또, 수신기(1800a)는, 수신기(1800a)에 접속된 기기에, 음성 등의 재생을 시켜도 된다. 또, 수신기(1800a)는, 가시광 신호를 수신한 후에는, 그 가시광 신호에 대응시켜져 있는 음성 또는 관련 화상 등의 컨텐츠를 서버로부터 다운로드해도 된다. 수신기(1800a)는, 그 다운로드 후에 동기 재생을 행한다.
이것에 의해, 송신기(1800b)로부터의 음성이 들리지 않는 경우나, 가두 음성 재생이 금지되고 있기 때문에 송신기(1800b)로부터의 음성이 재생되고 있지 않은 경우라도, 사용자는, 송신기(1800b)의 표시에 맞춘 음성을 들을 수 있다. 또, 음성 도달까지 시간이 걸리는 듯한 거리가 있는 경우라도, 표시에 맞춘 음성을 들을 수 있다.
여기서, 음성 동기 재생에 의한 다언어 대응에 대해 이하에 설명한다.
도 124는, 실시의 형태 16에 있어서의 어플리케이션의 일례를 나타내는 도면이다.
수신기(1800a) 및 수신기(1800c)의 각각은, 그 수신기에 설정된 언어의 음성으로서, 송신기(1800d)에 표시되고 있는 예를 들면 영화 등의 영상에 대응하는 음성을, 서버로부터 취득해 재생한다. 구체적으로는, 송신기(1800d)는, 표시되고 있는 영상을 식별하기 위한 ID를 나타내는 가시광 신호를 수신기에 송신한다. 수신기는, 그 가시광 신호를 수신하면, 그 가시광 신호에 나타나는 ID와, 스스로 설정되고 있는 언어를 포함하는 요구 신호를 서버에 송신한다. 수신기는, 그 요구 신호에 대응하는 음성을 서버로부터 취득해 재생한다. 이것에 의해, 사용자는, 자신의 설정한 언어로 송신기(1800d)에 표시된 작품을 즐길 수 있다.
여기서, 음성 동기 방법에 대해 이하에 설명한다.
도 125 및 도 126은, 실시의 형태 16에 있어서의 송신 신호의 예와 음성 동기 방법의 예를 나타내는 도면이다.
각각 상이한 데이터(예를 들면 도 125에 나타내는 데이터：1~6 등)는, 일정시간(N초)마다의 시각에 관련시켜져 있다. 이러한 데이터는, 예를 들면, 시간을 식별하기 위한 ID라도 되고, 시간이어도 되며, 음성 데이터(예를 들면 64 Kbps의 데이터)라도 된다. 이하, 데이터가 ID인 것을 전제로 설명한다. 각각 상이한 ID는, ID에 부수하는 부가 정보 부분이 상이한 것이다고 해도 된다.
ID를 구성하는 패킷은 상이한 쪽이 바람직하다. 그 때문에 ID는 연속하지 않은 쪽이 바람직하다. 혹은, ID를 패킷화할 때에, 비연속인 부분을 하나의 패킷으로서 구성하는 패킷화 방법이 바람직하다. 오류 정정 신호는, 연속한 ID라도 상이한 패턴이 되는 경향이 높기 때문에, 오류 정정 신호를 하나의 패킷에 정리하는 것이 아니라, 복수의 패킷에 분산시켜 구성한다고 해도 된다.
송신기(1800d)는, 예를 들면 표시하고 있는 화상의 재생 시각에 맞추어 ID를 송신한다. 수신기는, ID가 변경된 타이밍을 검출함으로써, 송신기(1800d)의 화상의 재생 시각(동기 시각)을 인식할 수 있다.
(a)의 경우는, ID：1과 ID：2의 변화 시점을 수신하고 있기 때문에, 정확하게 동기 시각을 인식할 수 있다.
ID가 송신되고 있는 시간 N이 긴 경우는, 이러한 기회가 적고, (b)와 같이 ID가 수신되는 일이 있다. 이 경우라도, 이하의 방법으로 동기 시각을 인식할 수 있다.
(b1) ID가 변화한 수신 구간의 중점을 ID 변화점으로 상정한다. 또, 과거에 추정한 ID 변화점으로부터 시간 N의 정수배 후의 시각도 ID 변화점으로 추정하고, 복수의 ID 변화점의 중점을 보다 정확한 ID 변화점으로 추정한다. 이러한 추정의 알고리즘에 의해, 서서히 정확한 ID 변화점을 추정할 수 있다.
(b2) 상기에 더하여, ID가 변화하지 않았던 수신 구간, 및, 그 시간 N 의 정수배 후의 시각은 ID 변화점이 포함되지 않는다고 추정함으로써, 서서히 ID 변화점일 가능성이 있는 구간이 줄어들어, 정확한 ID 변화점을 추정할 수 있다.
N을 0.5초 이하로 설정함으로써, 정확하게 동기시킬 수 있다.
N을 2초 이하로 설정함으로써, 사용자에게 지연을 느끼게 하지 않고 동기시킬 수 있다.
N을 10초 이하로 설정함으로써, ID의 낭비를 억제하여 동기시킬 수 있다.
도 126은, 실시의 형태 16에 있어서의 송신 신호의 예를 나타내는 도면이다.
도 126에서는, 시간 패킷에 의해서 동기를 행함으로써, ID의 낭비를 피할 수 있다. 시간 패킷은, 송신된 시각을 보관 유지하고 있는 패킷이다. 긴 시간을 표현할 필요가 있는 경우는, 세세한 시간을 나타내는 시간 패킷(1)과 성긴 시간을 나타내는 시간 패킷(2)으로 분할하여 시간 패킷을 구성한다. 예를 들면, 시간 패킷 2는, 시각 중의 시 및 분을 나타내고, 시간 패킷 1은, 시각 중 초만을 나타낸다. 시각을 나타내는 패킷을 3이상의 시간 패킷으로 분할한다고 해도 된다. 성긴 시간은 필요성이 옅기 때문에, 세세한 시간 패킷을 거친 시간 패킷보다 많이 송신함으로써, 수신기는 재빠르고 정확하게 동기 시각을 인식할 수 있다.
즉, 본 실시의 형태에서는, 가시광 신호는, 시각 중 시 및 분을 나타내는 제2 정보(시간 패킷 2)와, 시각 중 초를 나타내는 제1 정보(시간 패킷 1)를 포함하는 것에 의해서, 가시광 신호가 송신기(1800d)로부터 송신되는 시각을 나타낸다. 그리고, 수신기(1800a)는, 제2 정보를 수신함과 함께, 그 제2 정보를 수신하는 횟수보다 많은 횟수만큼 제1 정보를 수신한다.
여기서, 동기 시각 조정에 대해 이하에 설명한다.
도 127은, 실시의 형태 16에 있어서의 수신기(1800a)의 처리 플로우의 일례를 나타내는 도면이다.
신호가 송신되고 나서 수신기(1800a)에서 처리되고, 음성 또는 동영상이 재생될 때까지는 어느 정도의 시간이 걸리기 때문에, 이 처리 시간을 예측해 음성 또는 동영상을 재생하는 처리를 행함으로써, 정확하게 동기 재생을 행할 수 있다.
우선, 수신기(1800a)에는, 처리 지연 시간이 지정된다(단계 S1801). 이것은, 처리 프로그램 중에 보관 유지되고 있어도 되고, 사용자가 지정해도 된다. 사용자가 보정을 행함으로써, 수신기 개체에 맞춘 것보다 정확한 동기가 실현 가능해진다. 이 처리 지연 시간은, 수신기의 모델마다, 수신기의 온도나 CPU 사용 비율에 의해서 변화시킴으로써, 보다 정확하게 동기를 행할 수 있다.
수신기(1800a)는, 시간 패킷을 수신했는지 아닌지, 또는, 음성 동기용으로서 관련시켜진 ID를 수신했는지 아닌지를 판정한다(단계 S1802). 여기서, 수신기(1800a)는, 수신했다고 판정하면(단계 S1802의 Y), 또, 처리 대기 화상이 있는지 아닌지를 판정한다(단계 S1804). 처리 대기 화상이 있다고 판정하면(단계 S1804의 Y), 수신기(1800a)는, 그 처리 대기 화상을 폐기하고, 또는, 처리 대기 화상의 처리를 뒤로 돌려, 취득된 최신의 화상으로부터의 수신 처리를 행한다(단계 S1805). 이것에 의해, 처리 대기량에 의한 예측하지 못한 지연을 회피할 수 있다.
수신기(1800a)는, 가시광 신호(구체적으로는 휘선)가 화상 중의 어느 위치에 있는지를 계측한다(단계 S1806). 즉, 이미지 센서에 있어서의 최초의 노광 라인으로부터, 노광 라인에 수직인 방향의 어느 위치에 신호가 나타나고 있는지를 계측함으로써, 화상 취득 개시 시각으로부터 신호 수신 시각까지의 시간차(화상내 지연 시간)를 계산할 수 있다.
수신기(1800a)는, 인식한 동기 시각에, 처리 지연 시간과 화상내 지연 시간을 더한 시각의 음성 또는 동영상을 재생함으로써, 정확하게 동기 재생을 행할 수 있다(단계 S1807).
한편, 단계 S1802에 있어서, 수신기(1800a)는 시간 패킷 또는 음성 동기용 ID를 수신하고 있지 않다고 판정하면, 촬상에 의해서 얻어진 화상으로부터 신호를 수신한다(단계 S1803).
도 128은, 실시의 형태 16에 있어서의 수신기(1800a)의 사용자 인터페이스의 일례를 나타내는 도면이다.
사용자는, 도 128의 (a)에 나타내는 바와 같이, 수신기(1800a)에 표시된 버튼 Bt1~Bt4의 어느 쪽을 누름으로써, 전술의 처리 지연 시간을 조정할 수 있다. 또, 도 128의 (b)와 같이 스와이프 동작으로 처리 지연 시간을 설정할 수 있다고 해도 된다. 이것에 의해, 사용자의 감각에 근거해 보다 정확하게 동기 재생을 행할 수 있다.
여기서, 이어폰 한정 재생에 대해 이하에 설명한다.
도 129는, 실시의 형태 16에 있어서의 수신기(1800a)의 처리 플로우의 일례를 나타내는 도면이다.
이 처리 플로우에 의해서 나타나는 이어폰 한정 재생에 의해서, 주위에 폐를 끼치지 않고 음성 재생을 행할 수 있다.
수신기(1800a)는, 이어폰 한정의 설정이 행해지고 있는지 어떤지를 확인한다(단계 S1811). 이어폰 한정의 설정이 행해지고 있는 경우에는, 예를 들면, 수신기(1800a)에 이어폰 한정의 설정이 이루어지고 있다. 혹은, 수신된 신호(가시광 신호) 중에 이어폰 한정인 설정이 되고 있다. 또는, 이어폰 한정인 것이, 수신된 신호에 관련시켜져 서버 또는 수신기(1800a)에 기록되고 있다.
수신기(1800a)는, 이어폰 한정되어 있는 것을 확인하면(단계 S1811의 Y), 이어폰이 수신기(1800a)에 접속되어 있는지 아닌지를 판정한다(단계 S1813).
수신기(1800a)는, 이어폰 한정이 되어 있지 않은 것을 확인하면(단계 S1811의 N), 또는, 이어폰이 접속되어 있다고 판정하면 (단계 S1813의 Y), 음성을 재생한다(단계 S1812). 음성을 재생할 때에는, 수신기(1800a)는, 음량이 설정 범위 내가 되도록 그 음량을 조정한다. 이 설정 범위는, 이어폰 한정의 설정과 동일하게 설정되어 있다.
수신기(1800a)는, 이어폰이 접속되어 있지 않다고 판정하면(단계 S1813의 N), 이어폰의 접속을 사용자에게 재촉하는 통지를 행한다(단계 S1814). 이 통지는, 예를 들면, 화면 표시, 음성 출력 또는 진동에 의해서 행해진다.
또, 수신기(1800a)는, 강제적으로 음성 재생을 행하는 것을 금지하는 설정이 되어 있지 않은 경우에는, 강제 재생을 위한 인터페이스 준비하고, 사용자가 강제 재생의 조작을 행했는지 아닌지를 판정한다(단계 S1815). 여기서, 강제 재생의 조작을 행했다고 판정하면(단계 S1815의 Y), 수신기(1800a)는, 이어폰이 접속되어 있지 않은 경우에도 음성을 재생한다(단계 S1812).
한편, 강제 재생의 조작을 행하고 있지 않다고 판정하면(단계 S1815의 N), 수신기(1800a)는 미리 수신한 음성 데이터, 및 해석한 동기 시각을 보관 유지해 둠으로써, 이어폰이 접속되었을 때에 신속하게 음성의 동기 재생을 행한다.
도 130은, 실시의 형태 16에 있어서의 수신기(1800a)의 처리 플로우의 다른 예를 나타내는 도면이다.
수신기(1800a)는, 우선, 송신기(1800d)로부터 ID를 수신한다(단계 S1821). 즉, 수신기(1800a)는, 송신기(1800d)의 ID, 또는, 송신기(1800d)에 표시되고 있는 컨텐츠의 ID를 나타내는 가시광 신호를 수신한다.
다음에, 수신기(1800a)는, 그 수신한 ID에 관련시켜져 있는 정보(컨텐츠)를, 서버로부터 다운로드한다(단계 S1822). 또는, 수신기(1800a)는, 수신기(1800a)의 내부에 있는 데이터 보관 유지부로부터 그 정보를 독출한다. 이하, 이 정보를 관련 정보라고 한다.
다음에, 수신기(1800a)는, 그 관련 정보에 포함되어 있는 동기 재생 플래그가 ON을 나타내고 있는지 아닌지를 판정한다(단계 S1823). 여기서, 동기 재생 플래그가 ON을 나타내지 않다고 판정하면(단계 S1823의 N), 수신기(1800a)는, 그 관련 정보에 의해서 나타나는 내용을 출력한다(단계 S1824). 즉, 그 내용이 화상인 경우에는, 수신기(1800a)는 화상을 표시하고, 그 내용이 음성인 경우에는, 수신기(1800a)는 음성을 출력한다.
한편, 수신기(1800a)는, 동기 재생 플래그가 ON을 나타내고 있다고 판정하면(단계 S1823의 Y), 추가로 그 관련 정보에 포함되어 있는 시각 맞춤 모드가, 송신기 기준 모드로 설정되어 있는지, 절대 시각 모드로 설정되어 있는지를 판정한다(단계 S1825). 절대 시각 모드로 설정되어 있다고 판정하면, 수신기(1800a)는, 최후의 시각 맞춤이 현재 시각부터 일정 시간 이내에 행해졌는지 아닌지를 판정한다(단계 S1826). 이 때의 시각 맞춤은, 소정의 방법에 따라 시각 정보를 입수하고, 그 시각 정보를 이용하여 수신기(1800a)에 구비되어 있는 시계의 시각을, 기준 클락의 절대 시각에 맞추는 처리이다. 소정의 방법은, 예를 들면 GPS(Global Positioning System) 전파 또는 NTP(Network Time Protocol) 전파를 이용한 방법이다. 또한, 전술의 현재 시각은, 단말 장치인 수신기(1800a)가 가시광 신호를 수신한 시각이어도 된다.
수신기(1800a)는, 최후의 시각 맞춤이 일정 시간 이내에 행해졌다고 판정하면(단계 S1826의 Y), 수신기(1800a)의 시계의 시각에 근거해 관련 정보를 출력함으로써, 송신기(1800d)에 표시되는 컨텐츠와 관련 정보를 동기시킨다(단계 S1827). 관련 정보에 의해서 나타나는 내용이 예를 들면 동영상인 경우에는, 수신기(1800a)는, 송신기(1800d)에 표시되는 컨텐츠에 동기하도록 그 동영상을 표시한다. 관련 정보에 의해서 나타나는 내용이 예를 들면 음성인 경우에는, 수신기(1800a)는, 송신기(1800d)에 표시되는 컨텐츠에 동기하도록 그 음성을 출력한다. 예를 들면, 관련 정보가 음성을 나타내는 경우에는, 관련 정보는, 음성을 구성하는 각 프레임을 포함하고, 그러한 프레임에는 타임 스탬프가 부착되어 있다. 수신기(1800a)는, 스스로의 시계의 시각에 해당하는 타임 스탬프가 부착되어 있는 프레임을 재생하는 것에 의해서, 송신기(1800d)의 컨텐츠에 동기된 음성을 출력한다.
수신기(1800a)는, 최후의 시각 맞춤이 일정 시간 이내에 행해지지 않다고 판정하면(단계 S1826의 N), 소정의 방법으로 시각 정보의 입수를 시도하고, 그 시각 정보를 입수할 수 있는지 아닌지를 판정한다(단계 S1828). 여기서, 시각 정보를 입수할 수 있었다고 판정하면(단계 S1828의 Y), 수신기(1800a)는, 그 시각 정보를 이용하여 수신기(1800a)의 시계의 시각을 갱신한다(단계 S1829). 그리고, 수신기(1800a)는, 전술의 단계 S1827의 처리를 실행한다.
또, 단계 S1825에 있어서, 시각 맞춤 모드가 송신기 기준 모드라고 판정했을 때, 또는, 단계 S1828에 있어서, 시각 정보를 입수할 수 없었다고 판정하면(단계 S1828의 N), 수신기(1800a)는, 송신기(1800d)로부터 시각 정보를 취득한다(단계S1830). 즉, 수신기(1800a)는, 가시광 통신에 의해서 동기 신호인 시각 정보를 송신기(1800d)로부터 취득한다. 예를 들면, 동기 신호는, 도 126에 나타내는 시간 패킷 1 및 시간 패킷 2이다. 또는, 수신기(1800a)는, Bluetooth(등록 상표) 또는 Wi－Fi 등의 전파에 의해서 시각 정보를 송신기(1800d)로부터 취득한다. 그리고, 수신기(1800a)는, 전술의 단계 S1829 및 S1827의 처리를 실행한다.
본 실시의 형태에서는, 단계 S1829, S1830와 같이, GPS 전파 또는 NTP 전파에 의해서, 수신기(1800a)인 단말 장치의 시계와, 기준 클락과의 사이에서 동기를 취하기 위한 처리(시각 맞춤)가 행해진 시각이, 단말 장치가 가시광 신호를 수신한 시각으로부터 소정의 시간보다 전인 경우, 송신기(1800d)로부터 송신된 가시광 신호가 나타내는 시각에 의해, 단말 장치의 시계와 송신기의 시계와의 사이에 동기를 취한다. 이것에 의해, 단말 장치는, 송신기(1800d)에서 재생되는 송신기측 컨텐츠와 동기하는 타이밍에, 컨텐츠(동영상 또는 음성)를 재생할 수 있다.
도 131A는, 실시의 형태 16에 있어서의 동기 재생의 구체적인 방법을 설명하기 위한 도면이다. 동기 재생의 방법에는, 도 131A에 나타내는 방법 a~e가 있다.
(방법 a)
방법 a에서는, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시키는 것에 의해, 컨텐츠 ID 및 컨텐츠 재생 중 시각을 나타내는 가시광 신호를 출력한다. 컨텐츠 재생 중 시각은, 컨텐츠 ID가 송신기(1800d)로부터 송신되었을 때에 송신기(1800d)에 의해서 재생되고 있는, 컨텐츠의 일부인 데이터의 재생 시각이다. 데이터는, 컨텐츠가 동영상이면, 그 동영상을 구성하는 픽쳐 또는 시퀀스 등이고, 컨텐츠가 음성이면, 그 음성을 구성하는 프레임 등이다. 재생 시각은, 예를 들면, 컨텐츠의 선두로부터의 재생 시간을 시각으로서 나타낸다. 컨텐츠가 동영상이면, 재생 시각은 PTS(Presentation Time Stamp)로서 컨텐츠에 포함되어 있다. 즉, 컨텐츠에는, 그 컨텐츠를 구성하는 데이터마다, 그 데이터의 재생 시각(표시 시각)이 포함되어 있다.
수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영하는 것에 의해서, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 컨텐츠 ID를 포함하는 요구 신호를 서버(1800f)에 송신한다. 서버(1800f)는, 그 요구 신호를 수신하고, 요구 신호에 포함되는 컨텐츠 ID에 대응시켜져 있는 컨텐츠를 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 컨텐츠를 수신하면, 그 컨텐츠를, (컨텐츠 재생 중 시각＋ID 수신으로부터의 경과 시간)의 시점으로부터 재생한다. ID 수신으로부터의 경과 시간은, 컨텐츠 ID가 수신기(1800a)에 의해서 수신되었을 때로부터의 경과 시간이다.
(방법 b)
방법 b에서는, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시키는 것에 의해서, 컨텐츠 ID 및 컨텐츠 재생 중 시각을 나타내는 가시광 신호를 출력한다. 수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영하는 것에 의해서, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 컨텐츠 ID 및 컨텐츠 재생 중 시각을 포함하는 요구 신호를 서버(1800f)에 송신한다. 서버(1800f)는, 그 요구 신호를 수신하고, 요구 신호에 포함되는 컨텐츠 ID에 대응시켜져 있는 컨텐츠 가운데, 컨텐츠 재생 중 시각 이후의 일부의 컨텐츠만을 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 일부의 컨텐츠를 수신하면, 그 일부의 컨텐츠를, (ID 수신으로부터의 경과 시간)의 시점으로부터 재생한다.
(방법 c)
방법 c에서는, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시키는 것 의해, 송신기 ID 및 컨텐츠 재생 중 시각을 나타내는 가시광 신호를 출력한다. 송신기 ID는, 송신기를 식별하기 위한 정보이다.
수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영하는 것에 의해서, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 송신기 ID를 포함하는 요구 신호를 서버(1800f)에 송신한다.
서버(1800f)는, 송신기 ID마다, 그 송신기 ID의 송신기에 의해서 재생되는 컨텐츠의 타임 테이블인 재생 예정표를 보관 유지하고 있다. 또한, 서버(1800f)는 시계를 구비하고 있다. 이러한 서버(1800f)는, 그 요구 신호를 수신하면, 그 요구 신호에 포함되는 송신기 ID와, 서버(1800f)의 시계의 시각(서버 시각)에 대응시켜져 있는 컨텐츠를, 재생 중인 컨텐츠로서 재생 예정표로부터 특정한다. 그리고, 서버(1800f)는, 그 컨텐츠를 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 컨텐츠를 수신하면, 그 컨텐츠를, (컨텐츠 재생 중 시각＋ID 수신으로부터의 경과 시간)의 시점으로부터 재생한다.
(방법 d)
방법 d에서는, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시키는 것에 의해, 송신기 ID 및 송신기 시각을 나타내는 가시광 신호를 출력한다. 송신기 시각은, 송신기(1800d)에 구비되어 있는 시계에 의해서 표시되는 시각이다.
수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영하는 것에 의해서, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 표시되는 송신기 ID 및 송신기 시각을 포함하는 요구 신호를 서버(1800f)에 송신한다.
서버(1800f)는, 전술의 재생 예정표를 보관 유지하고 있다. 이러한 서버(1800f)는, 그 요구 신호를 수신하면, 그 요구 신호에 포함되는 송신기 ID와 송신기 시각에 대응시켜져 있는 컨텐츠를, 재생 중의 컨텐츠로서 재생 예정표로부터 특정한다. 또한, 서버(1800f)는, 송신기 시각으로부터 컨텐츠 재생 중 시각을 특정한다. 즉, 서버(1800f)는, 특정된 컨텐츠의 재생 개시 시각을 재생 예정표로부터 찾아내고, 송신기 시각과 재생 개시 시각과의 사이의 시간을 컨텐츠 재생 중 시각으로서 특정한다. 그리고, 서버(1800f)는, 그 컨텐츠 및 컨텐츠 재생 중 시각을 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 컨텐츠 및 컨텐츠 재생 중 시각을 수신하면, 그 컨텐츠를, (컨텐츠 재생 중 시각＋ID 수신으로부터의 경과 시간)의 시점으로부터 재생한다.
이와 같이, 본 실시의 형태에서는, 가시광 신호는, 그 가시광 신호가 송신기(1800d)로부터 송신되는 시각을 나타낸다. 따라서, 단말 장치인 수신기(1800a)는, 가시광 신호가 송신기(1800d)로부터 송신되는 시각(송신기 시각)에 대응시켜진 컨텐츠를 수신할 수 있다. 예를 들면, 송신기 시각이 5시 43분이면, 5시 43분에 재생되는 컨텐츠를 수신할 수 있다.
또, 본 실시의 형태에서는, 서버(1800f)는, 각각 시각에 관련시켜져 있는 복수의 컨텐츠를 가지고 있다. 그러나, 가시광 신호가 나타내는 시각에 관련시켜진 컨텐츠가 서버(1800f)에 존재하지 않는 경우가 있다. 이러한 경우에는, 단말 장치인 수신기(1800a)는, 그 복수의 컨텐츠 가운데, 가시광 신호가 나타내는 시각에 가장 가깝고, 또한 가시광 신호가 나타내는 시각의 뒤의 시각에 관련시켜져 있는 컨텐츠를 수신해도 된다. 이것에 의해, 가시광 신호가 나타내는 시각에 관련시켜진 컨텐츠가 서버(1800f)에 존재하지 않아도, 그 서버(1800f)에 있는 복수의 컨텐츠 중에서, 적절한 컨텐츠를 수신할 수 있다.
또, 본 실시의 형태에 있어서의 재생 방법은, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기(1800d)로부터, 가시광 신호를 수신기(1800a)(단말 장치)의 센서에 의해 수신하는 신호 수신 단계와, 수신기(1800a)로부터, 가시광 신호에 대응시켜진 컨텐츠를 요구하기 위한 요구 신호를 서버(1800f)에 송신하는 송신 단계와, 수신기(1800a)가, 서버(1800f)로부터 컨텐츠를 수신하는 컨텐츠 수신 단계와, 컨텐츠를 재생하는 재생 단계를 포함한다. 가시광 신호는, 송신기 ID와 송신기 시각을 나타낸다. 송신기 ID는 ID 정보이다. 또, 송신기 시각은, 송신기(1800d)의 시계에 의해서 나타나는 시각이며, 그 가시광 신호가 송신기(1800d)로부터 송신되는 시각이다. 그리고, 컨텐츠 수신 단계에서는, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 송신기 ID 및 송신기 시각에 대응시켜진 컨텐츠를 수신한다. 이것에 의해, 수신기(1800a)는, 송신기 ID 및 송신기 시각에 대해서 적절한 컨텐츠를 재생할 수 있다.
(방법 e)
방법 e에서는, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시키는 것에 의해, 송신기 ID를 나타내는 가시광 신호를 출력한다.
수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영하는 것에 의해서, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 표시되는 송신기 ID를 포함하는 요구 신호를 서버(1800f)에 송신한다.
서버(1800f)는, 전술의 재생 예정표를 보관 유지하고, 또한, 시계를 구비하고 있다. 이러한 서버(1800f)는, 그 요구 신호를 수신하면, 그 요구 신호에 포함되는 송신기 ID와 서버 시각에 대응시켜져 있는 컨텐츠를, 재생 중의 컨텐츠로서 재생 예정표로부터 특정한다. 또한, 서버 시각은, 서버(1800f)의 시계에 의해서 표시되는 시각이다. 또한, 서버(1800f)는, 특정된 컨텐츠의 재생 개시 시각도 재생 예정표로부터 찾아낸다. 그리고, 서버(1800f)는, 그 컨텐츠 및 컨텐츠 재생 개시 시각을 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 컨텐츠 및 컨텐츠 재생 개시 시각을 수신하면, 그 컨텐츠를, (수신기 시각-컨텐츠 재생 개시 시각)의 시점으로부터 재생한다. 또한, 수신기 시각은, 수신기(1800a)에 구비되어 있는 시계에 의해서 표시되는 시각이다.
이와 같이, 본 실시의 형태에 있어서의 재생 방법은, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기(1800d)로부터, 가시광 신호를 수신기(1800a)(단말 장치)의 센서에 의해 수신하는 신호 수신 단계와, 수신기(1800a)로부터, 가시광 신호에 대응시켜진 컨텐츠를 요구하기 위한 요구 신호를 서버(1800f)에 송신하는 송신 단계와, 수신기(1800a)가, 각 시각과, 각 시각에 재생되는 데이터를 포함하는 컨텐츠를, 서버(1800f)로부터 수신하는 컨텐츠 수신 단계와, 그 컨텐츠 가운데, 수신기(1800a)에 구비되어 있는 시계의 시각에 해당하는 데이터를 재생하는 재생 단계를 포함한다. 따라서, 수신기(1800a)는, 그 컨텐츠에 있어서의 데이터를, 잘못된 시각에 재생해 버리지 않고 그 컨텐츠에 표시되는 올바른 시각에, 적절하게 재생할 수 있다. 또, 송신기(1800d)에 있어서도, 그 컨텐츠에 관련된 컨텐츠(송신기측 컨텐츠)가 재생되어 있으면, 수신기(1800a)는, 컨텐츠를 그 송신기측 컨텐츠에 적절하게 동기시켜 재생할 수 있다.
또한, 상기 방법 c~e라도, 방법 b와 같이, 서버(1800f)는, 컨텐츠 중, 컨텐츠 재생 중 시각 이후의 일부의 컨텐츠만을 수신기(1800a)에 송신해도 된다.
또, 상기 방법 a~e에서는, 수신기(1800a)는, 서버(1800f)에 요구 신호를 송신하여, 서버(1800f)로부터 필요한 데이터를 수신하지만, 이러한 송수신을 하지 않고 서버(1800f)에 있는 데이터를 미리 보관 유지해 두어도 된다.
도 131B는, 전술의 방법 e에 의해서 동기 재생을 행하는 재생 장치의 구성을 나타내는 블럭도이다.
재생 장치(B10)는, 전술의 방법 e에 의해서 동기 재생을 행하는 수신기(1800a) 또는 단말 장치로서, 센서(B11)와 요구 신호 송신부(B12)와, 컨텐츠 수신부(B13)와 시계(B14)와 재생부(B15)를 구비하고 있다.
센서(B11)는, 예를 들면 이미지 센서로서, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기(1800d)로부터, 그 가시광 신호를 수신한다. 요구 신호 송신부(B12)는, 가시광 신호에 대응시켜진 컨텐츠를 요구하기 위한 요구 신호를 서버(1800f)에 송신한다. 컨텐츠 수신부(B13)는, 각 시각과 각 시각에 재생되는 데이터를 포함한는 컨텐츠를, 서버(1800f)로부터 수신한다. 재생부(B15)는, 그 컨텐츠 중, 시계(B14)의 시각에 해당하는 데이터를 재생한다.
도 131C는, 전술의 방법 e에 의해서 동기 재생을 행하는 단말 장치의 처리 동작을 나타내는 플로우 차트이다.
재생 장치(B10)는, 전술의 방법 e에 의해서 동기 재생을 행하는 수신기(1800a) 또는 단말 장치로서, 단계 SB11~SB15의 각 처리를 실행한다.
단계 SB11에서는, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기(1800d)로부터, 그 가시광 신호를 수신한다. 단계 SB12에서는, 가시광 신호에 대응시켜진 컨텐츠를 요구하기 위한 요구 신호를 서버(1800f)에 송신한다. 단계 SB13에서는, 각 시각과, 각 시각에 재생되는 데이터를 포함하는 컨텐츠를, 서버(1800f)로부터 수신한다. 단계 SB15에서는, 그 컨텐츠 중, 시계(B14)의 시각에 해당하는 데이터를 재생한다.
이와 같이, 본 실시의 형태에 있어서의 재생 장치(B10) 및 재생 방법에서는, 컨텐츠에 있어서의 데이터를, 잘못된 시각에 재생해 버리는 일 없이, 그 컨텐츠에 표시되는 올바른 시각에 적절하게 재생할 수 있다.
또한, 본 실시의 형태에 있어서, 각 구성 요소는, 전용의 하드웨어로 구성되거나, 각 구성 요소에 적합한 소프트웨어 프로그램을 실행하는 것에 의해서 실현되어도 된다. 각 구성 요소는, CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 독출하여 실행하는 것에 의해서 실현되어도 된다. 여기서, 본 실시의 형태의 재생 장치(B10) 등을 실현하는 소프트웨어는, 도 131C에 나타내는 플로우 차트에 포함되는 각 단계를 컴퓨터에 실행시키는 프로그램이다.
도 132는, 실시의 형태 16에 있어서의 동기 재생의 사전 준비를 설명하기 위한 도면이다.
수신기(1800a)는, 동기 재생을 행하기 위해서, 수신기(1800a)에 구비되어 있는 시계의 시각을 기준 클락의 시각에 맞추는 시각 맞춤을 행한다. 이 시각 맞춤을 위해서, 수신기(1800a)는, 이하의 (1)~(5)의 처리를 행한다.
(1) 수신기(1800a)는, 신호를 수신한다. 이 신호는, 송신기(1800d)의 디스플레이의 휘도 변화에 의해서 송신되는 가시광 신호라도, 무선 기기로부터의 Wi－Fi 또는 Bluetooth(등록 상표)에 근거한 전파 신호라도 된다. 또는, 수신기(1800a)는, 이러한 신호를 수신하는 대신에, 수신기(1800a)의 위치를 나타내는 위치 정보를 예를 들면 GPS 등에 의해 취득한다. 그리고, 수신기(1800a)는, 그 위치 정보에 의해서, 수신기(1800a)가 미리 정해진 장소 또는 건물에 들어간 것을 인식한다.
(2) 수신기(1800a)는, 상기 신호를 수신하면, 또는, 미리 정해진 장소에 들어간 것을 인식하면, 그 신호 또는 장소 등에 관련시켜져 있는 데이터(관련 정보)를 요구하는 요구 신호를 서버(가시광 ID 해결 서버)(1800f)에 송신한다.
(3) 서버(1800f)는, 전술의 데이터와, 수신기(1800a)에 시각 맞춤을 시키기 위한 시각 맞춤 요구를 수신기(1800a)에 송신한다.
(4) 수신기(1800a)는, 데이터와 시각 맞춤 요구를 수신하면, 시각 맞춤 요구를 GPS 타임 서버, NTP 서버 또는, 전기 통신 사업자(캐리어)의 기지국에 송신한다.
(5) 상기 서버 또는 기지국은, 그 시각 맞춤 요구를 수신하면, 현재 시각(기준 클락의 시각 또는 절대 시각)을 나타내는 시각 데이터(시각 정보)를 수신기(1800a)에 송신한다. 수신기(1800a)는, 스스로에 구비되어 있는 시계의 시각을, 그 시각 데이터에 표시되는 현재 시각에 맞춤으로써 시각 맞춤을 행한다.
이와 같이 본 실시의 형태에서는, 수신기(1800a)(단말 장치)에 구비되어 있는 시계와 기준 클락 사이에서는, GPS(Global Positioning System) 전파, 또는, NTP(Network Time Protocol) 전파에 의해서 동기가 취해지고 있다. 따라서, 수신기(1800a)는, 기준 클락에 따른 적절한 시각에, 그 시각에 해당하는 데이터를 재생할 수 있다.
도 133은, 실시의 형태 16에 있어서의 수신기(1800a)의 응용예를 나타내는 도면이다.
수신기(1800a)는, 전술한 바와 같이 스마트 폰으로서 구성되고, 예를 들면, 투광성을 가지는 수지 또는 유리 등의 부재로 구성된 홀더(1810)에 보관 유지되어 이용된다. 이 홀더(1810)는, 등받이부(1810a)와, 등받이부(1810a)에 입설된 계지부(1810b)를 가진다. 수신기(1800a)는, 등받이부(1810a)와 계지부(1810b)와의 사이에, 그 등받이부(1810a)를 따르게 하도록 삽입된다.
도 134A는, 실시의 형태 16에 있어서의, 홀더(1810)에 보관 유지된 수신기(1800a)의 정면도이다.
수신기(1800a)는, 전술한 바와 같이 삽입된 상태로 홀더(1810)에 보관 유지된다. 이 때, 계지부(1810b)는, 수신기(1800a)의 하부와 계지하고, 그 하부를 등받이부(1810a)와 협지한다. 또, 수신기(1800a)의 배면은, 등받이부(1810a)와 대향하고, 수신기(1800a)의 디스플레이(1801)는 노출한 상태가 된다.
도 134B는, 실시의 형태 32에 있어서의, 홀더(1810)에 보관 유지된 수신기(1800a)의 배면도이다.
또, 등받이부(1810a)에는, 통공(1811)이 형성되고, 그 통공(1811)의 근처에 가변 필터(1812)가 부착되어 있다. 수신기(1800a)가 홀더(1810)에 보관 유지되면, 수신기(1800a)의 카메라(1802)는, 등받이부(1810a)로부터 통공(1811)을 개재하여 노출한다. 또, 수신기(1800a)의 플래시 라이트(1803)는 가변 필터(1812)에 대향한다.
가변 필터(1812)는, 예를 들면 원반형상으로 형성되고, 각각 부채형상으로 동일한 사이즈의 3개의 색필터(적색 필터, 황색 필터, 및 녹색 필터)를 가진다. 또, 가변 필터(1812)는, 가변 필터(1812)의 중심을 축으로 하여 회전 자유롭게 등받이부(1810a)에 부착되어 있다. 또, 적색 필터는, 적색의 투광성을 가지는 필터로서, 황색 필터는, 황색 투광성을 가지는 필터이며, 녹색 필터는, 녹색의 투광성을 가지는 필터이다.
따라서, 가변 필터(1812)가 회전되고, 예를 들면, 적색 필터가 플래시 라이트(1803a)에 대향하는 위치에 배치된다. 이 경우, 플래시 라이트(1803a)으로부터 발해지는 광은, 적색 필터를 투과함에 따라서 적색의 광으로서 홀더(1810)의 내부에서 확산한다. 그 결과, 홀더(1810)의 대략 전체가 적색으로 발광한다.
동일하게. 가변 필터(1812)가 회전되어, 예를 들면, 황색 필터가 플래시 라이트(1803a)에 대향하는 위치에 배치된다. 이 경우, 플래시 라이트(1803a)로부터 발해지는 광은, 황색 필터를 투과하는 것에 의해서, 황색 광으로서 홀더(1810)의 내부에서 확산한다. 그 결과, 홀더(1810)의 대략 전체가 황색으로 발광한다.
동일하게, 가변 필터(1812)가 회전되어, 예를 들면, 녹색 필터가 플래시 라이트(1803a)에 대향하는 위치에 배치된다. 이 경우, 플래시 라이트(1803a)로부터 발해지는 광은, 녹색 필터를 투과하는 것에 의해서, 녹색의 광으로서 홀더(1810)의 내부에서 확산한다. 그 결과, 홀더(1810)의 대략 전체가 녹색으로 발광한다.
즉, 홀더(1810)는, 펜 라이트와 같이, 적색, 황색 또는 녹색으로 점등한다.
도 135는, 실시의 형태 16에 있어서의, 홀더(1810)에 보관 유지된 수신기(1800a)의 유스 케이스를 설명하기 위한 도면이다.
예를 들면, 홀더(1810)에 보관 유지된 수신기(1800a)인 홀더 부착 수신기는, 유원지 등에서 이용된다. 즉, 유원지에 있어서 이동하는 플로트에 향해진 복수의 홀더 부착 수신기는, 그 플로트로부터 흐르는 음악에 맞추어 동기하면서 점멸한다. 즉, 플로트는, 상기 각 실시의 형태에 있어서의 송신기로서 구성되고, 플로트에 부착되어 있는 광원의 휘도 변화에 의해서 가시광 신호를 송신한다. 예를 들면, 플로트는, 플로트의 ID를 나타내는 가시광 신호를 송신한다. 그리고, 홀더 부착 수신기는, 상기 각 실시의 형태와 동일하게, 수신기(1800a)의 카메라(1802)의 촬영에 의해서, 그 가시광 신호, 즉 ID를 수신한다. ID를 수신한 수신기(1800a)는, 그 ID에 대응시켜진 프로그램을 예를 들면 서버로부터 취득한다. 이 프로그램은, 소정의 각 시각에 있어서 수신기(1800a)의 플래시 라이트(1803)을 점등시키는 명령으로 이루어진다. 이 소정의 각 시각은, 플로트로부터 흐르는 음악에 맞추어(동기하도록) 설정되어 있다. 그리고, 수신기(1800a)는, 그 프로그램에 따라서, 플래시 라이트(1803a)을 점멸시킨다.
이것에 의해, 그 ID를 수신한 각 수신기(1800a)의 홀더(1810)는, 그 ID의 플로트로부터 흐르는 음악에 맞추어 동일한 타이밍으로 점등하는 것을 반복한다.
여기서, 각 수신기(1800a)는, 설정되어 있는 색필터(이하, 설정 필터라고 함)에 따라 플래시 라이트(1803)의 점멸을 행한다. 설정 필터란, 수신기(1800a)의 플래시 라이트(1803)에 대향하고 있는 색필터이다. 또, 각 수신기(1800a)는, 사용자에 의한 조작에 근거하여, 현재의 설정 필터를 인식하고 있다. 또는, 각 수신기(1800a)는, 카메라(1802)의 촬영에 의해서 얻어지는 화상의 색 등에 근거하여, 현재의 설정 필터를 인식하고 있다.
즉, ID를 수신한 복수의 수신기(1800a) 중, 소정의 시각에서는, 설정 필터가 적색 필터인 것을 인식하고 있는 복수의 수신기(1800a)의 홀더(1810)만이 동시에 점등한다. 다음의 시각에서는, 설정 필터가 녹색 필터인 것을 인식하고 있는 복수의 수신기(1800a)의 홀더(1810)만이 동시에 점등한다. 또한 다음의 시각에서는, 설정 필터가 황색 필터인 것을 인식하고 있는 복수의 수신기(1800a)의 홀더(1810)만이 동시에 점등한다.
이와 같이, 홀더(1810)에 보관 유지되는 수신기(1800a)는, 전술의 도 123~도 129에 나타내는 동기 재생과 동일하게, 플로트의 음악과, 다른 홀더(1810)에 보관 유지되는 수신기(1800a)에 동기하여, 플래시 라이트(1803), 즉 홀더(1810)를 점멸시킨다.
도 136은, 실시의 형태 16에 있어서의, 홀더(1810)에 보관 유지된 수신기(1800a)의 처리 동작을 나타내는 플로우 차트이다.
수신기(1800a)는, 플로트로부터의 가시광 신호에 의해서 나타나는 플로트의 ID를 수신한다(단계 S1831). 다음에, 수신기(1800a)는, 그 ID에 대응시켜져 있는 프로그램을 서버로부터 취득한다(단계 S1832). 다음에, 수신기(1800a)는, 그 프로그램을 실행함으로써, 설정 필터에 따른 소정의 각 시각에 플래시 라이트(1803)을 점등시킨다(단계 S1833).
여기서, 수신기(1800a)는, 수신한 ID 또는 취득한 프로그램에 따른 화상을 디스플레이(1801)에 표시시켜도 된다.
도 137은, 실시의 형태 16에 있어서의 수신기(1800a)에 의해서 표시되는 화상의 일례를 나타내는 도면이다.
수신기(1800a)는, 예를 들면 산타클로스의 플로트로부터 ID를 수신하면, 도 137의 (a)에 나타내는 바와 같이, 산타클로스의 화상을 표시시킨다. 또한, 수신기(1800a)는, 도 137의 (b)에 나타내는 바와 같이, 플래시 라이트(1803)의 점등과 동시에, 그 산타클로스의 화상의 배경색을 설정 필터의 색으로 변경해도 된다. 예를 들면, 설정 필터의 색이 적색인 경우에는, 플래시 라이트(1803)의 점등에 의해서, 홀더(1810)가 적색으로 점등함과 동시에, 적색의 배경색을 가지는 산타클로스의 화상이 디스플레이(1801)에 표시된다. 즉, 홀더(1810)의 점멸과 디스플레이(1801)의 표시가 동기한다.
도 138은, 실시의 형태 16에 있어서의 홀더의 다른 예를 나타내는 도면이다.
홀더(1820)는, 전술의 홀더(1810)와 동일하게 구성되어 있지만, 통공(1811) 및 가변 필터(1812)가 없다. 이러한 홀더(1820)는, 등받이부(1820a)에 수신기(1800a)의 디스플레이(1801)가 향해진 상태로, 그 수신기(1800a)를 보관 유지한다. 이 경우, 수신기(1800a)는, 플래시 라이트(1803) 대신에, 디스플레이(1801)를 발광시킨다. 이것에 의해, 디스플레이(1801)로부터의 광이 홀더(1820)의 대략 전체에 확산한다. 따라서, 수신기(1800a)가, 전술의 프로그램에 따라, 적색의 광으로 디스플레이(1801)를 발광시키면, 홀더(1820)는 적색으로 점등한다. 동일하게, 수신기(1800a)가, 전술의 프로그램에 따라, 황색 광으로 디스플레이(1801)을 발광시키면, 홀더(1820)는 황색으로 점등한다. 수신기(1800a)가, 전술의 프로그램에 따라, 녹색의 광으로 디스플레이(1801)를 발광시키면, 홀더(1820)는 녹색으로 점등한다. 이러한 홀더(1820)를 이용하면, 가변 필터(1812)의 설정을 생략할 수 있다.
(실시의 형태 17)
(가시광 신호)
도 139A~도 139D는, 실시의 형태 17에 있어서의 가시광 신호의 일례를 나타내는 도면이다.
송신기는, 전술과 동일하게, 예를 들면 도 139A에 나타내는 바와 같이, 4 PPM의 가시광 신호를 생성하고, 이 가시광 신호에 따라서 휘도 변화한다. 구체적으로는, 송신기는, 4 슬롯을 1 신호 단위에 할당하여 복수의 신호 단위로 이루어지는 가시광 신호를 생성한다. 신호 단위는, 슬롯마다 High(H) 또는 Low(L)를 나타낸다. 그리고, 송신기는, H의 슬롯에 있어서 밝게 발광하고, L의 슬롯에 있어서 어둡게 발광 또는 소등한다. 예를 들면, 1 슬롯은, 1/9600초의 시간에 상당하는 기간이다.
또, 송신기는, 예를 들면 도 139B에 나타내는 바와 같이, 1 신호 단위에 할당되는 슬롯수가 가변이 되는 가시광 신호를 생성해도 된다. 이 경우, 신호 단위로는, 1개 이상이 연속하는 슬롯에 있어서 H를 나타내는 신호와, 그 H의 신호에 계속되는 1개의 슬롯에 있어서 L을 나타내는 신호로 이루어진다. H의 슬롯수가 가변이기 때문에, 신호 단위의 전체의 슬롯수가 가변이 된다. 예를 들면 도 139B에 나타내는 바와 같이, 송신기는, 3 슬롯의 신호 단위, 4 슬롯의 신호 단위, 6 슬롯의 신호 단위의 순서로, 그러한 신호 단위를 포함하는 가시광 신호를 생성한다. 그리고, 송신기는, 이 경우에도, H의 슬롯에 있어서 밝게 발광하고, L의 슬롯에 있어서 어둡게 발광 또는 소등한다.
또, 송신기는, 예를 들면 도 139C에 나타내는 바와 같이, 복수의 슬롯을 1 신호 단위로 할당하지 않고, 임의의 기간(신호 단위 기간)을 1 신호 단위로 할당해도 된다. 이 신호 단위 기간은, H의 기간과, 그 H의 기간에 계속되는 L의 기간으로 이루어진다. H의 기간은, 변조 전의 신호에 따라 조정된다. L의 기간은, 고정으로서, 상기 슬롯에 상당하는 기간이어도 된다. 또, H의 기간 및 L의 기간은 각각 예를 들면 100 μs 이상의 기간이다. 예를 들면 도 139C에 나타내는 바와 같이, 송신기는, 신호 단위 기간이 210 μs인 신호 단위, 신호 단위 기간이 220 μs인 신호 단위, 신호 단위 기간이 230 μs인 신호 단위의 순서로, 그러한 신호 단위를 포함하는 가시광 신호를 송신한다. 그리고, 송신기는, 이 경우에도, H의 기간에 있어서 밝게 발광하고, L의 기간에 있어서 어둡게 발광 또는 소등한다.
또, 송신기는, 예를 들면 도 139D에 나타내는 바와 같이, L과 H를 교대로 나타내는 신호를 가시광 신호로서 생성해도 된다. 이 경우, 가시광 신호에 있어서 L 의 기간과 H의 기간은, 각각 변조 전의 신호에 따라 조정된다. 예를 들면 도 139D에 나타내는 바와 같이, 송신기는, 100 μs의 기간에 있어서 H를 나타내고, 다음에, 120 μs의 기간에 있어서 L을 나타내며, 다음에, 110 μs의 기간에 있어서 H를 나타내며, 또한, 200 μs의 기간에 있어서 L을 나타내는 가시광 신호를 송신한다. 그리고, 송신기는, 이 경우에도, H의 기간에 있어서 밝게 발광하고, L의 기간에 있어서 어둡게 발광 또는 소등한다.
도 140은, 실시의 형태 17에 있어서의 가시광 신호의 구성을 나타내는 도면이다.
가시광 신호는, 예를 들면, 신호 1과 그 신호 1에 대응하는 밝기 조정 신호와 신호 2와 그 신호 2에 대응하는 밝기 조정 신호를 포함한다. 송신기는, 변조 전의 신호를 변조하는 것에 의해서 신호 1 및 신호 2를 생성하면, 그러한 신호에 대한 밝기 조정 신호를 생성하고, 전술의 가시광 신호를 생성한다.
신호 1에 대응하는 밝기 조정 신호는, 신호 1에 따른 휘도 변화에 의한 밝기의 증감을 보충하는 신호이다. 신호 2에 대응하는 밝기 조정 신호는, 신호 2에 따른 휘도 변화에 의한 밝기의 증감을 보충하는 신호이다. 여기서, 신호 1과, 그 신호 1의 밝기 조정 신호에 따른 휘도 변화에 의해서, 밝기 B1이 표현되고, 신호 2와 그 신호 2의 밝기 조정 신호에 따른 휘도 변화에 의해서, 밝기 B2가 표현된다. 본 실시의 형태에 있어서의 송신기는, 그 밝기 B1과 밝기 B2가 동일해지도록, 신호 1 및 신호 2의 각각의 밝기 조정 신호를 가시광 신호의 일부로서 생성한다. 이것에 의해, 밝기가 일정하게 유지되고 깜박거림을 억제할 수 있다.
또, 송신기는, 전술의 신호 1을 생성할 때에는, 데이터 1과 그 데이터 1에 계속되는 프리앰블(헤더)과, 그 프리앰블에 계속되는 데이터 1을 포함하는 신호 1을 생성한다. 여기서, 프리앰블은, 그 전후에 배치되어 있는 데이터 1에 대응하는 신호이다. 예를 들면, 이 프리앰블은, 데이터 1을 독출하기 위한 식별자가 되는 신호이다. 이와 같이, 2개의 데이터 1과, 그들의 사이에 배치되는 프리앰블로부터 신호 1이 구성되어 있기 때문에, 수신기는, 전에 있는 데이터 1의 도중으로부터 가시광 신호를 독출해도 그 데이터 1(즉 신호 1)을 올바르게 복조할 수 있다.
(휘선 화상)
도 141은, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 일례를 나타내는 도면이다.
수신기는, 전술한 바와 같이, 휘도 변화하는 송신기를 촬상하는 것에 의해서, 그 송신기로부터 송신되는 가시광 신호를 휘선 패턴으로서 포함하는 휘선 화상을 취득한다. 이러한 촬상에 의해서, 가시광 신호가 수신기에 수신된다.
예를 들면, 도 141에 나타내는 바와 같이, 수신기는, 이미지 센서에 포함되는 N 개의 노광 라인을 이용하여, 시각 t1에 촬상하는 것에 의해서, 각각 휘선 패턴이 나타나고 있는 영역 a 및 영역 b를 포함하는 휘선 화상을 취득한다. 영역 a 및 영역 b는 각각, 피사체인 송신기가 휘도 변화하는 것에 의해서 휘선 패턴이 나타나는 영역이다.
여기서, 수신기는, 영역 a 및 영역 b의 휘선 패턴으로부터 가시광 신호를 복조한다. 그러나, 수신기는, 복조된 가시광 신호만으로는 불충분하다고 판정하면, 그 N개의 노광 라인 중, 영역 a에 해당하는 M(M＜N)개의 연속하는 노광 라인만을 이용하여, 시각 t2에 촬상한다. 이것에 의해, 수신기는, 영역 a 및 영역 b 중 영역 a만을 포함하는 휘선 화상을 취득한다. 수신기는, 이러한 촬상을, 시각 t3~t5에 있어서도 반복 실시한다. 그 결과, 영역 a에 대응하는 피사체로부터의 충분한 데이터량의 가시광 신호를 고속으로 수신할 수 있다. 또한, 수신기는, 그 N개의 노광 라인 중, 영역 b에 해당하는 L(L＜N)개의 연속하는 노광 라인만을 이용하여, 시각 t6에 촬상한다. 이것에 의해, 수신기는, 영역 a 및 영역 b 중 영역 b만을 포함하는 휘선 화상을 취득한다. 수신기는, 이러한 촬상을, 시각 t7~t9에 있어서도 반복 실시한다. 그 결과, 영역 b에 대응하는 피사체로부터의 충분한 데이터량의 가시광 신호를 고속으로 수신할 수 있다.
또, 수신기는, 시각 t10 및 t11에 있어서, 시각 t2~t5와 동일한 촬상을 행하는 것에 의해서, 영역 a만을 포함하는 휘선 화상을 취득해도 된다. 또한, 수신기는, 시각 t12 및 t13 에 있어서, 시각 t6~t9와 동일한 촬상을 행하는 것에 의해서, 영역 b만을 포함하는 휘선 화상을 취득해도 된다.
또, 전술의 예에서는, 수신기는, 가시광 신호가 불충분하다라고 판정했을 때에, 시각 t2~t5에 있어서, 영역 a만을 포함하는 휘선 화상의 연사를 행했지만, 시각 t1의 촬상에 의해서 얻어진 화상에 휘선이 나타나고 있으면, 전술의 연사를 행해도 된다. 동일하게 수신기는, 가시광 신호가 불충분하다고 판정했을 때에, 시각 t6~t9에 있어서, 영역 b만을 포함하는 휘선 화상의 연사를 행했지만, 시각 t1의 촬상에 의해서 얻어진 화상에 휘선이 나타나고 있으면, 전술의 연사를 행해도 된다. 또, 수신기는, 영역 a만을 포함하는 휘선 화상의 취득과, 영역 b만을 포함하는 휘선 화상의 취득을 교대로 행해도 된다.
또한, 상기의 영역 a에 해당하는 M개의 연속하는 노광 라인은, 영역 a의 생성에 기여하는 노광 라인이며, 상기의 영역 b에 해당하는 L개의 연속하는 노광 라인은, 영역 b의 생성에 기여하는 노광 라인이다.
도 142는, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 다른 예를 나타내는 도면이다.
예를 들면, 도 142에 나타내는 바와 같이, 수신기는, 이미지 센서에 포함되는 N개의 노광 라인을 이용하여, 시각 t1에 촬상하는 것에 의해서, 각각 휘선 패턴이 나타나고 있는 영역 a 및 영역 b를 포함하는 휘선 화상을 취득한다. 영역 a 및 영역 b는 각각, 전술과 동일하게, 피사체인 송신기가 휘도 변화하는 것에 의해서 휘선 패턴이 나타나는 영역이다. 또, 영역 a 및 영역 b는 각각, 휘선 또는 노광 라인의 방향을 따라서 서로 중복되는 영역(이하, 중복 영역이라고 한다)을 가진다.
여기서, 수신기는, 그 영역 a 및 영역 b의 휘선 패턴으로부터 복조된 가시광 신호가 불충분하다고 판정하면, 그 N개의 노광 라인 중, 중복 영역에 해당하는 P(P＜N)개의 연속하는 노광 라인만을 이용하여, 시각 t2에 촬상한다. 이것에 의해, 수신기는, 영역 a 및 영역 b의 각각의 중복 영역만을 포함하는 휘선 화상을 취득한다. 수신기는, 이러한 촬상을, 시각 t3 및 t4에 있어서도 반복 실시한다. 그 결과, 영역 a 및 영역 b의 각각에 대응하는 피사체로부터의 충분한 데이터량의 가시광 신호를, 대략 동시에, 또한 고속으로 수신할 수 있다.
도 143은, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 다른 예를 나타내는 도면이다.
예를 들면, 도 143에 나타내는 바와 같이, 수신기는, 이미지 센서에 포함되는 N개의 노광 라인을 이용하여, 시각 t1에 촬상하는 것에 의해서, 휘선 패턴이 불명료하게 나타나고 있는 부분 a와, 명료하게 나타나고 있는 부분 b로 이루어지는 영역을 포함하는 휘선 화상을 취득한다. 이 영역은, 전술과 동일하게, 피사체인 송신기가 휘도 변화하는 것에 의해서 휘선 패턴이 나타나는 영역이다.
이러한 경우, 수신기는, 전술의 영역의 휘선 패턴으로부터 복조된 가시광 신호가 불충분하다고 판정하면, 그 N개의 노광 라인 중, 부분 b에 해당하는 Q(Q＜N)개의 연속하는 노광 라인만을 이용하여, 시각 t2에 촬상한다. 이것에 의해, 수신기는, 전술의 영역 중 부분 b만을 포함하는 휘선 화상을 취득한다. 수신기는, 이러한 촬상을, 시각 t3 및 t4 에 있어서도 반복 실시한다. 그 결과, 전술의 영역에 대응하는 피사체로부터의 충분한 데이터량의 가시광 신호를, 고속으로 수신할 수 있다.
또, 수신기는, 부분 b만을 포함하는 휘선 화상의 연사가 행해진 후에, 다시 부분 a만을 포함하는 휘선 화상의 연사를 행해도 된다.
전술한 바와 같이, 휘선 화상에 있어서 휘선 패턴이 나타나고 있는 영역(또는 부분)이 복수 포함되어 있는 경우에는, 수신기는, 각각의 영역에 순번을 붙여, 그 순번에 따라서, 그 영역만을 포함하는 휘선 화상의 연사를 행한다. 이 경우, 그 순번은 신호의 크기(영역 또는 부분의 넓이)에 따른 순번이라도, 휘선의 명료도에 따른 순번이라도 된다. 또, 그 순번은, 그러한 영역에 대응하는 피사체로부터의 광의 색에 따른 순번이어도 된다. 예를 들면, 최초의 연사는, 적색의 광에 대응하는 영역에 대해서 행해지고. 다음의 연사에서는, 백색의 광에 대응하는 영역에 대해서 행해진다. 또, 적색의 광에 대한 영역의 연사만이 행해져도 된다.
(HDR 합성)
도 144는, 실시의 형태 17에 있어서의 수신기의, HDR 합성을 행하는 카메라 시스템으로의 적응을 설명하기 위한 도면이다.
차량에는, 충돌 방지 등을 위해 카메라 시스템이 탑재되고 있다. 이 카메라 시스템은, 카메라의 촬상에 의해서 얻어진 화상을 이용해 HDR(High Dynamic Range) 합성을 행한다. 이 HDR 합성에 의해서, 휘도의 다이나믹 레인지가 넓은 화상이 얻어진다. 카메라 시스템은, 이 넓은 다이나믹 레인지의 화상에 근거하여, 주변의 차량, 장애물 또는 사람 등의 인식을 행한다.
예를 들면, 카메라 시스템은, 설정 모드로서 통상 설정 모드 및 통신 설정 모드를 가진다. 설정 모드가 통상 설정 모드인 경우, 예를 들면 도 144에 나타내는 바와 같이, 카메라 시스템은, 시각 t1~t4에 있어서, 각각 동일한 1/100초의 셔터 스피드로, 또한 각각 상이한 감도로, 4회의 촬상을 행한다. 카메라 시스템은, 이 4회의 촬상에 의해서 얻어진 4장의 화상을 이용해 HDR 합성을 행한다.
한편, 설정 모드가 통신 설정 모드인 경우, 예를 들면 도 144에 나타내는 바와 같이, 카메라 시스템은, 시각 t5~t7에 있어서, 각각 동일한 1/100초의 셔터 스피드로, 또한 각각 상이한 감도로 3회의 촬상을 행한다. 또한, 카메라 시스템은, 시각 t8에 있어서, 1/10000초의 셔터 스피드로, 또한, 최대의 감도(예를 들면 ISO=1600)로 촬상을 행한다. 카메라 시스템은, 이 4회의 촬상 중, 최초의 3회의 촬상에 의해서 얻어진 3장의 화상을 이용해 HDR 합성을 행한다. 또한, 카메라 시스템은, 전술의 4회의 촬상 중 마지막 촬상에 의해서 가시광 신호를 수신하고, 그 촬상에 의해서 얻어진 화상에 나타나고 있는 휘선 패턴을 복조한다.
또, 설정 모드가 통신 설정 모드인 경우에는, 카메라 시스템은, HDR 합성을 행하지 않아도 된다. 예를 들면 도 144에 나타내는 바와 같이, 카메라 시스템은, 시각 t9에 있어서, 1/100초의 셔터 스피드로, 또한 낮은 감도(예를 들면, ISO=200)로 촬상을 행한다. 또한, 카메라 시스템은, 시각 t10~t12에 있어서, 1/10000초의 셔터 스피드로, 또한, 서로 상이한 감도로 3회의 촬상을 행한다. 카메라 시스템은, 이 4회의 촬상 중, 최초의 1회의 촬상에 의해서 얻어진 화상으로부터, 주변의 차량, 장애물 또는 사람 등의 인식을 행한다. 또한, 카메라 시스템은, 전술의 4회의 촬상 중 마지막 3회의 촬상에 의해서 가시광 신호를 수신하고, 그 촬상에 의해서 얻어진 화상에 나타나고 있는 휘선 패턴을 복조한다.
또한, 도 144에 나타내는 예에서는, 시각 t10~t12의 각각에 있어서, 서로 상이한 감도로 촬상이 행해지고 있지만, 동일한 감도로 촬상을 행해도 된다.
이러한 카메라 시스템에서는, HDR 합성을 행할 수 있음과 함께, 가시광 신호의 수신도 행할 수 있다.
(시큐러티)
도 145는, 실시의 형태 17에 있어서의 가시광 통신 시스템의 처리 동작을 설명하기 위한 도면이다.
이 가시광 통신 시스템은, 예를 들면 레지에 배치되는 송신기와, 수신기인 스마트 폰과 서버로 이루어진다. 또한, 스마트 폰과 서버 사이의 통신과, 송신기와 서버 사이의 통신은, 각각 시큐어인 통신 회선을 개재하여 행해진다. 또, 송신기와 스마트 폰 사이의 통신은, 가시광 통신에 의해서 행해진다. 본 실시의 형태에 있어서의 가시광 통신 시스템은, 송신기로부터의 가시광 신호가 정확하게 스마트 폰에 수신되고 있는지 아닌지를 판정함으로써, 시큐리티를 확보한다.
구체적으로는, 송신기는, 시각 t1에 있어서 휘도 변화하는 것에 의해서, 예를 들면 값 「100」을 나타내는 가시광 신호를 스마트 폰에 송신한다. 스마트 폰은, 시각 t2에, 그 가시광 신호를 수신하면, 그 값 「100」을 나타내는 전파 신호를 서버에 송신한다. 서버는, 시각 t3에, 스마트 폰으로부터 그 전파 신호를 수신한다. 이 때, 서버는, 그 전파 신호에 의해서 나타나는 값 「100」이, 송신기로부터 스마트 폰에 수신된 가시광 신호의 값인지 아닌지를 판정하기 위한 처리를 행한다. 즉, 서버는, 예를 들면 값 「200」을 나타내는 전파 신호를 송신기에 송신한다. 그 전파 신호를 수신한 송신기는, 시각 t4에 있어서 휘도 변화하는 것에 의해서, 그 값 「200」을 나타내는 가시광 신호를 스마트 폰에 송신한다. 스마트 폰은, 시각 t5에, 그 가시광 신호를 수신하면, 그 값 「200」을 나타내는 전파 신호를 서버에 송신한다. 서버는, 시각 t6에, 스마트 폰으로부터 그 전파 신호를 수신한다. 서버는, 이 수신한 전파 신호가 나타내는 값이, 시각 t3에 있어서 송신한 전파 신호가 나타내는 값과 동일한지 아닌지를 판별한다. 동일하면, 서버는, 시각 t3에 있어서 수신한 가시광 신호에 의해서 나타나는 값 「100」이, 송신기로부터 스마트 폰에 송신되어 수신된 가시광 신호의 값이라고 판정한다. 한편, 동일하지 않으면, 서버는, 시각 t3에 있어서 수신한 가시광 신호에 의해서 나타나는 값 「100」이, 송신기로부터 스마트 폰에 송신되어 수신된 가시광 신호의 값으로서 의심스럽다고 판정한다.
이것에 의해, 서버는, 스마트 폰이 송신기로부터 가시광 신호를 확실히 수신했는지 아닌지를 판정할 수 있다. 즉, 스마트 폰이, 송신기로부터 가시광 신호를 수신하고 있지 않음에도 불구하고, 그 가시광 신호를 수신한 것처럼 가장하여, 신호를 서버에 송신하는 것을 막을 수 있다.
또한, 전술의 예에서는, 스마트 폰과 서버와 송신기의 사이에서는, 전파 신호를 이용한 통신이 행해지고 있지만, 가시광 신호 이외의 광신호에 의한 통신, 또는 전기 신호에 의한 통신이 행해져도 된다. 또, 송신기로부터 스마트 폰에 송신되는 가시광 신호는, 예를 들면, 과금의 값, 쿠폰의 값, 몬스터의 값, 또는 빙고의 값 등을 나타낸다.
(차량 관계)
도 146A는, 실시의 형태 17에 있어서의 가시광을 이용한 차차간 통신의 일례를 나타내는 도면이다.
예를 들면, 선두의 차량은, 그 차량에 탑재되고 있는 센서(카메라 등)에 의해서, 진행 방향으로 사고가 있는 것을 인식한다. 이와 같이 사고를 인식하면, 선두의 차량은, 테일 램프를 휘도 변화시키는 것에 의해서, 가시광 신호를 송신한다. 예를 들면, 선두의 차량은, 후속 차량에 대해서 감속을 재촉하는 가시광 신호를 송신한다. 후속 차량은, 그 차량에 탑재되고 있는 카메라에 의한 촬상에 의해서, 그 가시광 신호를 수신하면, 그 가시광 신호에 따라서, 감속함과 함께, 후속의 차량에 대해서 더욱 감속을 재촉하는 가시광 신호를 송신한다.
이와 같이, 감속을 재촉하는 가시광 신호는, 일렬로 나열하여 주행하는 복수의 차량에 선두로부터 순차 송신되고, 그 가시광 신호를 수신한 차량은 감속한다. 각 차량으로의 가시광 신호의 송신은 빠르게 행해지기 때문에, 그러한 복수의 차량은 대략 동시에 똑같이 감속을 행할 수 있다. 따라서, 사고에 의한 정체를 완화할 수 있다.
도 146B는, 실시의 형태 17에 있어서의 가시광을 이용한 차차간 통신의 다른 예를 나타내는 도면이다.
예를 들면, 앞의 차량은, 테일 램프를 휘도 변화시키는 것에 의해서, 뒤의 차량에 대한 메시지(예를 들면 「고마워요」)를 나타내는 가시광 신호를 송신해도 된다. 이 메시지는, 예를 들면 사용자에 의한 스마트 폰으로의 조작에 의해서 생성된다. 그리고, 스마트 폰은, 그 메시지를 나타내는 신호를 전술의 앞의 차량에 송신한다. 그 결과, 앞의 차량은, 그 메시지를 나타내는 가시광 신호를 뒤의 차량에 송신할 수 있다.
도 147은, 실시의 형태 17에 있어서의 복수의 LED의 위치 결정 방법의 일례를 나타내는 도면이다.
예를 들면, 차량의 헤드라이트는, 복수의 LED(Light Emitting Diode)를 가진다. 이 차량의 송신기는, 헤드라이트의 복수의 LED의 각각을 개별적으로 휘도 변화시키는 것에 의해서, 각각의 LED로부터 가시광 신호를 송신한다. 다른 차량의 수신기는, 그 헤드라이트를 가지는 차량을 촬상하는 것에 의해서, 그러한 복수의 LED로부터의 가시광 신호를 수신한다.
이 때, 수신기는, 수신된 가시광 신호가 어느 쪽의 LED로부터 송신된 신호인지를 인식하기 위해서, 그 촬상에 의해서 얻어진 화상으로부터, 복수의 LED의 각각의 위치를 결정한다. 구체적으로는, 수신기는, 그 수신기와 동일한 차량에 부착되어 있는 가속도 센서를 이용하고, 그 가속도 센서에 의해서 나타나는 중력의 방향(예를 들면 도 147 중의 하향 화살표)을 기준으로, 복수의 LED의 각각의 위치를 결정한다.
또한, 전술의 예에서는, 휘도 변화하는 발광체의 일례로서 LED를 들었지만, LED 이외의 발광체라도 된다.
도 148은, 실시의 형태 17에 있어서의, 차량을 촬상하는 것에 의해서 얻어지는 휘선 화상의 일례를 나타내는 도면이다.
예를 들면, 주행하는 차량에 탑재된 수신기는, 후의 차량(후속 차량)을 촬상함으로써, 도 148에 나타내는 휘선 화상을 취득한다. 후속 차량에 탑재된 송신기는, 차량의 2개의 헤드라이트를 휘도 변화시키는 것에 의해서, 가시광 신호를 앞의 차량에 송신한다. 앞의 차량의 후부 또는 사이드 미러 등에는, 후방을 촬상하는 카메라가 부착되어 있다. 수신기는, 후속 차량을 피사체로 한 그 카메라에 의한 촬상에 의해서, 휘선 화상을 취득하고, 그 휘선 화상에 포함되는 휘선 패턴(가시광 신호)을 복조한다. 이것에 의해, 후속 차량의 송신기로부터 송신된 가시광 신호는, 앞의 차량의 수신기에 수신된다.
여기서, 수신기는, 2개의 헤드라이트로부터 송신되어 복조된 가시광 신호의 각각으로부터, 그 헤드라이트를 가지는 차량의 ID와 그 차량의 속도와 그 차량의 차종을 취득한다. 수신기는, 2개의 가시광 신호의 각각의 ID가 동일하면, 그 2개의 가시광 신호가 동일한 차량으로부터 송신된 신호라고 판단한다. 그리고, 수신기는, 그 차량의 차종으로부터, 그 차량이 가지는 2개의 헤드라이트의 사이의 길이(라이트 사이 거리)를 특정한다. 또한, 수신기는, 휘선 화상에 포함되어 있는, 휘선 패턴이 나타나고 있는 2개의 영역의 사이의 거리 L1을 계측한다. 그리고, 수신기는, 그 거리 L1와, 라이트 간 거리를 이용한 삼각 측량에 의해서, 그 수신기를 탑재하는 차량으로부터, 후속 차량까지의 거리(차간 거리)를 산출한다. 수신기는, 그 차간 거리와, 가시광 신호로부터 취득된 차량의 속도에 근거하여, 충돌의 위험성을 판단하고, 그 판단 결과에 따른 경고를, 차량의 운전자에게 알린다. 이것에 의해, 차량의 충돌을 회피할 수 있다.
또한, 전술의 예에서는, 수신기는, 가시광 신호에 포함되는 차종으로부터 라이트간 거리를 특정했지만, 차종 이외의 정보로부터 라이트간 거리를 특정해도 된다. 또, 전술의 예에서는, 수신기는, 충돌의 위험성이 있다고 판단했을 때에는, 경고를 발하지만, 그 위험성을 회피하는 동작을 차량에 실행시키기 위한 제어 신호를 차량에 출력해도 된다. 예를 들면, 그 제어 신호는, 차량을 가속시키기 위한 신호, 또는, 차량으로 차선 변경시키기 위한 신호이다.
또, 전술의 예에서는, 카메라는 후속 차량을 촬상하지만, 대향 차량을 촬상해도 된다. 또, 수신기는, 카메라에 의한 촬상에 의해서 얻어지는 화상으로부터, 수신기(즉 수신기를 구비한 차량) 주변에 안개가 자욱하다고 판단하면, 전술과 같은 가시광 신호를 수신하는 모드가 되어도 된다. 이것에 의해, 차량의 수신기는, 주변에 안개가 자욱해도, 대향 차량의 헤드라이트로부터 송신되는 가시광 신호를 수신하는 것에 의해서, 그 대향 차량의 위치 및 속도를 특정할 수 있다.
도 149는, 실시의 형태 17에 있어서의 수신기와 송신기의 적용예를 나타내는 도면이다. 또한, 도 149는 자동차를 뒤에서 본 도이다.
예를 들면 차의 2개의 테일 램프(발광부 또는 라이트)를 가지는 송신기(차) (7006a)는, 송신기(7006a)의 식별 정보(ID)를 예를 들면 스마트 폰으로 구성되는 수신기에 송신한다. 수신기는, 그 ID를 수신하면, 그 ID에 대응시켜진 정보를 서버로부터 취득한다. 예를 들면, 그 정보는, 그 차 또는 송신기의 ID, 발광부간의 거리, 발광부의 크기, 차의 크기, 차의 형상, 차의 무게, 차의 넘버, 전방의 모습, 또는 위험의 유무를 나타내는 정보이다. 또, 수신기는 이러한 정보를 송신기(7006a)로부터 직접 취득해도 된다.
도 150은, 실시의 형태 17에 있어서의 수신기와 송신기(7006a)의 처리 동작의 일례를 나타내는 플로우 차트이다.
송신기(7006a)의 ID와 ID를 수신한 수신기에 건네주는 정보를 관련시켜 서버에 기억한다(7106a). 수신기에 건네주는 정보에는, 송신기(7006a)가 되는 발광부의 크기나, 발광부간의 거리나, 송신기(7006a)를 구성 요소의 일부로 하는 물체의 형상이나, 중량이나, 차체 넘버 등의 식별 번호나, 수신기로부터 관찰하기 어려운 장소의 모습이나 위험의 유무 등의 정보를 포함해도 된다.
송신기(7006a)는 ID를 송신한다(7106b). 송신 내용에는, 상기 서버의 URL이나, 상기 서버에 기억시킨다는 정보를 포함해도 된다.
수신기는, 송신된 ID 등의 정보를 수신한다(7106c). 수신기는, 수신한 ID에 서로 결합된 정보를 서버로부터 취득한다(7106d). 수신기는, 수신한 정보나 서버로부터 취득한 정보를 표시한다(7106e).
수신기는, 발광부의 크기 정보와 촬상한 발광부의 외관의 크기로부터, 또는, 발광부간의 거리 정보와 촬상한 발광부간의 거리로부터 삼각 측량의 요령으로, 수신기와 발광부의 거리를 계산한다(7106f). 수신기는, 수신기로부터 관찰하기 어려운 장소의 모습이나 위험의 유무 등의 정보를 기본으로, 위험의 경고 등을 행한다(7106g).
도 151은, 실시의 형태 17에 있어서의 수신기와 송신기의 적용예를 나타내는 도면이다.
예를 들면 차의 2개의 테일 램프(발광부 또는 라이트)를 가지는 송신기(차) (7007b)는, 송신기(7007b)의 정보를 예를 들면 주차장의 송수신 장치로서 구성되는 수신기(7007a)에 송신한다. 송신기(7007b)의 정보는, 송신기(7007b)의 식별 정보(ID), 차의 넘버, 차의 크기, 차의 형상, 또는 차의 무게를 나타낸다. 수신기(7007a)는, 그 정보를 수신하면, 주차의 가부, 과금 정보, 또는 주차 위치를 송신한다. 또한, 수신기(7007a)는, ID를 수신하고, ID 이외의 정보를 서버로부터 취득해도 된다.
도 152는, 실시의 형태 17에 있어서의 수신기(7007a)와 송신기(7007b)의 처리 동작의 일례를 나타내는 플로우 차트이다. 또한, 송신기(7007b)는, 송신뿐만이 아니라 수신도 행하기 때문에 차재 송신기와 차재 수신기를 구비한다.
송신기(7007b)의 ID와 ID를 수신한 수신기(7007a)에 건네주는 정보를 관련시켜 서버(주차장 관리 서버)에 기억한다(7107a). 수신기(7007a)에 건네주는 정보에는, 송신기(7007b)를 구성 요소의 일부로 하는 물체의 형상이나, 중량이나, 차체 넘버 등의 식별 번호나, 송신기(7007b)의 사용자의 식별 번호나 지불을 위한 정보를 포함시켜도 된다.
송신기(7007b)(차재 송신기)는, ID를 송신한다(7107B). 송신 내용에는, 상기 서버의 URL이나, 상기 서버에 기억시키는 정보를 포함시켜도 된다. 주차장의 수신기(7007a)(주차장의 송수신 장치)는, 수신한 정보를, 주차장을 관리하는 서버(주차장 관리 서버)에 송신한다(7107c). 주차장 관리 서버는, 송신기(7007b)의 ID를 키로, ID에 서로 결합된 정보를 취득한다(7107d). 주차장 관리 서버는, 주차장의 빈 상황을 조사한다(7107e).
주차장의 수신기(7007a)(주차장의 송수신 장치)는, 주차의 가부나, 주차 위치 정보, 또는, 이러한 정보를 보관 유지하는 서버의 어드레스를 송신한다(7107f). 또는, 주차장 관리 서버는, 이러한 정보를 다른 서버에 송신한다. 송신기(차재 수신기)(7007b)는, 상기에서 송신된 정보를 수신한다(7107g). 또는, 차재 시스템은, 별도의 서버로부터 이러한 정보를 취득한다.
주차장 관리 서버는, 주차를 행하기 쉽도록 주차장의 제어를 행한다(7107h). 예를 들면, 입체 주차장의 제어를 행한다. 주차장의 송수신 장치는, ID를 송신한다(7107i). 차재 수신기(송신기(7007b))는, 차재 수신기의 사용자 정보와 수신한 ID를 근거로, 주차장 관리 서버에 문의를 행한다(7107j).
주차장 관리 서버는, 주차 시간 등에 따라 과금을 행한다(7107k). 주차장 관리 서버는, 주차된 차량에 액세스하기 쉽게 주차장의 제어를 행한다(7107m). 예를 들면, 입체 주차장의 제어를 행한다. 차재 수신기(송신기(7007b))는, 주차 위치로의 지도를 표시하고, 현재지로부터의 네비게이션을 행한다(7107n).
(전차 내)
도 153은, 실시의 형태 17에 있어서의, 전철의 차 내에 적용되는 가시광 통신 시스템의 구성을 나타내는 도면이다.
가시광 통신 시스템은, 예를 들면, 전차 내에 배치된 복수의 조명 장치(1905)와, 사용자가 보관 유지하는 스마트 폰(1906)과, 서버(1904)와, 전차 내에 배치된 카메라(1903)를 구비한다.
복수의 조명 장치(1905)의 각각은, 전술의 송신기로서 구성되고, 광을 비추는 것과 함께, 휘도 변화하는 것에 의해서 가시광 신호를 송신한다. 이 가시광 신호는, 그 가시광 신호를 송신하는 조명 장치(1905)의 ID를 나타낸다.
스마트 폰(1906)은, 전술의 수신기로서 구성되고, 조명 장치(1905)를 촬상하는 것에 의해서, 그 조명 장치(1905)로부터 송신되는 가시광 신호를 수신한다. 예를 들면, 사용자는, 전차 내에서 트러블(예를 들면 치한 또는 싸움 등)에 말려 들어갔을 경우, 스마트 폰(1906)에 그 가시광 신호를 수신시킨다. 스마트 폰(1906)은, 가시광 신호를 수신하면, 그 가시광 신호에 의해서 표시되는 ID를 서버(1904)에 통지한다.
서버(1904)는, 그 ID의 통지를 받으면, 그 ID에 의해서 식별되는 조명 장치(1905)에 의해서 비추어지는 범위를 촬상 범위로 하는 카메라(1903)를 특정한다. 그리고, 서버(1904)는, 그 특정된 카메라(1903)에, 조명 장치(1905)에 의해서 비추어지는 범위를 촬상시킨다.
카메라(1903)는, 서버(1904)로부터의 지시에 따라 촬상하고, 그 촬상에 의해서 얻어진 화상을 서버(1904)에 송신한다.
이것에 의해, 전차 내에서의 트러블의 상황을 나타내는 화상을 취득할 수 있다. 이 화상은, 트러블의 증거로서 이용할 수 있다.
또, 사용자는, 스마트 폰(1906)을 조작함으로써, 카메라(1903)의 촬상에 의해서 얻어진 화상을 서버(1904)로부터 스마트 폰(1906)에 송신시켜도 된다.
또, 스마트 폰(1906)은, 화면에 촬상 버튼을 표시하고, 그 촬상 버튼이 사용자에 의해서 터치되면, 촬상을 재촉하는 신호를 서버(1904)에 송신해도 된다. 이것에 의해, 사용자는, 촬상의 타이밍을 스스로 결정할 수 있다.
도 154는, 실시의 형태 17에 있어서의, 유원지 등의 시설에 적용되는 가시광 통신 시스템의 구성을 나타내는 도면이다.
가시광 통신 시스템은, 예를 들면, 시설에 배치된 복수의 카메라(1903)와, 사람에게 부착되는 장신구(1907)를 구비한다.
장신구(1907)는, 예를 들면 복수의 LED가 부착된 리본을 가지는 카튜샤 등이다. 또, 이 장신구(1907)는, 전술의 송신기로서 구성되고, 복수의 LED를 휘도 변화시키는 것에 의해서 가시광 신호를 송신한다.
복수의 카메라(1903)의 각각은, 전술의 수신기로서 구성되고, 가시광 통신 모드와 통상 촬상 모드를 가진다. 또, 이러한 복수의 카메라(1903)의 각각은, 시설 내의 통과로에서의 서로 상이한 개소에 배치되어 있다.
구체적으로는, 카메라(1903)는, 가시광 통신 모드로 설정되어 있을 때, 장신구(1907)가 피사체로서 촬상되면, 그 장신구(1907)로부터 가시광 신호를 수신한다. 카메라(1903)는, 그 가시광 신호를 수신하면, 설정되어 있는 모드를 가시광 통신 모드로부터 통상 촬상 모드로 전환한다. 그 결과, 카메라(1903)는, 장신구(1907)를 몸에 지니고 있는 사람을 피사체로서 촬상한다.
따라서, 장신구(1907)를 부착한 사람이 시설 내의 통과로를 걷고 있으면, 그 사람의 근처에 있는 카메라(1903)가 차례차례로 그 사람을 촬상하게 된다. 이것에 의해, 그 사람이 시설에서 즐기고 있는 모습을 비추는 화상을 자동적으로 취득해 보존할 수 있다.
또한, 카메라(1903)는, 가시광 신호를 수신하면 즉시 통상 촬상 모드에 의한 촬상을 행하는 것이 아니라, 예를 들면 스마트 폰으로부터 촬상 개시의 지시를 받았을 때에, 통상 촬상 모드에 의한 촬상을 행해도 된다. 이것에 의해, 사용자는, 스마트 폰의 화면에 표시되는 촬상 개시 버튼에 접하는 타이밍으로, 스스로를 카메라(1903)에 촬상시킬 수 있다.
도 155는, 실시의 형태 17에 있어서의, 놀이 도구와 스마트 폰으로 이루어지는 가시광 통신 시스템의 일례를 나타내는 도면이다.
놀이 도구(1901)는, 예를 들면 복수의 LED를 구비한 전술의 송신기로서 구성되어 있다. 즉, 놀이 도구(1901)는, 그 복수의 LED를 휘도 변화시키는 것에 의해서, 가시광 신호를 송신한다.
스마트 폰(1902)은 그 놀이 도구(1901)을 촬상하는 것에 의해서, 그 놀이 도구(1901)로부터 송신되는 가시광 신호를 수신한다. 그리고, 도 155의 (a)에 나타내는 바와 같이, 스마트 폰(1902)은 그 가시광 신호를 1회째에 수신했을 때에는, 그 가시광 신호와 1회째에 대응시켜져 있는 동영상 1을 예를 들면 서버 등으로부터 다운로드하여 재생한다. 한편, 스마트 폰(1902)은, 그 가시광 신호를 2회째에 수신했을 때에는, 도 155의 (b)에 나타내는 바와 같이, 그 가시광 신호와 2회째에 대응시켜져 있는 동영상 2를 예를 들면 서버 등으로부터 다운로드하여 재생한다.
즉, 스마트 폰(1902)은, 동일한 가시광 신호를 수신해도, 그 가시광 신호를 수신한 횟수에 따라, 재생되는 동영상을 전환한다. 가시광 신호를 수신한 횟수는, 스마트 폰(1902)에 의해서 카운트되어도 되고, 서버에 의해서 카운트되어도 된다. 또는, 스마트 폰(1902)은 복수회, 동일한 가시광 신호를 수신해도, 연속하여 동일한 동영상을 재생하지는 않는다. 또는, 스마트 폰(1902)은, 동일한 가시광 신호에 대응시켜져 있는 복수의 동영상 중, 이미 재생된 동영상의 출현 확률을 저하시키고, 출현 확률이 높은 동영상을 우선적으로 다운로드하여 재생해도 된다.
또, 스마트 폰(1902)은, 복수의 점포를 가지는 시설의 안내소에 구비되어 있는 터치 패널로부터 송신되는 가시광 신호를 수신하고, 그 가시광 신호에 따른 화상을 표시해도 된다. 예를 들면, 터치 패널은, 시설의 개요를 나타내는 초기 화면을 표시하고 있을 때에는, 그 시설의 개요를 나타내는 가시광 신호를 휘도 변화에 의해서 송신하고 있다. 따라서, 스마트 폰은, 그 초기 화면을 표시하고 있는 터치 패널을 촬상하는 것에 의해서, 그 가시광 신호를 수신하면, 시설의 개요를 나타내는 화상을 스스로의 디스플레이에 표시할 수 있다. 여기서, 사용자에 의해서 터치 패널이 조작되면, 터치 패널은, 예를 들면 특정한 점포의 정보를 나타내는 점포 화상을 표시한다. 이 때, 터치 패널은, 그 특정한 점포의 정보를 나타내는 가시광 신호를 송신하고 있다. 따라서, 스마트 폰은, 그 점포 화상을 표시하고 있는 터치 패널을 촬상하는 것에 의해서, 그 가시광 신호를 수신하면, 특정 점포의 정보를 나타내는 점포 화상을 표시할 수 있다. 이와 같이, 스마트 폰은, 터치 패널과 동기한 화상을 표시할 수 있다.
(상기 실시의 형태의 정리)
본 발명의 일 양태에 따른 재생 방법은, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기로부터, 상기 가시광 신호를 단말 장치의 센서에 의해 수신하는 신호 수신 단계와, 상기 단말 장치로부터, 상기 가시광 신호에 대응시켜진 컨텐츠를 요구하기 위한 요구 신호를 서버에 송신하는 송신 단계와, 상기 단말 장치가, 각 시각과, 상기 각 시각에 재생되는 데이터를 포함하는 컨텐츠를, 상기 서버로부터 수신하는 컨텐츠 수신 단계와, 상기 컨텐츠 중, 상기 단말 장치에 구비되어 있는 시계의 시각에 해당하는 데이터를 재생하는 재생 단계를 포함한다.
이것에 의해, 도 131C에 나타내는 바와 같이, 각 시각과 그 각 시각에 재생되는 데이터를 포함하는 컨텐츠가 단말 장치에 수신되고, 단말 장치의 시계의 시각에 해당하는 데이터가 재생된다. 따라서, 단말 장치는, 그 컨텐츠에 있어서의 데이터를, 잘못된 시각에 재생해 버리는 일 없이, 그 컨텐츠에 표시되는 올바른 시각에, 적절하게 재생할 수 있다. 구체적으로는, 도 131A의 방법 e와 같이, 단말 장치인 수신기는, 컨텐츠를 (수신기 시각-컨텐츠 재생 개시 시각)의 시점으로부터 재생한다. 전술의 단말 장치의 시계의 시각에 해당하는 데이터는, 컨텐츠 중의 (수신기 시각-컨텐츠 재생 개시 시각)의 시점에 있는 데이터이다. 또, 송신기에 있어서도, 그 컨텐츠에 관련하는 컨텐츠(송신기측 컨텐츠)가 재생되어 있으면, 단말 장치는, 컨텐츠를 그 송신기측 컨텐츠에 적절하게 동기시켜 재생할 수 있다. 또한, 컨텐츠는 음성 또는 화상이다.
또, 상기 단말 장치에 구비되어 있는 시계와 기준 클락과의 사이에서는, GPS(Global Positioning System) 전파, 또는, NTP(Network Time Protocol) 전파에 의해서, 동기가 취해지고 있어도 된다.
이것에 의해, 도 130 및 도 132에 나타내는 바와 같이, 단말 장치(수신기)의 시계와 기준 클락의 사이에서 동기가 취해지고 있기 때문에, 기준 클락에 따른 적절한 시각에, 그 시각에 해당하는 데이터를 재생할 수 있다.
또, 상기 가시광 신호는, 상기 가시광 신호가 상기 송신기로부터 송신되는 시각을 나타내도 된다.
이것에 의해, 도 131A의 방법 d에 나타내는 바와 같이, 단말 장치(수신기)는, 가시광 신호가 송신기로부터 송신되는 시각(송신기 시각)에 대응시켜진 컨텐츠를 수신할 수 있다. 예를 들면, 송신기 시각이 5시 43분이면, 5시 43분에 재생되는 컨텐츠를 수신할 수 있다.
또, 상기 재생 방법에서는, 또한, 상기 GPS 전파 또는 상기 NTP 전파에 의해서, 상기 단말 장치의 시계와 상기 기준 클락과의 사이에서 동기를 취하기 위한 처리가 행해진 시각이, 상기 단말 장치가 상기 가시광 신호를 수신한 시각으로부터 소정의 시간보다 앞인 경우, 상기 송신기로부터 송신된 상기 가시광 신호가 나타내는 시각에 의해, 상기 단말 장치의 시계와 상기 송신기의 시계 사이에서 동기를 취해도 된다.
예를 들면, 단말 장치의 시계와 기준 클락 사이에서 동기를 취하기 위한 처리가 행해지고 나서 소정의 시간이 경과해 버리면, 그 동기가 적절하게 유지되지 않는 경우가 있다. 이러한 경우에는, 단말 장치는, 송신기로 재생되는 송신기측 컨텐츠와 동기하는 시각에, 컨텐츠를 재생할 수 없는 가능성이 있다. 따라서, 상기 본 발명의 일 양태에 따른 재생 방법에서는, 도 130의 단계 S1829, S1830와 같이, 소정의 시간이 경과했을 때에는, 단말 장치(수신기)의 시계와 송신기의 시계와의 사이에서 동기가 취해진다. 따라서, 단말 장치는, 송신기로 재생되는 송신기측 컨텐츠와 동기하는 시각에, 컨텐츠를 재생할 수 있다.
또, 상기 서버는, 각각 시각에 관련시켜져 있는 복수의 컨텐츠를 가지고 있고, 상기 컨텐츠 수신 단계에서는, 상기 가시광 신호가 나타내는 시각에 관련시켜진 컨텐츠가 상기 서버에 존재하지 않는 경우에는, 상기 복수의 컨텐츠 중, 상기 가시광 신호가 나타내는 시각에 가장 가깝고, 또한 상기 가시광 신호가 나타내는 시각의 뒤의 시각에 관련시켜져 있는 컨텐츠를 수신해도 된다.
이것에 의해, 도 131A의 방법 d에 나타내는 바와 같이, 가시광 신호가 나타내는 시각에 관련시켜진 컨텐츠가 서버에 존재하지 않아도, 그 서버에 있는 복수의 컨텐츠 중에서, 적절한 컨텐츠를 수신할 수 있다.
또, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기로부터, 상기 가시광 신호를 단말 장치의 센서에 의해 수신하는 신호 수신 단계와, 상기 단말 장치로부터, 상기 가시광 신호에 대응시켜진 컨텐츠를 요구하기 위한 요구 신호를 서버에 송신하는 송신 단계와, 상기 단말 장치가, 상기 서버로부터 컨텐츠를 수신하는 컨텐츠 수신 단계와, 상기 컨텐츠를 재생하는 재생 단계를 포함하고, 상기 가시광 신호는, ID 정보와, 상기 가시광 신호가 상기 송신기로부터 송신되는 시각을 나타내고, 상기 컨텐츠 수신 단계에서는 상기 가시광 신호에 의해서 표시되는 ID 정보 및 시각에 대응시켜진 상기 컨텐츠를 수신해도 된다.
이것에 의해, 도 131A의 방법 d와 같이, ID 정보(송신기 ID)에 관련시켜져 있는 복수의 컨텐츠 중에서, 가시광 신호가 송신기로부터 송신되는 시각(송신기 시각)에 대응시켜진 컨텐츠가 수신되어 재생된다. 따라서, 그 송신기 ID 및 송신기 시각에 대해서 적절한 컨텐츠를 재생할 수 있다.
또, 상기 가시광 신호는, 시각 중 시 및 분을 나타내는 제2 정보와 시각 중 초를 나타내는 제1 정보를 포함하는 것에 의해서, 상기 가시광 신호가 상기 송신기로부터 송신되는 시각을 나타내고, 상기 신호 수신 단계에서는, 상기 제2 정보를 수신함과 함께, 상기 제2 정보를 수신하는 횟수보다 많은 횟수만큼 상기 제1 정보를 수신해도 된다.
이것에 의해, 예를 들면, 가시광 신호에 포함되는 각 패킷이 송신되는 시각을 초단위로 단말 장치에 통지하는 경우에는, 시, 분 및 초의 모두를 이용해 표현되는 현시점의 시각을 나타내는 패킷을, 1초 경과마다 단말 장치에 송신하는 수고를 경감할 수 있다. 즉, 도 126에 나타내는 바와 같이, 패킷이 송신되는 시각 중 시 및 분이, 전에 송신된 패킷에 표시되는 시 및 분으로부터 갱신되어 있지 않으면, 초만을 나타내는 패킷(시간 패킷 1)인 제1 정보만을 송신하면 된다. 따라서, 송신기에 의해서 송신되는, 초를 나타내는 패킷(시간 패킷 1)인 제1 정보보다, 시 및 분을 나타내는 패킷(시간 패킷 2)인 제2 정보를 적게 하는 것에 의해서, 장황한 내용을 포함하는 패킷의 송신을 억제할 수 있다.
또, 상기 단말 장치의 센서는, 이미지 센서로서, 상기 신호 수신 단계에서는, 상기 이미지 센서의 셔터 속도를, 제1 속도와, 상기 제1 속도보다 고속인 제2 속도로 교대로 전환하면서, 상기 이미지 센서에 의한 연속한 촬영을 행하고, (a) 상기 이미지 센서에 의한 촬영의 피사체가 바코드인 경우에는, 상기 셔터 속도가 상기 제1 속도일 때의 촬영에 의해서, 바코드가 비치고 있는 화상을 취득하고, 상기 화상에 비치고 있는 바코드를 디코드하는 것에 의해서, 바코드 식별자를 취득하며, (b) 상기 이미지 센서에 의한 촬영의 피사체가 상기 광원인 경우에는, 상기 셔터 속도가 상기 제2 속도일 때의 촬영에 의해서, 상기 이미지 센서에 포함되는 복수의 노광 라인의 각각에 대응하는 휘선을 포함하는 화상인 휘선 화상을 취득하며, 취득된 휘선 화상에 포함되는 복수의 휘선의 패턴을 디코드하는 것에 의해서 상기 가시광 신호를 가시광 식별자로서 취득하고, 상기 재생 방법에서는, 또한, 상기 셔터 속도가 상기 제1 속도일 때의 촬영에 의해서 얻어지는 화상을 표시해도 된다.
이것에 의해, 도 102에 나타내는 바와 같이, 바코드로부터도 가시광 신호로부터도, 그들에 따른 식별자를 적절하게 취득할 수 있음과 함께, 피사체로 되어 있는 바코드 또는 광원이 비추어진 화상을 표시할 수 있다.
또, 상기 가시광 식별자의 취득에서는, 상기 복수의 휘선의 패턴으로부터, 데이터부 및 어드레스부를 포함하는 제1 패킷을 취득하고, 상기 제1 패킷보다 전에 이미 취득되고 있는 적어도 1개의 패킷 가운데, 상기 제1 패킷의 어드레스부와 동일한 어드레스부를 포함하는 패킷인 제2 패킷이 소정의 수 이상 존재하는지 아닌지를 판정하고, 상기 제2 패킷이 상기 소정의 수 이상 존재한다고 판정한 경우에는, 상기 소정의 수 이상의 상기 제2 패킷의 각각의 데이터부에 대응하는 상기 휘선 화상의 일부의 영역의 화소값과, 상기 제1 패킷의 데이터부에 대응하는 상기 휘선 화상의 일부의 영역의 화소값을 맞추는 것에 의해서, 합성 화소값을 산출하며, 상기 합성 화소값을 포함하는 데이터부를 복호하는 것에 의해서, 상기 가시광 식별자의 적어도 일부를 취득해도 된다.
이것에 의해, 도 74에 나타내는 바와 같이, 동일한 어드레스부를 포함하는 복수의 패킷의 각각에서 데이터부가 조금 상이해도, 그러한 패킷의 데이터부의 화소값을 맞추는 것에 의해서, 적절한 데이터부를 복호할 수 있고 가시광 식별자의 적어도 일부를 올바르게 취득할 수 있다.
또, 상기 제1 패킷은, 추가로, 상기 데이터부에 대한 제1 오류 정정 부호와, 상기 어드레스부에 대한 제2 오류 정정 부호를 포함하고, 상기 신호 수신 단계에서는, 상기 송신기로부터, 제2 주파수에 따른 휘도 변화에 의해서 송신되는 상기 어드레스부 및 상기 제2 오류 정정 부호를 수신하며, 상기 제2 주파수보다 높은 제1 주파수에 따른 휘도 변화에 의해서 송신되는 상기 데이터부 및 상기 제1 오류 정정 부호를 수신해도 된다.
이것에 의해, 어드레스부를 잘못해 수신하는 것을 억제함과 함께, 데이터량이 많은 데이터부를 신속하게 취득할 수 있다.
또, 상기 가시광 식별자의 취득에서는, 상기 복수의 휘선의 패턴으로부터, 데이터부 및 어드레스부를 포함하는 제1 패킷을 취득하고, 상기 제1 패킷보다 전에 이미 취득되어 있는 적어도 1개의 패킷 중, 상기 제1 패킷의 어드레스부와 동일한 어드레스부를 포함하는 패킷인 적어도 1개의 제2 패킷이 존재하는지 아닌지를 판정하고, 상기 적어도 1개의 제2 패킷이 존재한다고 판정한 경우에는, 상기 적어도 1개의 제2 패킷과 상기 제1 패킷의 각각의 데이터부가 모두 동일한지 아닌지를 판정하고, 각각의 상기 데이터부가 모두 동일하지 않다고 판정한 경우에는, 상기 적어도 1개의 제2 패킷의 각각에 있어서, 상기 제2 패킷의 데이터부에 포함되는 각 부분 중, 상기 제1 패킷의 데이터부에 포함되는 각 부분과 상이한 부분의 수가, 소정의 수 이상 존재하는지 아닌지를 판정하며, 상기 적어도 1개의 제2 패킷 중, 상이한 부분의 수가 상기 소정의 수 이상 존재한다고 판정된 제2 패킷이 있는 경우에는, 상기 적어도 1개의 제2 패킷을 파기하고, 상기 적어도 1개의 제2 패킷 중, 상이한 부분의 수가 상기 소정의 수 이상 존재한다고 판정된 제2 패킷이 없는 경우에는, 상기 제1 패킷 및 상기 적어도 1개의 제2 패킷 중, 동일한 데이터부를 가지는 패킷의 수가 가장 많은 복수의 패킷을 특정하며, 해당 복수의 패킷의 각각에 포함되는 데이터부를, 상기 제1 패킷에 포함되는 어드레스부에 대응하는 데이터부로서 복호하는 것에 의해서, 상기 가시광 식별자의 적어도 일부를 취득해도 된다.
이것에 의해, 도 73에 나타내는 바와 같이, 동일한 어드레스부를 가지는 복수의 패킷이 수신되었을 때에, 그러한 패킷의 데이터부가 상이해도, 적절한 데이터부를 복호할 수 있어 가시광 식별자의 적어도 일부를 올바르게 취득할 수 있다. 즉, 동일한 송신기로부터 송신되는 동일한 어드레스부를 가지는 복수의 패킷은, 기본적으로 동일한 데이터부를 가진다. 그러나, 단말 장치가, 패킷의 송신원이 되는 송신기를 전환하는 경우에는, 단말 장치는, 동일한 어드레스부를 가지고 있어도 서로 상이한 데이터부를 가지는 복수의 패킷을 수신하는 일이 있다. 이러한 경우에는, 상기 본 발명의 일 양태에 따른 재생 방법에서는, 도 73의 단계 S10106와 같이, 이미 수신되고 있는 패킷(제2 패킷)이 파기되고, 최신의 패킷(제1 패킷)의 데이터부를, 그 어드레스부에 대응하는 올바른 데이터부로서 복호할 수 있다. 또한, 전술과 같은 송신기의 전환이 없는 경우라도, 가시광 신호의 송수신 상황에 따라, 동일한 어드레스부를 가지는 복수의 패킷의 데이터부가 조금 상이한 일이 있다. 이러한 경우에는, 상기 본 발명의 일 양태에 따른 재생 방법에서는, 도 73의 단계 S10107와 같이, 이른바 다수결에 의해서, 적절한 데이터부를 복호할 수 있다.
또, 상기 가시광 식별자의 취득에서는, 상기 복수의 휘선의 패턴으로부터, 각각 데이터부 및 어드레스부를 포함하는 복수의 패킷을 취득하고, 취득된 상기 복수의 패킷 가운데, 상기 데이터부에 포함되는 모든 비트가 0을 나타내는 패킷인 0 종단 패킷이 존재하는지 아닌지를 판정하며, 상기 0 종단 패킷이 존재한다고 판정한 경우에는, 상기 복수의 패킷 가운데, 상기 0 종단 패킷의 어드레스부에 관련시켜져 있는 어드레스부를 포함하는 패킷인 N개(N은 1이상의 정수)의 관련 패킷이 모두 존재하는지 아닌지를 판정하고, 상기 N개의 관련 패킷이 모두 존재한다고 판정한 경우에는, 상기 N개의 관련 패킷의 각각의 데이터부를 나열하여 복호하는 것에 의해서, 상기 가시광 식별자를 취득해도 된다. 예를 들면, 상기 0 종단 패킷의 어드레스부에 관련시켜져 있는 상기 어드레스부는, 상기 0 종단 패킷의 어드레스부에 나타나는 어드레스보다 작고 0이상인 어드레스를 나타내는 어드레스부이다.
구체적으로는, 도 75에 나타내는 바와 같이, 0 종단 패킷의 어드레스 이하의 어드레스를 가지는 패킷이 관련 패킷으로서 모두 구비되어 있는지 아닌지가 판정되고, 구비되어 있다고 판정된 경우에, 그러한 관련 패킷의 각각의 데이터부가 복호된다. 이것에 의해, 단말 장치는, 가시광 식별자를 취득하기 위해서, 몇 개의 관련 패킷이 필요한 것을 사전에 알고 있지 않아도, 게다가, 그러한 관련 패킷의 어드레스를 사전에 알고 있지 않아도, 0 종단 패킷을 취득한 시점에서 용이하게 알 수 있다. 그 결과, 단말 장치는, N개의 관련 패킷의 각각의 데이터부를 나열하여 복호하는 것에 의해서, 적절한 가시광 식별자를 취득할 수 있다.
(실시의 형태 18)
이하, 가변 길이·가변 분할수 대응 프로토콜에 대해 설명한다.
도 156은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
송신 패킷은, 프리앰블, TYPE, 페이로드, 및 체크부로 구성된다. 패킷은 연속으로 송신되어도 되고, 단속적으로 송신되어도 된다. 패킷을 송신하지 않는 기간을 마련함으로써, 백 라이트 소등시에 액정 상태를 변화시켜, 액정 디스플레이의 동해상감을 향상시킬 수 있다. 패킷 송신 간격을 랜덤으로 함으로써 혼신을 회피할 수 있다.
프리앰블에는, 4 PPM에 출현하지 않는 패턴을 이용한다. 짧은 기본 패턴을 이용함으로써, 수신 처리를 간단하게 할 수 있다.
프리앰블의 종류에 따라서 데이터의 분할수를 표현함으로써, 불필요한 송신 슬롯을 이용하지 않고 데이터 분할수를 가변으로 할 수 있다.
TYPE의 값에 따라서 페이로드 길이를 변화시킴으로써, 송신 데이터를 가변 길이로 할 수 있다. TYPE에서는, 페이로드 길이를 표현해도 되고, 분할하기 전의 데이터 길이를 표현해도 된다. TYPE의 값에 따라서, 패킷의 어드레스를 표현함으로써, 수신기는 수신한 패킷을 올바르게 나열할 수 있다. 또, 프리앰블의 종류 또는 분할수에 따라서, TYPE의 값이 표현하는 페이로드 길이(데이터 길이)를 변화시켜도 된다.
페이로드 길이에 따라서 체크부의 길이를 변화시키는 것에 의해서, 효율적인 오류 정정(검출)을 할 수 있다. 체크부의 최단의 길이를 2비트로 함으로써, 효율적으로 4 PPM으로 변환할 수 있다. 또, 페이로드 길이에 따라서 오류 정정(검출) 부호의 종류를 변화시킴으로써, 효율적으로 오류 정정(검출)을 할 수 있다. 프리앰블의 종류 또는 TYPE의 값에 따라서 체크부의 길이 또는 오류 정정(검출) 부호의 종류를 변화시킨다고 해도 된다.
페이로드와 분할수가 상이한 조합으로 동일한 데이터 길이가 되는 조합이 존재한다. 이러한 경우는, 동일한 데이터값이라도 조합마다 상이한 의미를 갖게 함으로써, 보다 많은 값을 표현할 수 있다.
이하, 고속 송신·휘도 변조 프로토콜에 대해 설명한다.
도 157은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
송신 패킷은, 프리앰블과 보디부와 휘도 조정부로 구성된다. 보디에는, 어드레스부와 데이터부와 오류 정정(검출) 부호부를 포함한다. 단속적인 송신을 허가함으로써, 상기와 동일한 효과가 얻어진다.
(실시의 형태 19)
(Single frame transmission의 프레임 구성 )
도 158은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
송신 프레임은, 프리앰블(PRE), 프레임 길이(FLEN), ID 타입(IDTYPE), 컨텐츠(ID/DATA), 및 검사 부호(CRC)로 구성되고, 컨텐츠 타입(CONTENTTYPE)을 포함해도 된다. 각 영역의 비트수는 일례이다.
FLEN으로 ID/DATA의 길이를 지정함으로써, 가변 길이의 컨텐츠를 송신할 수 있다.
CRC는, PRE 이외의 부분의 잘못을 정정, 또는, 검출하는 검사 부호이다. 검사 영역의 길이에 따라 CRC 길이를 변화시킴으로써, 검사 능력을 일정 이상으로 유지할 수 있다. 또, 검사 영역의 길이에 따라 상이한 검사 부호를 이용함으로써, CRC 길이 당 검사 능력을 향상시킬 수 있다.
(Multiple frame transmission의 프레임 구성)
도 159는, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
송신 프레임은, 프리앰블(PRE)과 어드레스(ADDR)와 분할된 데이터의 일부(DATAPART)로 구성되고, 분할수(PARTNUM)와 어드레스 플래그(ADDRFRAG)의 각각을 포함해도 된다. 각 영역의 비트수는 일례이다.
컨텐츠를 복수의 부분으로 분할하여 송신함으로써, 원거리 통신을 행할 수 있다.
분할하는 크기를 등분으로 함으로써, 최대 프레임 길이를 작게 할 수 있어 안정되게 통신을 행할 수 있다.
등분할을 할 수 없는 경우에는, 일부의 분할 부분을 다른 분할 부분보다 작게 함으로써, 정확히 좋은 사이즈의 데이터를 송신할 수 있다.
분할하는 크기를 상이한 크기로 하고, 분할 사이즈의 조합에 의미를 갖게 함으로써 보다 많은 정보를 송신할 수 있다. 예를 들면, 32bit의 동일한 값의 데이터였다고 해도, 8bit가 4회로 송신된 경우와, 16bit가 2회로 송신된 경우와, 15bit가 1회와 17이 1회로 송신된 경우에서는 상이한 정보로서 취급함으로써, 보다 많은 정보량을 표현할 수 있다.
PARTNUM으로 분할수를 나타냄으로써, 수신기는 분할수를 즉석에서 알 수 있어 수신의 진척을 정확하게 표시할 수 있다.
ADDRFRAG가 0인 경우는 최후의 어드레스가 아니고, 1의 경우는 최후의 어드레스라고 함으로써, 분할수를 나타내는 영역이 불필요해지고, 보다 짧은 시간에 송신할 수 있다.
CRC는, 상기와 동일하게, PRE 이외의 부분의 오류를 정정, 또는, 검출하는 검사 부호이다. 이 검사에 의해, 복수의 송신원으로부터의 송신 프레임을 수신했을 때에, 혼신을 검출할 수 있다. CRC 길이를 DATAPART 길이의 정수배로 함으로써, 가장 효율적으로 혼신을 검출할 수 있다.
분할된 프레임(도 159의 (a), (b) 또는 (c)에 의해서 표시되는 프레임)의 말미에, 각 프레임의 PRE 이외의 부분을 검사하는 검사 부호를 더한다고 해도 된다.
도 159의 (d)에 의해서 표시되는 IDTYPE는, 도 158의 (a)~(d)와 동일하게, 4bit 또는 5bit등의 고정 길이로 해도 되고, IDTYPE 길이를 ID/DATA 길이에 의해서 변화시킨다고 해도 된다. 이것에 의해, 상기와 동일한 효과가 얻어진다.
(ID/DATA 길이의 지정)
도 160은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 158의 (a)~(d)의 경우에, 각각 도 160에 나타내는 표 (a) 및 (b)와 같이 설정함으로써, 128bit일 때에 ucode를 나타낼 수 있다.
(CRC 길이와 생성 다항식)
도 161은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
이와 같이 CRC 길이를 설정함으로써, 검사 대상의 길이에 의하지 않고 검사 능력을 유지할 수 있다.
생성 다항식은 일례이며, 다른 생성 다항식을 이용해도 된다. 또,CRC 이외의 검사 부호를 이용한다고 해도 된다. 이들에 의해, 검사 능력을 향상시킬 수 있다.
(프리앰블의 종류에 따른 DATAPART 길이의 지정과 최후의 어드레스의 지정)
도 162는, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
프리앰블의 종류로 DATAPART 길이를 나타냄으로써, DATAPART 길이를 나타내는 영역이 필요없게 되고, 보다 짧은 송신 시간으로 정보를 송신할 수 있다. 또, 최후의 어드레스인지 어떤지를 나타냄으로써, 분할의 개수를 나타내는 영역이 필요없게 되고, 보다 짧은 송신 시간으로 정보를 송신할 수 있다. 또, 도 162의 (b)의 경우는, 최후의 어드레스의 경우는 DATAPART 길이를 알 수 없기 때문에, 그 프레임 수신의 직전 또는 직후에 수신한 최후의 어드레스가 아닌 프레임의 DATAPART 길이와 동일하다고 추정해 수신 처리를 행함으로써 정상적으로 수신할 수 있다.
프리앰블의 종류에 따라서 어드레스 길이가 상이하다고 해도 된다. 이것에 의해, 송신 정보의 길이의 조합을 많게 하거나 짧은 시간에 송신하거나 할 수 있다.
도 162의 (c)의 경우는, 프리앰블로 분할수를 규정해, DATAPART 길이를 나타내는 영역을 더한다.
(어드레스의 지정)
도 163은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
ADDR의 값으로 그 프레임의 어드레스를 나타냄으로써, 수신기는, 올바르게 송신된 정보를 재구성할 수 있다.
PARTNUM의 값으로 분할수를 나타냄으로써, 수신기는 최초의 프레임을 수신한 시점에서 반드시 분할수를 알 수 있고, 수신의 진척을 정확하게 표시할 수 있다.
(분할수의 차이에 의한 혼신의 방지)
도 164와 도 165는, 본 실시의 형태에 있어서의 송수신 시스템의 일례를 나타내는 도면과 플로우 차트이다.
송신 정보를 등분할하여 분할 송신하는 경우, 도 164의 송신기 A와 송신기 B 로부터의 신호는, 프리앰블이 상이하기 때문에, 이러한 신호를 동시에 수신한 경우라도, 수신기는 송신원을 혼동하지 않고 송신 정보를 재구성할 수 있다.
송신기 A, B는, 분할수 설정부를 구비함으로써, 사용자는, 근처에 설치한 송신기의 분할수가 상이하도록 설정할 수 있고, 혼신을 막을 수 있다.
수신기는, 수신한 신호의 분할수를 서버에 등록함으로써, 서버는 송신기의 설정되어 있는 분할수를 알 수 있고, 다른 수신기는 그 정보를 서버로부터 취득함으로써, 수신의 진척 상황을 정확하게 표시할 수 있다.
수신기는, 부근의, 또는, 대응하는 송신기로부터의 신호는 등장 분할인지 어떤지를 서버로부터, 혹은, 수신기의 기억부로부터 취득한다. 상기 취득한 정보가 등장 분할인 경우는, 동일한 DATAPART 길이의 프레임만으로부터 신호를 복원한다. 그렇지 않은 경우나, 동일한 DATAPART 길이의 프레임으로 모든 어드레스가 구비되지 않은 상황이 소정의 시간 이상 계속된 경우는, 상이한 DATAPART 길이의 프레임을 맞추어 신호를 복원한다.
(분할수의 차이에 의한 혼신의 방지)
도 166은, 본 실시의 형태에 있어서의 서버의 동작을 나타내는 플로우 차트이다.
서버는, 수신기가 수신한 ID와 분할 구성(어떠한 DATAPART 길이의 조합으로 신호를 수신했는지)을 수신기로부터 수취한다. 상기 ID가, 분할 구성에 의한 확장의 대상인 경우는, 분할 구성의 패턴을 수치화한 것을 보조 ID로 하고, 상기 ID와 상기 보조 ID를 맞춘 확장 ID를 키로서 관련시켜진 정보를 수신기에 건네준다.
분할 구성에 의한 확장의 대상이 아닌 경우는, ID에 관련시켜진 분할 구성이 기억부에 존재하는지 어떤지 확인하고, 수신한 분할 구성과 동일한지 어떤지 확인한다. 상이한 경우는 재확인 명령을 수신기에 송신한다. 이것에 의해, 수신기의 수신 에러에 의해서 잘못된 정보가 제시되는 것을 막을 수 있다.
재확인 명령을 송신 후, 소정의 시간 이내에 동일한 ID로 동일한 분할 구성을 수신한 경우에는, 분할 구성이 변경되었다고 판단하고, ID에 관련시켜진 분할 구성을 갱신한다. 이것에 의해, 도 164의 설명으로서 기술한 것처럼, 분할 구성이 변경된 경우에 대응할 수 있다.
분할 구성이 기억되어 있지 않은 경우, 수신한 분할 구성과 기억되어 있는 분할 구성이 일치한 경우, 또는, 분할 구성을 갱신하는 경우에는, ID를 키로 하여 관련시켜진 정보를 수신기에 건네주고, 분할 구성을 ID와 관련시켜 기억부에 기억한다.
(수신의 진척 상황의 표시)
도 167~도 172는, 본 실시의 형태에 있어서의 수신기의 동작의 일례를 나타내는 플로우 차트와 도면이다.
수신기는, 수신기가 대응하고 있는 송신기, 또는, 수신기의 부근에 있는 송신기의 분할수의 종류와 비율을, 서버나 수신기의 기억 영역으로부터 취득한다. 또, 일부의 분할 데이터를 이미 수신하고 있는 경우는, 그 일부에 일치하는 정보를 송신하고 있는 송신기의 분할수의 종류와 비율을 취득한다.
수신기는, 분할된 프레임을 수신한다.
최후의 어드레스를 이미 수신하고 있는 경우, 상기 취득한 분할수가 1 종류뿐인 경우, 또는, 실행 중의 수신 어플리케이션의 대응하고 있는 분할수가 1 종류뿐인 경우는, 분할수가 이미 알려져 있기 때문에, 그 분할수를 기준으로 진척 상황을 표시한다.
그렇지 않은 경우로서, 이용 가능한 처리 리소스가 적은, 또는 에너지 절약 모드인 경우에는, 수신기는 간이 모드로 진척 상황을 계산해 표시한다. 한편, 이용 가능한 처리 리소스가 많은, 또는 에너지 절약 모드가 아닌 경우에는, 최우 추정 모드로 진척 상황을 계산해 표시한다.
도 168은, 간이 모드로의 진척 상황의 계산 방법을 나타내는 플로우 차트이다.
우선, 수신기는, 표준 분할수 Ns를 서버로부터 취득한다. 또는, 수신기는, 스스로의 내부의 데이터 보관 유지부로부터 표준 분할수 Ns를 독출한다. 또한, 표준 분할수는, (a) 그 분할수로 송신하는 송신기수의 최대 빈수 또는 기대치, (b) 패킷 길이마다 정해진 분할수, (c) 어플리케이션마다 정해진 분할수, 또는, (d) 수신기가 있는 장소로서, 식별 가능한 범위마다 정해진 분할수이다.
다음에, 수신기는, 최종 어드레스인 것을 나타내는 패킷을 수신하고 있는지 아닌지를 판정한다. 수신하고 있다고 판정하면, 최종 패킷의 어드레스를 N으로 한다. 한편, 수신하고 있지 않다고 판정하면, 수신이 끝난 최대 어드레스 Amax에 1또는 2이상의 수를 더한 수를 Ne로 한다. 여기서, 수신기는, Ne＞Ns인지 아닌지를 판정한다. Ne＞Ns라고 판정하면, 수신기는, N=Ne로 한다. 한편, Ne＞Ns는 아니라고 판정하면, 수신기는, N=Ns로 한다.
그리고, 수신기는, 수신 중의 신호의 분할수가 N이라고 하여, 신호 전체의 수신에 필요한 패킷 가운데, 수신이 끝난 패킷수의 비율을 계산한다.
이러한 간이 모드로는, 최우 추정 모드보다도 단순한 계산으로 진척 상황을 계산할 수 있어, 처리 시간 또는 소비 에너지의 점에서 유리하다.
도 169는, 최우 추정 모드로의 진척 상황의 계산 방법을 나타내는 플로우 차트이다.
우선, 수신기는, 분할수의 사전 분포를 서버로부터 취득한다. 또는, 수신기는, 스스로의 내부의 데이터 보관 유지부로부터 사전 분포를 독출한다. 또한, 사전 분포는, (a) 그 분할수로 송신하는 송신기수의 분포로서 정해져 있는, (b) 패킷 길이마다 정해져 있는, (c) 어플리케이션마다 정해져 있는, 또는, (d) 수신기가 있는 장소로서, 식별 가능한 범위마다 정해져 있다.
다음에, 수신기는, 패킷 x를 수신하고, 분할수가 y일 때에 패킷 x를 수신하는 확률 P(x｜y)을 계산한다. 그리고, 수신기는, 패킷 x를 수신한 경우에 송신 신호의 분할수가 y일 확률 P(y｜x)를, P(x｜y)×P(y)÷A로서 구한다(또한, A는 정규화 승수이다). 또한, 수신기는, P(y)=P(y｜x)로 한다.
여기서, 수신기는, 분할수 추정 모드가 최우 모드인지, 우도 평균 모드인지 아닌지를 판정한다. 최우 모드인 경우, 수신기는, P(y)가 최대가 되는 y를 분할수로 하여 수신이 끝난 패킷수의 비율을 산출한다. 한편, 우도 평균 모드인 경우, 수신기는, y×P(y)의 총합을 분할수로 하여 수신이 끝난 패킷수의 비율을 계산한다.
이러한 최우 추정 모드로는, 간이 모드보다 정확한 진척 정도를 계산할 수 있다.
또, 분할수 추정 모드가 최우 모드인 경우는, 지금까지 수신한 어드레스로부터 최후의 어드레스가 몇 번인지의 우도를 계산하고, 최우인 것을 분할수이라고 추정해 수신의 진척을 표시한다. 이 표시 방법은, 실제의 진척 상황에 가장 가까운 진척 상황을 표시할 수 있다.
도 170은, 진척 상황이 감소하지 않는 표시 방법을 나타내는 플로우 차트이다.
우선, 수신기는, 신호 전체의 수신에 필요한 패킷 중, 수신이 끝난 패킷수의 비율을 계산한다. 그리고, 수신기는, 계산한 비율이, 표시 중의 비율보다 작은지 아닌지를 판정한다. 표시 중의 비율보다 작다고 판정하면, 수신기는, 또한, 표시 중의 비율이 소정의 시간 이상 전의 계산 결과인지 아닌지를 판정한다. 소정의 시간 이상 전의 계산 결과라고 판정하면, 수신기는, 계산한 비율을 표시한다. 한편, 소정의 시간 이상 전의 계산 결과는 아니라고 판정하면, 수신기는, 표시 중의 비율을 계속 표시한다.
또, 수신기는, 계산한 비율이, 표시 중의 비율 이상이라고 판정하면, 수신이 끝난 최대 어드레스 Amax에 1 또는 2 이상의 수를 더한 수를 Ne로 한다. 그리고, 수신기는, 그 계산한 비율을 표시한다.
최종 패킷을 수신했을 때 등에, 진척 상황의 계산 결과가 그때까지보다도 작아지는 것, 즉, 표시되는 진척 상황(진척 정도)이 낮아지는 것은 부자연스럽다. 그러나, 전술의 표시 방법에서는, 이러한 부자연스러운 표시를 억제할 수 있다.
도 171은, 복수의 패킷 길이가 있는 경우의 진척 상황의 표시 방법을 나타내는 플로우 차트이다.
우선, 수신기는, 수신이 끝난 패킷수의 비율 P를, 패킷 길이마다 계산한다. 여기서, 수신기는, 표시 모드가 최대 모드, 전체 표시 모드 및 최신 모드 중 어느 쪽인지를 판정한다. 최대 모드라고 판정하면, 수신기는, 복수의 패킷 길이의 각각의 비율 P 중 최대의 비율을 표시한다. 전체 표시 모드라고 판정하면, 수신기는, 모든 비율 P를 표시한다. 최신 모드라고 판정하면, 수신기는, 최후에 수신한 패킷의 패킷 길이의 비율 P를 표시한다.
도 172에서, (a)는 상기 간이 모드로서 계산한 진척 상황, (b)는 상기 최우모드로서 계산한 진척 상황, (c)는 취득한 분할수 중 최소의 것을 분할수로 하여 계산한 경우의 진척 상황이다. (a)(b)(c)의 순서로 진척 상황은 커지기 때문에, 이렇게 (a)(b)(c)를 겹쳐서 표시함으로써, 모든 진척 상황을 동시에 표시할 수 있다.
(공통 스위치와 화소 스위치에 의한 발광 제어)
본 실시의 형태에 있어서의 송신 방법에서는, 예를 들면, 영상 표시용의 LED 디스플레이에 포함되는 각 LED를, 공통 스위치 및 화소 스위치의 스위칭에 따라, 휘도 변화시킴으로써, 가시광 신호(가시광 통신 신호라고도 함)를 송신한다.
LED 디스플레이는, 예를 들면 옥외에 설치되는 대형 디스플레이로서 구성되어 있다. 또, LED 디스플레이는, 매트릭스형상으로 배열된 복수의 LED를 구비하고, 영상 신호에 따라, 이러한 LED를 명멸시킴으로써 영상을 표시한다. 이러한 LED 디스플레이는, 복수의 공통 라인(COM 라인)으로 됨과 함께, 복수의 화소 라인(SEG 라인)으로 이루어진다. 각 공통 라인은, 수평 방향으로 일렬로 배열된 복수의 LED로 이루어지고, 각 화소 라인은, 수직 방향으로 일렬로 배열된 복수의 LED로 이루어진다. 또, 복수의 공통 라인의 각각은, 그 공통 라인에 대응하는 공통 스위치에 접속된다. 공통 스위치는 예를 들면 트랜지스터이다. 복수의 화소 라인의 각각은, 그 화소 라인에 대응하는 화소 스위치에 접속된다. 복수의 화소 라인에 대응하는 복수의 화소 스위치는, 예를 들면 LED 드라이버 회로(정전류 회로)에 구비되어 있다. 또한, 이 LED 드라이버 회로는, 복수의 화소 스위치를 스위칭하는 화소 스위치 제어부로서 구성되어 있다.
보다 구체적으로는, 공통 라인에 포함되는 각 LED의 애노드 및 캐소드 중 한쪽이, 그 공통 라인에 대응하는 트랜지스터의 콜렉터 등의 단자에 접속된다. 또, 화소 라인에 포함되는 각 LED의 애노드 및 캐소드 중 다른쪽이, 상기 LED 드라이버 회로에 있어서의, 그 화소 라인에 대응하는 단자(화소 스위치)에 접속된다.
이러한 LED 디스플레이가 영상을 표시할 때에는, 복수의 공통 스위치를 제어하는 공통 스위치 제어부가, 그러한 공통 스위치를 시분할로 온으로 한다. 예를 들면, 공통 스위치 제어부는, 제1 기간 중, 복수의 공통 스위치 중 제1 공통 스위치만을 온으로 하고, 다음의 제2 기간 중, 복수의 공통 스위치 중 제2 공통 스위치만을 온으로 한다. 그리고, LED 드라이버 회로는, 어느 하나의 공통 스위치가 온으로 되어 있는 기간에, 영상 신호에 따라 각 화소 스위치를 온으로 한다. 이것에 의해, 공통 스위치가 온이며, 또한, 화소 스위치가 온인 기간만큼, 그 공통 스위치 및 화소 스위치에 대응하는 LED가 점등한다. 이 점등하는 기간에 의해서, 영상 중의 화소의 휘도가 표현된다. 즉, 영상의 화소의 휘도는 PWM 제어된다.
본 실시의 형태에 있어서의 송신 방법에서는, 이러한 LED 디스플레이와 공통 스위치 및 화소 스위치와 공통 스위치 제어부 및 화소 스위치 제어부를 이용하여, 가시광 신호를 송신한다. 또, 이러한 송신 방법에 의해서 가시광 신호를 송신하는 본 실시의 형태에 있어서의 송신 장치(송신기라고도 함)는, 그 공통 스위치 제어부 및 화소 스위치 제어부를 구비한다.
도 173은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
송신기는, 미리 정해진 심볼 주기에 따라서, 가시광 신호에 포함되는 각 심볼을 송신한다. 예를 들면, 송신기는, 심볼 「00」을 4 PPM에 의해서 송신할 때에는, 4 슬롯으로 이루어지는 심볼 주기에 있어서, 그 심볼(「00」의 휘도 변화 패턴)에 따라서 공통 스위치를 스위칭한다. 그리고, 송신기는, 영상 신호 등에 의해서 표시되는 평균 휘도에 따라 화소 스위치를 스위칭한다.
보다 구체적으로는, 심볼 주기에 있어서의 평균 휘도를 75%로 하는 경우(도 173의 (a)), 송신기는, 제1 슬롯의 기간 중, 공통 스위치를 오프로 하고, 제2 슬롯~제4 슬롯까지의 기간 중, 공통 스위치를 온으로 한다. 또한, 송신기는, 제1 슬롯의 기간 중, 화소 스위치를 오프로 하고, 제2 슬롯~제4 슬롯까지의 기간 중, 화소 스위치를 온으로 한다. 이것에 의해, 공통 스위치가 온이며, 또한 화소 스위치가 온인 기간만큼, 그 공통 스위치 및 화소 스위치에 대응하는 LED가 점등한다. 즉, LED는, 4 슬롯의 각각에 있어서 LO(Low), HI(High), HI, HI의 휘도로 점등하는 것에 의해서 휘도 변화한다. 그 결과, 심볼 「00」이 송신된다.
또, 심볼 주기에 있어서의 평균 휘도가 25%인 경우(도 173의 (e)), 송신기는, 제1 슬롯 기간 중, 공통 스위치를 오프로 하고, 제2 슬롯~제4 슬롯까지의 기간 중, 공통 스위치를 온으로 한다. 또한, 송신기는 제1 슬롯, 제3 슬롯 및 제4 슬롯의 기간 중, 화소 스위치를 오프로 하고, 제2 슬롯의 기간 중, 화소 스위치를 온으로 한다. 이것에 의해, 공통 스위치가 온이며, 또한 화소 스위치가 온인 기간만큼, 그 공통 스위치 및 화소 스위치에 대응하는 LED가 점등한다. 즉, LED는, 4 슬롯의 각각에 있어서 LO(Low), HI(High), LO, LO와 같이 점등하는 것에 의해서 휘도 변화한다. 그 결과, 심볼 「00」이 송신된다. 또한, 본 실시의 형태에 있어서의 송신기는, 전술의 V4PPM(variable 4 PPM)에 가까운 가시광 신호를 송신하기 때문에, 동일한 심볼을 송신하는 경우라도, 평균 휘도를 가변으로 할 수 있다. 즉, 서로 상이한 평균 휘도로 동일한 심볼(예를 들면 「00」)을 송신할 때에는, 송신기는, 도 173의 (a)~(e)에 나타내는 바와 같이, 그 심볼에 고유의 휘도의 상승 위치(타이밍)를 평균 휘도에 상관없이 일정하게 하고 있다. 이것에 의해, 수신기는, 휘도를 의식하지 않고 가시광 신호를 수신할 수 있다.
또한, 공통 스위치는, 전술의 공통 스위치 제어부에 의해서 스위칭되고, 화소 스위치는, 전술의 화소 스위치 제어부에 의해서 스위칭된다.
이와 같이, 본 실시의 형태에 있어서의 송신 방법은, 휘도 변화에 의해서 가시광 신호를 송신하는 송신 방법으로서, 결정 단계와, 공통 스위치 제어 단계와 제1 화소 스위치 제어 단계를 포함한다. 결정 단계에서는, 가시광 신호를 변조함으로써, 휘도 변화 패턴을 결정한다. 공통 스위치 제어 단계에서는, 디스플레이에 구비된 광원군(공통 라인)에 포함되는, 각각 영상 중의 화소를 나타내기 위한 복수의 광원(LED)을, 공통으로 점등시키기 위한 공통 스위치를, 그 휘도 변화 패턴에 따라서 스위칭한다. 제1 화소 스위치 제어 단계에서는, 그 광원군에 포함되는 복수의 광원 중 제1 광원을 점등시키기 위한 제1 화소 스위치를 온으로 함으로써, 공통 스위치가 온이고, 또한, 제1 화소 스위치가 온인 기간에만, 제1 광원을 점등시키는 것에 의해서, 가시광 신호를 송신한다.
이것에 의해, 복수의 LED 등을 광원으로서 구비한 디스플레이로부터 가시광 신호를 적절하게 송신할 수 있다. 따라서, 조명 이외의 기기를 포함하는 양태인 기기간의 통신을 가능하게 한다. 또, 그 디스플레이가, 공통 스위치 및 제1 화소 스위치의 제어에 의해서 영상을 표시하기 위한 디스플레이인 경우, 그 공통 스위치 및 제1 화소 스위치를 이용하여, 가시광 신호를 송신할 수 있다. 따라서, 디스플레이에 영상 표시하기 위한 구성에 대해서 대폭적인 변경을 행하지 않고, 간단하게 가시광 신호를 송신할 수 있다.
또, 화소 스위치의 제어 타이밍을 송신 심볼(4 PPM 1회분)과 일치시키고, 도 173과 같이 제어함으로써, 깜박거림 없이 LED 디스플레이로부터 가시광 신호를 송신할 수 있다. 화상 신호(즉 영상 신호)는 통상 1/30초나 1/60초 주기로 변화하지만, 심볼 송신 주기(심볼 주기)에 맞추어 화상 신호를 변화시킴으로써, 회로에 변경을 가하지 않고 실현할 수 있다.
이와 같이, 본 실시의 형태에 있어서의 송신 방법의 상기 결정 단계에서는, 휘도 변화 패턴을 심볼 주기마다 결정한다. 또, 상기 제1 화소 스위치 제어 단계에서는, 심볼 주기에 동기시켜 화소 스위치를 스위칭한다. 이것에 의해, 심볼 주기가 예를 들면 1/2400초라도, 그 심볼 주기에 따라서 가시광 신호를 적절하게 송신할 수 있다.
신호(심볼)가 「10」이고 평균 휘도가 50% 부근일 때에는, 휘도 변화 패턴이 0101에 가깝게 되어, 휘도의 상승 개소가 2개소가 된다. 그러나, 그 경우는, 후의 상승 개소를 우선함으로써, 수신기는 올바르게 신호를 수신할 수 있다. 즉, 후의 상승 개소는, 심볼「10」에 고유의 휘도의 상승이 얻어지는 타이밍이다.
평균 휘도가 높을수록, 4 PPM으로 변조된 신호에 가까운 신호를 출력할 수 있다. 따라서, 화면 전체, 혹은, 전원 라인이 공통된 부분의 휘도가 낮은 경우는, 전류를 줄여 휘도의 순간값을 낮춤으로써, HI 구간을 길게 할 수 있고 에러를 저감시킬 수 있다. 이 경우, 화면의 최고 휘도가 낮아지지만, 옥내에서의 용도 등, 원래 높은 휘도가 필요없는 경우, 또는 가시광 통신을 우선하는 경우 등은, 이것을 유효하게 하는 스위치를 유효하게 함으로써, 통신 품질과 화질의 밸런스를 최적으로 설정할 수 있다.
또, 본 실시의 형태에 있어서의 송신 방법의 상기 제1 화소 스위치 제어 단계에서는, 디스플레이(LED 디스플레이)에 영상을 표시시킬 때에는, 상기 제1 광원에 대응하는, 영상 중의 화소의 화소값을 표현하기 위한 점등 기간 중, 가시광 신호의 송신을 위해서 제1 광원이 소등되는 기간만큼, 그 점등 기간을 보충하도록 제1 화소 스위치를 스위칭한다. 즉, 본 실시의 형태에 있어서의 송신 방법에서는, LED 디스플레이에 영상이 표시되고 있을 때, 가시광 신호를 송신한다. 따라서, 영상 신호에 의해서 표시되는 화소값(구체적으로는 휘도값)을 표현하기 위해서 LED가 점등해야 할 기간에 있어서, 가시광 신호의 송신을 위해서 그 LED가 소등되는 일이 있다. 이러한 경우에는, 본 실시의 형태에 있어서의 송신 방법에서는, 그 LED가 소등되는 기간만큼, 그 점등 기간을 보충하도록 제1 화소 스위치를 스위칭한다.
예를 들면, 가시광 신호를 송신하지 않고 영상 신호에 의해서 표시되는 영상을 표시할 때에는, 1개의 심볼 주기 중, 공통 스위치는 온이 되고, 화소 스위치는, 그 영상 신호에 의해서 표시되는 화소값인 평균 휘도에 따른 기간만큼 온이 된다. 평균 휘도가 75%인 경우, 공통 스위치는, 심볼 주기의 제1 슬롯~제4 슬롯에 있어서 온이 된다. 또한, 화소 스위치는, 심볼 주기의 제1 슬롯~제3 슬롯에 있어서 온이 된다. 이것에 의해, 심볼 주기 중, LED는 제1 슬롯~제3 슬롯에 있어서 점등하기 때문에, 전술의 화소값을 표현할 수 있다. 그러나, 심볼「01」의 송신을 위해서는, 제2 슬롯이 소등된다. 따라서, 본 실시의 형태에 있어서의 송신 방법에서는, 그 LED가 소등되는 제2 슬롯만큼, 그 LED의 점등 기간을 보충하도록 즉, 제4 슬롯에 있어서 LED가 점등하도록 화소 스위치를 스위칭한다.
또, 본 실시의 형태에 있어서의 송신 방법에서는, 영상 중의 화소의 화소값을 변경하는 것에 의해서, 그 점등 기간을 보충한다. 예를 들면, 전술과 같은 경우에는, 평균 휘도 75%의 화소값을, 평균 휘도 100%의 화소값으로 변경한다. 평균 휘도 100%의 경우, LED는 제1 슬롯~제4 슬롯에서 점등하려고 하지만, 심볼「01」의 송신을 위해서는, 제1 슬롯은 소등된다. 따라서, 가시광 신호를 송신하는 경우라도, 본래의 화소값(평균 휘도 75%)으로 LED를 점등시킬 수 있다.
이것에 의해, 가시광 신호의 송신에 의해서 영상이 무너져 버리는 것을 억제할 수 있다.
(화소마다 어긋나게 한 발광 제어)
도 174는, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
본 실시의 형태에 있어서의 송신기는, 도 174와 같이, 동일한 심볼(예를 들면 「10」)을 화소 A와, 그 화소 A의 부근의 화소(예를 들면, 화소 B 및 화소 C)로부터 송신할 때에는, 그러한 화소의 발광 타이밍을 어긋나게 한다. 단, 송신기는, 그 심볼에 고유의 휘도의 상승의 타이밍을, 그러한 화소간에서 어긋나게 하지 않고, 그러한 화소를 발광시킨다. 또한, 화소 A~화소 C는 각각, 광원(구체적으로는 LED)에 상당한다. 또, 심볼에 고유의 휘도의 상승의 타이밍은, 그 심볼이「10」이면, 제3 슬롯과 제4 슬롯과의 경계의 타이밍이다. 또, 이러한 타이밍을, 이하, 심볼 고유 타이밍이라고 한다. 수신기는, 이 심볼 고유 타이밍을 특정하는 것에 의해서, 그 타이밍에 따른 심볼을 수신할 수 있다.
이렇게 발광 타이밍을 어긋나게 하는 것에 의해서, 화소간의 평균 휘도 추이를 나타내는 파형은, 도 174에 나타내는 바와 같이, 심볼 고유 타이밍에 있어서의 상승을 제외하고, 완만한 상승 또는 하강을 가진다. 즉, 심볼 고유 타이밍에 있어서의 상승은, 다른 타이밍의 상승보다 험난하다. 따라서, 수신기는, 복수의 상승 중, 가장 험난한 상승을 우선하여 수신함으로써, 적절한 심볼 고유 타이밍을 특정할 수 있고, 그 결과, 수신 오류를 억제할 수 있다.
즉, 소정의 화소로부터 심볼 「10」을 송신하는 경우에서, 그 소정의 화소의 휘도가 25%에서 75%의 중간치인 경우는, 송신기는, 그 소정의 화소에 대응하는 화소 스위치의 개구간을 짧게, 혹은, 길게 설정한다. 또한, 송신기는, 그 소정의 화소의 부근의 화소에 대응하는 화소 스위치의 개구간을 반대로 조정한다. 이와 같이, 그 소정의 화소와 부근의 화소를 포함하는 전체의 휘도가 변하지 않도록, 각 화소 스위치의 개구간을 설정하는 것으로도, 에러를 억제할 수 있다. 또한, 개구간이란, 화소 스위치가 온하고 있는 구간이다.
이와 같이, 본 실시의 형태에 있어서의 송신 방법은, 또한, 제2 화소 스위치 제어 단계를 포함한다. 이 제2 화소 스위치 제어 단계에서는, 전술의 광원군(공통 라인)에 포함되는, 제1 광원의 주위에 있는 제2 광원을 점등시키기 위한 제2 화소 스위치를 온으로 함으로써, 공통 스위치가 온이며, 또한, 제2 화소 스위치가 온인 기간에만, 그 제2 광원을 점등시키는 것에 의해서, 가시광 신호를 송신한다. 또한, 제2 광원은, 예를 들면 제1 광원의 옆에 있는 광원이다.
그리고, 그 제1 및 제2 화소 스위치 제어 단계에서는, 제1 및 제2 광원의 각각으로부터, 가시광 신호에 포함되는 동일한 심볼을 동시에 송신할 때에는, 제1 및 제2 화소 스위치의 각각이 동일한 심볼을 송신하기 위해서 온 또는 오프하는 복수의 타이밍 중, 그 동일한 심볼에 고유의 휘도의 상승이 얻어지는 타이밍을, 제1 및 제2 화소 스위치의 각각에서 동일하게 하고, 다른 타이밍을, 제1 및 제2 화소 스위치의 각각에서 상이하게 하여, 그 동일한 심볼이 송신되는 기간에 있어서의, 제1 및 제2 광원의 전체의 평균 휘도를, 미리 정해진 휘도에 일치시킨다.
이것에 의해, 도 174에 나타내는 화소간 평균 휘도 추이와 같이, 공간적으로 평균된 휘도에 있어서, 심볼에 고유의 휘도의 상승이 얻어지는 타이밍에서만, 그 상승을 험난하게 할 수 있고 수신 에러의 발생을 억제할 수 있다. 즉, 수신기에 의한 가시광 신호의 수신 에러를 억제할 수 있다.
또, 소정의 화소로부터 심볼「10」을 송신하는 경우에서, 그 소정의 화소의 휘도가 25%에서 75%의 중간치인 경우는, 송신기는, 제1 기간에 있어서의, 그 소정의 화소에 대응하는 화소 스위치의 개구간을 짧게, 혹은, 길게 설정한다. 또한, 송신기는, 제1 기간과 시간적으로 전 또는 후의 제2 기간(예를 들면 프레임)에 있어서, 그 화소 스위치의 개구간을 반대로 조정한다. 이렇게, 소정의 화소에 있어서의, 제1 기간과 제2 기간을 포함하는 전체의 시간 평균 휘도가 변하지 않도록, 화소 스위치의 개구간을 설정하는 것으로도 에러를 억제할 수 있다.
즉, 본 실시의 형태에 있어서의 송신 방법에 있어서의, 전술의 제1 화소 스위치 제어 단계에서는, 예를 들면, 제1 기간과, 그 제1 기간에 계속되는 제2 기간으로, 가시광 신호에 포함되는 동일한 심볼을 송신한다. 이 때, 그 제1 및 제2 기간의 각각에 있어서, 제1 화소 스위치가 그 동일한 심볼을 송신하기 위해서 온 또는 오프하는 복수의 타이밍 중, 동일한 심볼에 고유의 휘도의 상승이 얻어지는 타이밍을 동일하게 하고, 다른 타이밍을 상이하게 한다. 그리고, 그 제1 및 제2 기간의 전체에 있어서의 제1 광원의 평균 휘도를, 미리 정해진 휘도에 일치시킨다. 이 제1 기간 및 제2 기간은 각각, 프레임을 표시하기 위한 기간과 그 다음의 프레임을 표시하기 위한 기간이어도 된다. 또, 제1 기간 및 제2 기간은 각각 심볼 주기라도 된다. 즉, 제1 기간 및 제2 기간은 각각, 1개의 심볼을 송신하기 위한 기간과 다음의 심볼을 송신하기 위한 기간이어도 된다.
이것에 의해, 도 174에 나타내는 화소간 평균 휘도 추이와 동일하도록, 시간적으로 평균화된 휘도에 있어서, 심볼에 고유의 휘도의 상승이 얻어지는 타이밍으로만, 그 상승을 험난하게 할 수 있고, 수신 에러의 발생을 억제할 수 있다. 즉, 수신기에 의한 가시광 신호의 수신 에러를 억제할 수 있다.
(화소 스위치가 배속 구동 가능한 경우의 발광 제어)
도 175는, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
화소 스위치를, 송신 심볼 주기의 절반의 주기로 개폐할 수 있는 경우, 즉, 화소 스위치가 배속 구동 가능한 경우는, 도 175에 나타내는 대로, V4PPM와 동일한 발광 패턴으로 할 수 있다.
바꾸어 말하면, 심볼 주기(심볼이 송신되는 기간)가 4 슬롯으로 이루어지는 경우, 화소 스위치를 제어하는 LED 드라이버 회로 등의 화소 스위치 제어부는, 2 슬롯마다, 화소 스위치를 제어할 수 있다. 즉, 화소 스위치 제어부는, 그 심볼 주기의 최초의 시점으로부터 2 슬롯 분의 기간에 있어서, 화소 스위치를 임의의 시간만큼 온할 수 있다. 또한, 화소 스위치 제어부는, 그 심볼 주기의 3 슬롯째의 최초의 시점으로부터 2 슬롯 분의 기간에 있어서, 화소 스위치를 임의의 시간만큼 온할 수 있다.
즉, 본 실시의 형태에 있어서의 송신 방법에서는, 전술의 심볼 주기의 1/ 2의 주기로 화소값을 변경해도 된다.
이 경우, 화소 스위치의 개폐의 1회당의 세밀함이 줄어들어 버릴(정밀도가 저하해 버릴) 가능성이 있다. 따라서, 송신 우선 스위치가 유효일 때에만 이것을 행함으로써, 화질과 송신 품질의 밸런스를 최적으로 설정할 수 있다.
(화소값 조정에 의한 발광 제어의 블록)
도 176은, 본 실시의 형태에 있어서의 송신기의 일례를 나타내는 블럭도이다.
도 176의 (a)는, 가시광 신호의 송신을 행하지 않고, 영상의 표시만을 행하는 장치, 즉, 전술의 LED 디스플레이에 영상을 표시하는 표시 장치의 구성을 나타내는 블록도이다. 이 표시 장치는, 도 176의 (a)에 나타내는 바와 같이, 화상·영상 입력부(1911)와, N배속화부(1912)와, 공통 스위치 제어부(1913)와 화소 스위치 제어부(1914)를 구비한다.
화상·영상 입력부(1911)은, 화상 또는 영상을 예를 들면 60Hz의 프레임 레이트로 나타내는 영상 신호를 N배속화부(1912)에 출력한다.
N배속화부(1912)는, 화상·영상 입력부(1911)로부터 입력되는 영상 신호의 프레임 레이트를 N(N＞1)배로 올리고 그 영상 신호를 출력한다. 예를 들면, N배속화부(1912)는, 프레임 레이트를 10배(N=10)로, 즉 600Hz의 프레임 레이트로 올린다.
공통 스위치 제어부(1913)는 그 600Hz의 프레임 레이트의 영상에 근거해 공통 스위치를 스위칭한다. 동일하게, 화소 스위치 제어부(1914)는, 그 600Hz의 프레임 레이트의 영상에 근거해 화소 스위치를 스위칭한다. 이와 같이, N배속화부(1912)에 의해서 프레임 레이트가 올라가는 것에 의해서, 공통 스위치 또는 화소 스위치 등의 스위치의 개폐에 의한 깜빡거림을 회피할 수 있다. 또, 촬상 장치에 의해서 LED 디스플레이가 고속 셔터로 촬상되는 경우에도, 화소 불량 또는 깜빡거림이 없는 화상을 그 촬상 장치에 촬상시킬 수 있다.
도 176의 (b)는, 영상의 표시뿐만이 아니라, 전술의 가시광 신호의 송신을 행하는 표시 장치, 즉 송신기(송신 장치)의 구성을 나타내는 블록도이다. 이 송신기는, 화상·영상 입력부(1911)와 공통 스위치 제어부(1913)와 화소 스위치 제어부(1914)와 신호 입력부(1915)와 화소값 조정부(1916)를 구비한다. 신호 입력부(1915)는, 복수의 심볼로 이루어지는 가시광 신호를, 2400 심볼/초의 심볼 레이트(주파수)로 화소값 조정부(1916)에 출력한다.
화소값 조정부(1916)는, 그 가시광 신호의 심볼 레이트에 맞추어, 화상·영상 입력부(1911)로부터 입력된 화상을 복제하고, 전술의 방법에 따라서 화소값을 조정한다. 이것에 의해, 화소값 조정부(1916)로부터 후단의 공통 스위치 제어부(1913) 및 화소 스위치 제어부(1914)는, 화상 또는 영상의 휘도를 바꾸지 않고 가시광 신호를 출력할 수 있다.
예를 들면, 도 176에 나타내는 예의 경우, 가시광 신호의 심볼 레이트가 240 0 심볼/초이면, 화소값 조정부(1916)는 영상 신호의 프레임 레이트 60Hz가 4800Hz가 되도록, 영상 신호에 포함되는 화상을 복제한다. 예를 들면, 가시광 신호에 포함되는 심볼의 값이 「00」이고, 복제 전의 1장째의 화상에 포함되는 화소의 화소값(휘도값)은 50%이다. 이 경우, 화소값 조정부(1916)는 그 화소값을 복제 후의 1장째의 화상에서는 100%로 조정하고, 2장째의 화상에서는 50%로 조정한다. 이것에 의해, 도 175의 (c)에 나타내는, 심볼「00」의 경우의 휘도 변화와 같이, 공통 스위치와 화소 스위치의 앤드에 의해서, 휘도는 50%가 된다. 그 결과, 원래의 화상의 휘도와 동일하게 유지하면서, 가시광 신호를 송신할 수 있다. 또한, 공통 스위치와 화소 스위치의 앤드란, 공통 스위치가 온이며, 또한 화소 스위치가 온인 기간에만, 그 공통 스위치 및 화소 스위치에 대응하는 광원(즉 LED)이 점등하는 것이다.
또, 본 실시의 형태에 있어서의 송신 방법에서는, 영상의 표시와 가시광 신호의 송신을 동시에 행하지 않고, 그러한 신호 송신 기간과 영상 표시 시간으로 나누어서 행해도 된다.
즉, 본 실시의 형태에 있어서의 전술의 제1 화소 스위치 제어 단계에서는, 공통 스위치가 휘도 변화 패턴에 따라서 스위칭하고 있는 신호 송신 기간 중, 제1 화소 스위치를 온으로 한다. 그리고, 본 실시의 형태에 있어서의 송신 방법은, 또한, 그 신호 송신 기간과 상이한 영상 표시 기간 중, 그 공통 스위치를 온으로 하고, 영상 표시 기간에 있어서 제1 화소 스위치를 표시 대상의 영상에 따라서 온으로 함으로써, 공통 스위치가 온이며, 또한 제1 화소 스위치가 온인 기간에만, 제1 광원을 점등시키는 것에 의해서, 그 영상 중의 화소를 표시하는 영상 표시 단계를 포함해도 된다.
이것에 의해, 영상의 표시와 가시광 신호의 송신이 서로 상이한 기간에 행해지기 때문에 그 표시와 송신을 간단하게 행할 수 있다.
(전원 변경의 타이밍)
전원 라인 변경 시에는, 신호 오프의 구간이 발생해 버리지만, 4 PPM의 최후의 부분은 발광하고 있지 않아도 수신에는 영향을 주지 않기 때문에, 4 PPM 심볼의 송신 주기에 맞추어 전원 라인을 변경함으로써, 수신 품질에 영향을 주지 않고 전원 라인을 변경할 수 있다.
또, 4 PPM의 LO 기간에 전원 라인을 변경하는 것으로도, 수신 품질에 영향을 주지 않고 전원 라인을 변경할 수 있다. 이 경우는, 더욱, 최대 휘도를 높게 유지한 채로 송신할 수 있다.
(구동 타이밍)
또, 본 실시의 형태에서는, 도 177~도 179에 나타내는 타이밍으로 LED 디스플레이를 구동해도 된다.
도 177~도 179는, LED 디스플레이를 본 발명의 광 ID변조 신호로 구동하는 경우의 타이밍 차트이다.
예를 들면, 도 178에 나타내는 바와 같이, 가시광 신호(광 ID)를 송신하기 위해서, 공통 스위치(COM1)가 오프로 될 때(기간 t1)에는, 영상 신호가 나타내는 휘도로 LED를 점등시킬 수 없기 때문에, 그 기간 t1 이후에, 그 LED를 점등시킨다. 이것에 의해, 가시광 신호를 적절하게 송신하면서, 영상 신호에 의해서 나타나는 영상을 무너뜨리지 않고 그 영상을 적절하게 표시할 수 있다.
(정리)
도 180A는, 본 발명의 일 양태에 따른 송신 방법을 나타내는 플로우 차트이다.
본 발명의 일 양태에 따른 송신 방법은, 휘도 변화에 의해서 가시광 신호를 송신하는 송신 방법이며, 단계 SC11~SC13을 포함한다.
단계 SC11에서는, 전술의 각 실시의 형태와 동일하게, 가시광 신호를 변조함으로써, 휘도 변화 패턴을 결정한다.
단계 SC12에서는, 디스플레이에 구비된 광원군에 포함되는, 각각 영상 중의 화소를 나타내기 위한 복수의 광원을, 공통으로 점등시키기 위한 공통 스위치를, 그 휘도 변화 패턴에 따라서 스위칭한다.
단계 S13에서는, 그 광원군에 포함되는 복수의 광원 중 제1 광원을 점등시키기 위한 제1 화소 스위치(즉 화소 스위치)를 온으로 함으로써, 공통 스위치가 온이고 또한, 제1 화소 스위치가 온인 기간에만 제1 광원을 점등시키는 것에 의해서, 가시광 신호를 송신한다.
도 180B는, 본 발명의 일 양태에 따른 송신 장치의 기능 구성을 나타내는 블록도이다.
본 발명의 일 양태에 따른 송신 장치(C10)는, 휘도 변화에 의해서 가시광 신호를 송신하는 송신 장치(또는 송신기)로서, 결정부(C11)와 공통 스위치 제어부(C12)와 화소 스위치 제어부(C13)를 구비한다. 결정부(C11)는, 전술의 각 실시의 형태와 동일하게, 가시광 신호를 변조함으로써, 휘도 변화 패턴을 결정한다. 또한, 이 결정부(C11)는, 예를 들면, 도 176에 나타내는 신호 입력부(1915)에 구비된다.
공통 스위치 제어부(C12)는, 공통 스위치를 그 휘도 변화 패턴에 따라서 스위칭한다. 이 공통 스위치는, 디스플레이에 구비된 광원군에 포함되는, 각각 영상 중의 화소를 나타내기 위한 복수의 광원을, 공통으로 점등시키기 위한 스위치이다.
화소 스위치 제어부(C13)는, 광원군에 포함되는 복수의 광원 중 제어 대상의 광원을 점등시키기 위한 화소 스위치를 온으로 함으로써, 공통 스위치가 온이며, 또한 화소 스위치가 온인 기간에만, 제어 대상의 광원을 점등시키는 것에 의해서 가시광 신호를 송신한다. 또한, 제어 대상의 광원은, 전술의 제1 광원이다.
이것에 의해, 복수의 LED 등을 광원으로서 구비한 디스플레이로부터 가시광 신호를 적절하게 송신할 수 있다. 따라서, 조명 이외의 기기를 포함하는 양태인 기기간의 통신을 가능하게 한다. 또, 그 디스플레이가, 공통 스위치 및 화소 스위치의 제어에 의해서 영상을 표시하기 위한 디스플레이인 경우, 그 공통 스위치 및 화소 스위치를 이용하여, 가시광 신호를 송신할 수 있다. 따라서, 디스플레이에 영상 표시하기 위한 구성(즉 표시 장치)에 대해서 대폭적인 변경을 행하지 않고, 간단하게 가시광 신호를 송신할 수 있다.
(Single frame transmission의 프레임 구성)
도 181은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
송신 프레임은, 도 181의 (a)에 나타내는 바와 같이,프리앰블(PRE), ID 길이(IDLEN), ID 타입(IDTYPE), 컨텐츠(ID/DATA), 및 검사 부호(CRC)로 구성된다. 각 영역의 비트수는 일례이다.
도 181의 (b)에 나타내는 프리앰블을 이용함으로써, 수신기는, 4 PPM, I－4 PPM 또는 V4PPM로 인코드되어 있는 다른 부분과 구별할 수 있고, 신호의 단락을 찾아낼 수 있다.
도 181의 (c)에 나타내는 바와 같이,IDLEN으로 ID/DATA의 길이를 지정함으로써, 가변 길이의 컨텐츠를 송신할 수 있다.
CRC는, PRE 이외의 부분의 오류를 정정, 또는, 검출하는 검사 부호이다. 검사 영역의 길이에 따라 CRC 길이를 변화시킴으로써, 검사 능력을 일정 이상으로 유지할 수 있다. 또, 검사 영역의 길이에 따라 상이한 검사 부호를 이용함으로써, CRC 길이 당의 검사 능력을 향상시킬 수 있다.
(Multiple frame transmission의 프레임 구성)
도 182와 도 183은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
송신 데이터(BODY)에는, 파티션 타입(PTYPE)과 검사 부호(CRC)가 부가되어 Joined data가 된다. Joined data는, 몇 개의 DATAPART로 분할되고, 프리앰블( PRE)과 어드레스(ADDR)가 부가되어 송신된다.
PTYPE(또는, 파티션 모드(PMODE))는, BODY의 분할 방법 또는 의미를 나타낸다. 도 182의 (a)에 나타내는 바와 같이 2bit로 함으로써, 4 PPM으로 정확히 좋게 부호화할 수 있다. 도 182의 (b)에 나타내는 바와 같이 1bit로 함으로써 송신 시간을 짧게 할 수 있다.
CRC는 PTYPE와 BODY를 검사하는 검사 부호이다. 도 161에서 정한 바와 같이, 검사되는 부분의 길이에 의해서 CRC의 부호 길이를 변화시킴으로써 검사 능력을 일정 이상으로 유지할 수 있다.
프리앰블은, 도 162와 같이 정함으로써, 분할 패턴의 바리에이션을 확보하면서 송신 시간을 짧게 할 수 있다.
어드레스는, 도 163과 같이 정함으로써, 수신기는, 프레임을 수신한 순서에 상관없이 데이터를 복원할 수 있다.
도 183은, 가능한 Joined data 길이와 프레임수와의 조합이다. 밑줄이 쳐진 조합은, 후술의 PTYPE가 Single frame compatible일 때에 이용되는 조합이다.
(BODY 필드의 구성)
도 184는, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
BODY를 도면과 같은 필드 구성으로 함으로써, 싱글 프레임 송신 방법과 동일한 ID를 송신할 수 있다.
동일한 IDTYPE으로 동일한 ID의 경우는, 싱글 프레임 송신 방법이나 멀티 프레임 송신 방법인지, 또, 패킷 송신의 조합에 상관없이 동일한 의미를 나타낸다고 함으로써, 연속 송신·수신 시간이 짧은 경우 등에 유연하게 신호를 송신할 수 있다.
IDLEN으로 ID의 길이를 지정하고, 남은 부분은 PADDING을 송신한다. 이 부분은 모두 0 또는 1이라고 해도 되고, ID를 확장하는 데이터를 송신해도 되고, 검사 부호로 해도 된다. PADDING은 왼쪽 자리맞춤이어도 된다.
도 184 (b), (c) 또는 (d)에서는, 도 184의 (a)보다도 송신 시간을 짧게 할 수 있다. 이 때 ID의 길이는, ID로서 취할 수 있는 길이 중 최대의 것이라고 한다.
도 184(b) 또는 (c)의 경우는, IDTYPE의 비트수가 홀수가 되지만, 도 182의 (b)에 나타내는 1bit의 PTYPE와 조합함으로써, 짝수가 되어 4 PPM으로 효율적으로 인코드할 수 있다.
도 184의 (c)에서는, 보다 긴 ID를 송신할 수 있다.
도 184의 (d)에서는, 보다 많은 IDTYPE를 표현할 수 있다.
(PTYPE)
도 185는, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
PTYPE가 소정의 비트일 때에는, BODY가 Single frame compatible 모드인 것을 나타낸다. 이것에 의해, 싱글 프레임 송신의 경우와 동일한 ID를 송신할 수 있다.
예를 들면, PTYPE=00일 때에는, 그 PTYPE에 대응하는 ID 또는 ID 타입을, 싱글 프레임 송신 방법으로 송신된 ID 또는 ID 타입과 동일하게 취급할 수 있고, ID 또는 ID 타입의 관리를 간단하게 할 수 있다.
PTYPE가 소정의 비트일 때에는, BODY는 Data stream 모드인 것을 나타낸다. 이 때, 송신 프레임수와 DATAPART 길이는 모든 조합을 이용할 수 있고, 상이한 조합의 데이터는 상이한 의미를 가진다고 할 수 있다. PTYPE의 비트에 의해서, 상기 상이한 조합이 동일한 의미를 가지는 경우와, 상이한 의미를 유지하는 경우로 해도 된다. 이것에 의해, 송신 방법을 유연하게 선택할 수 있다.
예를 들면, PTYPE=01일 때에는, 싱글 프레임 송신 방법에 정의되어 있지 않은 사이즈의 ID를 송신할 수 있다. 또, 그 PTYPE에 대응하는 ID가 싱글 프레임 송신 방법의 ID와 동일해도, 그 PTYPE에 대응하는 ID를, 그 싱글 프레임 송신 방법의 ID와는 별개의 ID로서 취급할 수 있다. 그 결과, 표현 가능한 ID의 수를 많게 할 수 있다.
(Single frame compatible 모드의 필드 구성)
도 186은, 본 실시의 형태에 있어서의 송신 신호의 일례를 나타내는 도면이다.
도 184의 (a)를 이용하는 경우, Single frame compatible 모드에서는, 도 186에 나타내는 표의 조합으로 송신하는 경우가 가장 효율이 좋다.
도 184 (b), (c) 또는 (d)를 이용하는 경우는, ID가 32bit인 경우는, 프레임수 13이고 DATAPART 길이 4bit인 조합이 효율이 좋다. 또, ID가 64bit인 경우는, 프레임수가 11이고 DATAPART 길이가 8bit인 조합이 효율이 좋다.
표의 조합만으로 송신된다고 함으로써, 상이한 조합은 수신 에러라고 판단할 수 있게 되고 수신 에러율을 낮출 수 있다.
(실시의 형태 19의 정리)
본 발명의 일 양태에 따른 송신 방법은, 휘도 변화에 의해서 가시광 신호를 송신하는 송신 방법으로서, 가시광 신호를 변조함으로써 휘도 변화 패턴을 결정하는 결정 단계와, 디스플레이에 구비된 광원군에 포함되는, 각각 영상 중의 화소를 나타내기 위한 복수의 광원을 공통으로 점등시키기 위한 공통 스위치를, 상기 휘도 변화 패턴에 따라서 스위칭하는 공통 스위치 제어 단계와, 상기 광원군에 포함되는 복수의 광원 중 제1 광원을 점등시키기 위한 제1 화소 스위치를 온으로 함으로써, 상기 공통 스위치가 온이며, 또한 상기 제1 화소 스위치가 온인 기간에만 상기 제1 광원을 점등시키는 것에 의해서, 상기 가시광 신호를 송신하는 제1 화소 스위치 제어 단계를 포함한다.
이것에 의해, 예를 들면 도 173~도 180B에 나타내는 바와 같이, 복수의 LED 등을 광원으로서 구비한 디스플레이로부터 가시광 신호를 적절하게 송신할 수 있다. 따라서, 조명 이외의 기기를 포함하는 양태인 기기간의 통신을 가능하게 한다. 또, 그 디스플레이가, 공통 스위치 및 제1 화소 스위치의 제어에 의해서 영상을 표시하기 위한 디스플레이인 경우, 그 공통 스위치 및 제1 화소 스위치를 이용하여, 가시광 신호를 송신할 수 있다. 따라서, 디스플레이에 영상 표시하기 위한 구성에 대해서 대폭적인 변경을 행해지 않고 간단하게 가시광 신호를 송신할 수 있다.
또, 상기 결정 단계에서는, 상기 휘도 변화 패턴을 심볼 주기마다 결정하고, 상기 제1 화소 스위치 제어 단계에서는, 상기 심볼 주기에 동기시켜 상기 제1 화소 스위치를 스위칭해도 된다.
이것에 의해, 예를 들면 도 173에 나타내는 바와 같이, 심볼 주기가 예를 들면 1/2 400초라도, 그 심볼 주기에 따라서 가시광 신호를 적절하게 송신할 수 있다.
또, 상기 제1 화소 스위치 제어 단계에서는, 상기 디스플레이에 영상을 표시시킬 때에는, 상기 제1 광원에 대응하는, 상기 영상 중의 화소의 화소값을 표현하기 위한 점등 기간 중, 상기 가시광 신호의 송신을 위해서 상기 제1 광원이 소등되는 기간만큼, 상기 점등 기간을 보충하도록 상기 제1 화소 스위치를 스위칭해도 된다. 예를 들면, 상기 영상 중의 화소의 화소값을 변경하는 것에 의해서, 상기 점등 기간을 보충해도 된다.
이것에 의해, 예를 들면 도 173 및 도 175에 나타내는 바와 같이, 가시광 신호의 송신을 위해서 제1 광원이 소등되는 경우라도, 점등 기간이 보충되기 때문에, 본래의 영상을 무너뜨리지 않고 적절하게 표시할 수 있다.
또, 상기 심볼 주기의 1/2의 주기로 상기 화소값을 변경해도 된다.
이것에 의해, 예를 들면 도 175에 나타내는 바와 같이, 영상의 표시와 가시광 신호의 송신을 적절하게 행할 수 있다.
또, 상기 송신 방법은, 또한, 상기 광원군에 포함되는, 상기 제1 광원의 주위에 있는 제2 광원을 점등시키기 위한 제2 화소 스위치를 온으로 함으로써, 상기 공통 스위치가 온이며, 또한, 상기 제2 화소 스위치가 온인 기간에만, 상기 제2 광원을 점등시키는 것에 의해서, 상기 가시광 신호를 송신하는 제2 화소 스위치 제어 단계를 포함하고, 상기 제1 및 제2 화소 스위치 제어 단계에서는, 상기 제1 및 제2 광원의 각각으로부터, 상기 가시광 신호에 포함되는 동일한 심볼을 동시에 송신할 때에는, 상기 제1 및 제2 화소 스위치의 각각이 상기 동일한 심볼을 송신하기 위해서 온 또는 오프하는 복수의 타이밍 중, 상기 동일한 심볼에 고유의 휘도의 상승이 얻어지는 타이밍을, 상기 제1 및 제2 화소 스위치의 각각에서 동일하게 하고, 다른 타이밍을, 상기 제1 및 제2 화소 스위치의 각각에서 상이하게 하여, 상기 동일한 심볼이 송신되는 기간에 있어서의, 상기 제1 및 제2 광원의 전체의 평균 휘도를, 미리 정해진 휘도에 일치시켜도 된다.
이것에 의해, 예를 들면 도 174에 나타내는 바와 같이, 공간적으로 평균화된 휘도에 있어서, 심볼에 고유의 휘도의 상승이 얻어지는 타이밍에서만, 그 상승을 험난하게 할 수 있고, 수신 에러의 발생을 억제할 수 있다.
또, 상기 제1 화소 스위치 제어 단계에서는, 제1 기간과, 상기 제1 기간에 계속되는 제2 기간으로, 상기 가시광 신호에 포함되는 동일한 심볼을 송신할 때에는, 상기 제1 및 제2 기간의 각각에 있어서, 상기 제1 화소 스위치가 상기 동일한 심볼을 송신하기 위해서 온 또는 오프하는 복수의 타이밍 중, 상기 동일한 심볼에 고유의 휘도의 상승이 얻어지는 타이밍을 동일하게 하고, 다른 타이밍을 상이하게 하며, 상기 제1 및 제2 기간의 전체에 있어서의 상기 제1 광원의 평균 휘도를, 미리 정해진 휘도에 일치시켜도 된다.
이것에 의해, 예를 들면 도 174에 나타내는 바와 같이, 시간적으로 평균화된 휘도에 있어서, 심볼에 고유의 휘도의 상승이 얻어지는 타이밍에서만, 그 상승을 험난하게 할 수 있어 수신 에러의 발생을 억제할 수 있다.
또, 상기 제1 화소 스위치 제어 단계에서는, 상기 공통 스위치가 상기 휘도 변화 패턴에 따라서 스위칭하고 있는 신호 송신 기간 중, 상기 제1 화소 스위치를 온으로 하고, 상기 송신 방법은, 또한, 상기 신호 송신 기간과 상이한 영상 표시 기간 중, 상기 공통 스위치를 온으로 하며, 상기 영상 표시 기간에 있어서 상기 제1 화소 스위치를 표시 대상의 영상에 따라서 온으로 함으로써, 상기 공통 스위치가 온이고, 또한, 상기 제1 화소 스위치가 온인 기간에만 상기 제1 광원을 점등시키는 것에 의해서, 상기 영상 중의 화소를 표시하는 영상 표시 단계를 포함해도 된다.
이것에 의해, 영상의 표시와 가시광 신호의 송신이 서로 상이한 기간에 행해지기 때문에 그 표시와 송신을 간단하게 행할 수 있다.
(실시의 형태 20)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 가시광 신호의 상세 또는 변형예에 대해서, 구체적으로 설명한다. 또한, 카메라의 트랜드는, 고해상도화(4K), 고프레임 레이트화(60 fps)이다. 고프레임 레이트화에 의해서, 프레임 스캔 시간이 감소한다. 그 결과, 수신 거리가 감소하고 수신 시간이 증가한다. 그 때문에, 가시광 신호를 송신하는 송신기에서는, 패킷 송신 시간을 짧게 할 필요가 있다. 또, 라인 스캔 시간의 감소에 의해, 수신의 시간 분해능이 높아진다. 또, 노광 시간은 1/8000초이다. 4 PPM에서는, 신호 표현과 조광을 동시에 행하고 있기 때문에, 신호 밀도가 낮고 효율이 나쁘다. 따라서, 본 실시의 형태에 있어서의 가시광 신호에서는, 신호 부분과 조광 부분을 분리하여, 수신에 필요한 부분이 짧게 되어 있다.
도 187은, 본 실시의 형태에 있어서의 가시광 신호의 구성의 일례를 나타내는 도면이다.
가시광 신호는, 도 187에 나타내는 바와 같이, 신호부와 조광부와의 조합을 복수 포함한다. 이 조합의 시간 길이는 예를 들면 2 ms 이하(주파수는 500 Hz 이상)이다.
도 188은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 일례를 나타내는 도면이다.
가시광 신호는, 데이터 L(DataL)와 프리앰블(Preamble)과 데이터 R(DataR)와 조광부(Dimming)를 포함한다. 데이터 L과 프리앰블과 데이터 R로부터 상기 신호부가 구성된다.
프리앰블은, 시간 축을 따라 High와 Low의 휘도값을 교대로 나타낸다. 즉, 프리앰블은, 시간 길이 P1만큼 High의 휘도값을 나타내고, 다음의 시간 길이 P2만큼 Low의 휘도값을 나타내며, 다음의 시간 길이 P3만큼 High의 휘도값을 나타내고, 다음의 시간 길이 P4만큼 Low의 휘도값을 나타낸다. 또한, 시간 길이 P1~P4는, 예를 들면 100μs이다.
데이터 R은, 시간 축을 따라 High와 Low의 휘도값을 교대로 나타내고, 프리앰블의 직후에 배치된다. 즉, 데이터 R은, 시간 길이 DR1만큼 High의 휘도값을 나타내고, 다음의 시간 길이 DR2만큼 Low의 휘도값을 나타내며, 다음의 시간 길이 DR3만큼 High의 휘도값을 나타내고, 다음의 시간 길이 DR4만큼 Low의 휘도값을 나타낸다. 또한, 시간 길이 DR1~DR4는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 이 수식은,DRi=120＋20xi(i∈1~4, xi∈0~15)이다. 또한, 120 및 20 등의 수치는 시간(μs)을 나타낸다. 또, 이러한 수치는 일례이다.
데이터 L은, 시간 축을 따라 High와 Low의 휘도값을 교대로 나타내고, 프리앰블의 직전에 배치된다. 즉, 데이터 L는, 시간 길이 DL1만큼 High의 휘도값을 나타내고, 다음의 시간 길이 DL2만큼 Low의 휘도값을 나타내며, 다음의 시간 길이 DL3만큼 High의 휘도값을 나타내고, 다음의 시간 길이 DL4만큼 Low의 휘도값을 나타낸다. 또한, 시간 길이 DL1~DL4는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 이 수식은 DLi=120＋20×(15－xi)이다. 또한, 전술과 동일하게, 120 및 20 등의 수치는 시간(μs)을 나타낸다. 또한, 이러한 수치는 일례이다.
또한, 송신 대상의 신호는 4×4=16비트로 되고, xi는, 그 송신 대상의 신호 중 4비트의 신호이다. 가시광 신호에서는, 데이터 R에 있어서의 시간 길이 DR1~DR4의 각각, 또는 데이터 L에 있어서의 시간 길이 DL1~DL4 의 각각에 의해서, 그 xi(4비트의 신호)의 수치를 나타낸다. 또, 송신 대상의 신호의 16 비트 중, 4비트는 어드레스를 나타내고, 8비트는 데이터를 나타내며, 4비트는 에러 검출에 이용된다.
여기서, 데이터 R와 데이터 L는, 밝기에 대해서 보완 관계가 있다. 즉, 데이터 R의 밝기가 밝으면, 데이터 L의 밝기는 어둡고, 반대로, 데이터 R의 밝기가 어두우면, 데이터 L의 밝기는 밝아진다. 즉, 데이터 R의 전체의 시간 길이와 데이터 L의 시간 길이와의 합은, 송신 대상의 신호에 상관없이 일정하다.
조광부는, 가시광 신호의 밝기(휘도)를 조정하기 위한 신호로서, 시간 길이 C1만큼 High의 휘도값을 나타내고, 다음의 시간 길이 C2만큼 Low의 신호를 나타낸다. 시간 길이 C1 및 C2는 임의로 조정된다. 또한, 조광부는, 가시광 신호에 포함되어 있어도, 포함되어 있지 않아도 된다.
또, 도 188에 나타내는 예에서는, 데이터 R 및 데이터 L가 가시광 신호에 포함되어 있지만, 데이터 R 및 데이터 L 중 어느 한쪽만이 포함되어 있어도 된다. 가시광 신호를 밝게 하고 싶을 때에는, 데이터 R 및 데이터 L 중의 밝은 데이터만을 송신해도 된다. 또, 데이터 R 및 데이터 L의 배치를 반대로 해도 된다. 또, 데이터 R가 포함되어 있는 경우에는, 조광부의 시간 길이 C1는 예를 들면 100μs보다 길고, 데이터 L가 포함되어 있는 경우에는, 조광부의 시간 길이 C2는 예를 들면 100μs보다 길다.
도 189A는, 본 실시의 형태에 있어서의 가시광 신호의 다른 일례를 나타내는 도면이다.
도 188에 나타내는 가시광 신호에서는, High의 휘도값을 나타내는 시간 길이와, Low의 휘도값을 나타내는 시간 길이와의 각각에 의해 송신 대상의 신호를 표현했지만, 도 189A의 (a)에 나타내는 바와 같이, Low의 휘도값을 나타내는 시간 길이만으로 송신 대상의 신호를 표현해도 된다. 또한, 도 189A의 (b)은, 도 188의 가시광 신호를 나타낸다.
예를 들면, 도 189A의 (a)에 나타내는 바와 같이, 프리앰블에서는, High의 휘도값을 나타내는 시간 길이는 모두 동일하여 비교적 짧고, Low의 휘도값을 나타내는 시간 길이 P1~P4는 각각 예를 들면 100μs이다. 또, 데이터 R에서는, High의 휘도값을 나타내는 시간 길이는 모두 동일하여 비교적 짧고, Low의 휘도값을 나타내는 시간 길이 DR1~DR4는 각각 신호 xi에 따라 조정된다. 또한, 프리앰블 및 데이터 R에 있어서, High의 휘도값을 나타내는 시간 길이는 예를 들면 10μs 이하이다.
도 189B는, 본 실시의 형태에 있어서의 가시광 신호의 다른 일례를 나타내는 도면이다.
예를 들면, 도 189B에 나타내는 바와 같이, 프리앰블에서는, High의 휘도값을 나타내는 시간 길이는 모두 동일하여 비교적 짧고, Low의 휘도값을 나타내는 시간 길이 P1 ~P3는 각각 예를 들면 160μs, 180μs, 160μs이다. 또, 데이터 R에서는, High의 휘도값을 나타내는 시간 길이는 모두 동일하여 비교적 짧고, Low의 휘도값을 나타내는 시간 길이 DR1~DR4는 각각 신호 xi에 따라 조정된다. 또한, 프리앰블 및 데이터 R에 있어서, High의 휘도값을 나타내는 시간 길이는 예를 들면 10μs 이하이다.
도 189C는, 본 실시의 형태에 있어서의 가시광 신호의 신호 길이를 나타내는 도면이다.
도 190은, 본 실시의 형태에 있어서의 가시광 신호와 규격 IEC(Inte rnational Electrotechnical Commission)의 가시광 신호와의 휘도값의 비교 결과를 나타내는 도면이다. 또한, 규격 IEC는, 구체적으로는, "VISIBLE LIGHT BEACON SYSTEM FOR MULTIMEDIA APPLICATIONS"이다.
본 실시의 형태에 있어서의 가시광 신호(실시의 형태의 방식(Data 편측))에서는, 규격 IEC의 가시광 신호의 최고 휘도보다도 높은 최고 휘도 82%를 얻을 수 있고, 규격 IEC의 가시광 신호의 최저 휘도보다 낮은 최저 휘도 18%를 얻을 수 있다. 또한, 최고 휘도 82% 및 최저 휘도 18%는, 본 실시의 형태에 있어서의, 데이터 R 및 데이터 L 중 어느 한쪽만을 포함한 가시광 신호에 의해서 얻어진 수치이다.
도 191은, 본 실시의 형태에 있어서의 가시광 신호와 규격 IEC의 가시광 신호와의, 화각에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도면이다.
본 실시의 형태에 있어서의 가시광 신호(실시의 형태의 방식(both))에서는, 화각이 작아져도, 즉, 가시광 신호를 송신하는 송신기로부터 수신기까지의 거리가 길어져도, 규격 IEC의 가시광 신호보다 수신 패킷수가 많아 높은 신뢰도를 얻을 수 있다. 또한, 도 191에 나타내는 실시 형태의 방식(both)의 수치는, 데이터 R 및 데이터 L의 양쪽 모두를 포함한 가시광 신호에 의해서 얻어진 수치이다.
도 192는, 본 실시의 형태에 있어서의 가시광 신호와 규격 IEC의 가시광 신호와의, 노이즈에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도면이다.
본 실시의 형태에 있어서의 가시광 신호(IEEE)에서는, 노이즈(노이즈의 분산값)에 상관없이, 규격 IEC의 가시광 신호보다도 수신 패킷수가 많아, 높은 신뢰도를 얻을 수 있다.
도 193은, 본 실시의 형태에 있어서의 가시광 신호와 규격 IEC의 가시광 신호와의, 수신측 클락 오차에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도면이다.
본 실시의 형태에 있어서의 가시광 신호(IEEE)에서는, 수신측 클락 오차의 넓은 범위에서, 규격 IEC의 가시광 신호보다도 수신 패킷수가 많아 높은 신뢰도를 얻을 수 있다. 또한, 수신측 클락 오차는, 수신기의 이미지 센서에 있어서의 노광 라인이 노광을 개시하는 타이밍의 오차이다.
도 194는, 본 실시의 형태에 있어서의 송신 대상의 신호의 구성을 나타내는 도면이다.
송신 대상의 신호는, 전술과 같이 4비트의 신호(xi)를 4개(4×4=16비트) 포함한다. 예를 들면, 송신 대상의 신호는 신호 x1~x4를 포함한다. 신호 x1는, 비트 x11~x14로 이루어지고, 신호 x2는, 비트 x21~x24로 이루어진다. 또, 신호 x3는, 비트 x31~x34로 이루어지고, 신호 x4는, 비트 x41~x44로 이루어진다. 여기서, 비트 x11, 비트 x21, 비트 x31 및 비트 x41는 틀리기 쉽고, 그들 이외의 비트는 틀리기 어렵다. 따라서, 신호 x4에 포함되는 비트 x42~비트 x44는 각각, 신호 x1의 비트 x11, 신호 x2의 비트 x21, 신호 x3의 비트 x31의 패리티에 이용되고, 신호 x4에 포함되는 비트 x41는 사용되지 않고 항상 0을 나타낸다. 비트 x42, x43, x44의 각각의 산출에는, 도 194에 나타내는 수식이 이용된다. 이 수식에 의해서, 비트 x42=비트 x11, 비트 x43=비트 x21, 비트 x44=비트 x31과 같이, 비트 x42, x43, x44가 각각 산출된다.
도 195A는, 본 실시의 형태에 있어서의 가시광 신호의 수신 방법을 나타내는 도면이다.
수신기는, 전술의 가시광 신호의 신호부를 순차 취득한다. 신호부는, 4비트의 어드레스(Addr)와 8비트의 데이터(Data)를 포함한다. 수신기는, 그러한 신호부의 데이터를 각각 결합하고, 복수의 데이터로 이루어지는 ID와 1개 또는 복수의 데이터로 이루어지는 패리티(Partity)를 생성한다.
도 195B는, 본 실시의 형태에 있어서의 가시광 신호의 교체를 나타내는 도면이다.
도 196은, 본 실시의 형태에 있어서의 가시광 신호의 다른 예를 나타내는 도면이다.
도 196에 나타내는 가시광 신호는, 도 188에 나타내는 가시광 신호에 대해서 고주파 신호를 중첩하는 것에 의해서 구성되어 있다. 고주파 신호의 주파수는 예를 들면 1~수Gbps이다. 이것에 의해, 도 188에 나타내는 가시광 신호보다도 고속으로 데이터를 송신할 수 있다.
도 197은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 또한, 도 197에 나타내는 가시광 신호의 구성은, 도 188에 나타내는 구성과 동일하지만, 도 197에 나타내는 가시광 신호에 있어서의 조광부의 시간 길이 C1 및 C2는, 도 188에 나타내는 시간 길이 C1 및 C2와는 상이하다.
도 198은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 198에 나타내는 가시광 신호에서는, 데이터 R 및 데이터 L 는, V4PPM의 심볼을 8개 포함한다. 데이터 L에 포함되는 심볼 DLi의 상승 위치 또는 하강 위치는, 데이터 R에 포함되는 심볼 DRi의 상승 위치 또는 하강 위치와 동일하다. 그러나, 심볼 DLi 의 평균 휘도와 심볼 DRi의 평균 휘도는, 동일해도, 상이해도 된다.
도 199는, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 199에 나타내는 가시광 신호는, ID 통신용 또는 저평균 휘도 용도의 신호로서, 도 189B에 나타내는 가시광 신호와 동일하다.
도 200은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 200에 나타내는 가시광 신호에서는, 데이터(Data)에 있어서의 짝수 번째의 시간 길이 D2i와 홀수 번째의 시간 길이 D2i＋1와는 동일하다.
도 201은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 201에 나타내는 가시광 신호에 있어서의 데이터(Data)는, 펄스 위치 변조의 신호인 심볼을 복수 포함한다.
도 202는, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 202에 나타내는 가시광 신호는, 연속 통신용의 신호로서, 도 198에 나타내는 가시광 신호와 동일하다.
도 203~도 211은, 도 197의 x1~x4의 값을 결정하는 방법을 설명하기 위한 도면이다. 또한, 도 203~도 211에 나타내는 x1~x4는, 이하의 변형예에 나타내는 부호 w1~w4의 값(W1~W4)을 결정하는 방법과 동일한 방법으로 결정된다. 단, x1~x4의 각각은, 4비트로 이루어지는 부호로서, 제1 비트에 패리티를 포함한 점이, 이하의 변형예에 나타내는 부호 w1~w4와는 상이하다.
(변형예 1)
도 212는, 본 실시의 형태의 변형예 1에 따른 가시광 신호의 상세한 구성의 예를 나타내는 도면이다. 이 변형예 1에 따른 가시광 신호는, 상기 실시의 형태의 도 188에 나타내는 가시광 신호와 동일하만, High 또는 Low의 휘도값을 나타내는 시간 길이가 도 188에 나타내는 가시광 신호와 상이하다. 예를 들면, 본 변형예에 따른 가시광 신호에서는, 프리앰블의 시간 길이 P2, P3는 90μs이다. 또, 본 변형예에 따른 가시광 신호에서는, 상기 실시의 형태와 동일하게, 데이터 R에 있어서의 시간 길이 DR1~DR4는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 그러나, 본 변형예에 있어서의 수식은 DRi=120＋30×wi(i∈1~4, wi∈0~7)이다. 또한, wi는, 3비트로 이루어지는 부호로서, 0~7의 어느 하나의 정수의 값을 나타내는 송신 대상의 신호이다. 또, 본 변형예에 따른 가시광 신호에서는, 상기 실시의 형태와 동일하게, 데이터 L에 있어서의 시간 길이 DL1~DL4는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 그러나, 본 변형예에 있어서의 수식은 DLi=120＋30×(7－wi)이다.
또, 도 212에 나타내는 예에서는, 데이터 R 및 데이터 L가 가시광 신호에 포함되어 있지만, 데이터 R 및 데이터 L 중 어느 한쪽만이 가시광 신호에 포함되어 있어도 된다. 가시광 신호를 밝게 하고 싶을 때에는, 데이터 R 및 데이터 L 중의 밝은 데이터만을 송신해도 된다. 또, 데이터 R 및 데이터 L의 배치를 반대로 해도 된다.
도 213은, 본 변형예에 따른 가시광 신호의 다른 예를 나타내는 도면이다.
변형예 1에 따른 가시광 신호는, 도 189A의 (a) 및 도 189B에 나타내는 예와 동일하게, Low의 휘도값을 나타내는 시간 길이만으로 송신 대상의 신호를 표현해도 된다.
예를 들면, 도 213에 나타내는 바와 같이, 프리앰블에서는, High의 휘도값을 나타내는 시간 길이는 예를 들면 10μs 미만이며, Low의 휘도값을 나타내는 시간 길이 P1 ~P3의 각각은 예를 들면 160μs, 180μs, 160μs이다. 또, 데이터(Data)에서는, High의 휘도값을 나타내는 시간 길이는 10μs 미만이며, Low의 휘도값을 나타내는 시간 길이 D1~D3는 각각 신호 wi에 따라 조정된다. 구체적으로는, Low의 휘도값을 나타내는 시간 길이 Di는, Di=180＋30×wi(i∈1~4, wi∈0~7)이다.
도 214는, 본 변형예에 따른 가시광 신호의 또 다른 예를 나타내는 도면이다.
본 변형예에 따른 가시광 신호는, 도 214에 나타내는 프리앰블과 데이터를 포함하고 있어도 된다. 프리앰블은, 도 212에 나타내는 프리앰블과 동일하게, 시간 축을 따라서 High와 Low의 휘도값을 교대로 나타낸다. 또, 프리앰블에 있어서의 시간 길이 P1~P4의 각각은, 50μs, 40μs, 4 0μs, 50μs이다. 데이터(Data)는, 시간 축을 따라서 High와 Low의 휘도값을 교대로 나타낸다. 예를 들면, 데이터 L는, 시간 길이 D1만큼 High의 휘도값을 나타내고, 다음의 시간 길이 D2만큼 Low의 휘도값을 나타내며, 다음의 시간 길이 D3만큼 High의 휘도값을 나타내고, 다음의 시간 길이 D4만큼 Low의 휘도값을 나타낸다.
여기서, 시간 길이 D2i -1＋D2i는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 즉, High의 휘도값을 나타내는 시간 길이와 그 휘도값에 계속되는 Low의 휘도값을 나타내는 시간 길이의 합이, 그 수식에 따라서 결정된다. 이 수식은, 예를 들면,D2i-1＋D2i=100＋20×xi(i∈1~N, xi∈0~7, D2i＞50μs, D2i+1＞50μs)이다.
도 215는, 패킷 변조의 일례를 나타내는 도면이다.
신호 생성 장치는, 본 변형예에 따른 가시광 신호의 생성 방법에 의해서, 가시광 신호를 생성한다. 본 변형예에 따른 가시광 신호의 생성 방법에서는, 패킷을 전술의 송신 대상의 신호 wi로 변조(즉 변환)한다. 또한, 전술의 신호 생성 장치는, 상기 각 실시의 형태에 있어서의 송신기에 구비되어 있어도 되고, 그 송신기에 구비되어 있지 않아도 된다.
예를 들면, 신호 생성 장치는, 도 215에 나타내는 바와 같이, 패킷을, 부호 w1, w2, w3 및 w4의 각각에 의해서 표시되는 수치를 포함한 송신 대상의 신호로 변환한다. 이러한 부호 w1, w2, w3 및 w4는, 각각 제1 비트로부터 제3 비트까지의 3비트로 이루어지는 부호로서, 도 212에 나타내는 바와 같이, 0~7의 정수값을 나타낸다.
여기서, 부호 w1~w4의 각각에 있어서, 제1 비트의 값을 b1, 제2 비트의 값을b2, 제3 비트의 값을 b3으로 한다. 또한, b1, b2 및 b3은 0 또는 1이다. 이 경우, 부호 w1~w4에 의해서 나타나는 수치 W1~W4의 각각은, 예를 들면, b1×20＋b2×21＋b3×22이다.
패킷은, 0~4비트로 이루어지는 어드레스 데이터(A1~A4)와, 4~7비트로 이루어지는 주데이터 Da(Da1~Da7)와, 3~4비트로 이루어지는 부데이터 Db(Db1~Db4)와, 스톱 비트의 값(S)을 데이터로서 포함한다. 또한, Da1~Da7, A1~A4, Db1~Db4, 및 S의 각각은, 비트의 값, 즉 0 또는 1을 나타낸다.
즉, 신호 생성 장치는, 패킷을 송신 대상의 신호로 변조할 때에는, 그 패킷에 포함되는 데이터를 부호 w1, w2, w3, 및 w4 중 어느 하나의 비트에 할당한다. 이것에 의해서, 패킷은, 부호 w1, w 2, w3, 및 w4의 각각에 따라서 나타나는 수치를 포함한 송신 대상의 신호로 변환된다.
신호 생성 장치는, 패킷에 포함되는 데이터를 할당할 때에는, 구체적으로는, 부호 w1~w4의 각각의 제1 비트(bit1)로 이루어지는 제1 비트열에, 패킷에 포함되는 주데이터 Da의 적어도 일부(Da1 ~Da4)를 할당한다. 또한, 신호 생성 장치는, 부호 w1의 제2 비트 (bit2)에, 패킷에 포함되는 스톱 비트의 값(S)을 할당한다. 또한, 신호 생성 장치는 부호 w2~w4의 각각의 제2 비트(bit2)로 이루어지는 제2 비트열에, 패킷에 포함되는 주데이터 Da의 일부(Da5~Da7), 또는, 패킷에 포함되는 어드레스 데이터의 적어도 일부(A1~A3)를 할당한다. 또한, 신호 생성 장치는, 부호 w1~w4의 각각의 제3 비트(bit3)로 이루어지는 제3 비트열에, 패킷에 포함되는 부데이터 Db의 적어도 일부(Db1~Db3)와, 그 부데이터 Db의 일부(Db4) 또는 어드레스 데이터의 일부(A4)를 할당한다.
또한, 부호 w1~w4의 각각의 제3 비트(bit3)가 모두 0인 경우에는, 전술의 「b1×20＋b2×21＋b3×22」에 의해서, 그러한 부호가 나타내는 수치는, 3 이하로 억제된다. 따라서, 도 212에 나타내는 수식 DRi=120＋30×wi(i∈1~4, wi∈0~7)에 의해서, 시간 길이 DRi를 짧게 할 수 있다. 그 결과, 1 패킷을 송신하는 시간을 짧게 할 수 있어, 보다 먼 곳으로부터도, 그 패킷을 수신할 수 있다.
도 216~도 226은, 원 데이터로부터 패킷을 생성하는 처리를 나타내는 도면이다.
본 변형예에 따른 신호 생성 장치는, 원 데이터의 비트 길이에 따라서 그 원 데이터를 분할하는지 아닌지를 판정한다. 그리고, 신호 생성 장치는, 그 판정의 결과에 따른 처리를 행함으로써, 원 데이터로부터 적어도 1개의 패킷을 생성한다. 즉, 신호 생성 장치는, 원 데이터의 비트 길이가 길수록 그 원 데이터를 많은 패킷으로 분할한다. 반대로, 신호 생성 장치는, 원 데이터의 비트 길이가 소정의 비트 길이보다 짧으면, 원 데이터를 분할하지 않고 패킷을 생성한다.
신호 생성 장치는, 이와 같이, 원 데이터로부터 적어도 1개의 패킷을 생성하면, 그 적어도 1개의 패킷의 각각을 전술의 송신 대상의 신호, 즉, 부호 w1~w4로 변환한다.
또한, 도 216~도 226에 있어서, Data는, 원 데이터를 나타내고, Dataa는, 원 데이터에 포함되는 주원 데이터를 나타내며, Datab는 원 데이터에 포함되는 부원 데이터를 나타낸다. 또, Da(k)는, 주원 데이터 그 자체, 또는, 주원 데이터와 패리티를 포함한 데이터를 구성하는 복수의 부분 중 k번째의 부분을 나타낸다. 동일하게 Da(k)는, 부원 데이터 그 자체, 또는, 부원 데이터와 패리티를 포함한 데이터를 구성하는 복수의 부분 중 k 번째의 부분을 나타낸다. 예를 들면, Da(2)는, 주원 데이터와 패리티를 포함한 데이터를 구성하는 복수의 부분 중 2번째의 부분을 나타낸다. 또, S는, 스타트 비트를 나타내고, A는, 어드레스 데이터를 나타낸다.
또, 각 블록 내에 나타나는 최상단의 표기는, 원 데이터, 주원 데이터, 부원 데이터, 스타트 비트, 및 어드레스 데이터 등을 식별하기 위한 라벨이다. 또, 각 블록 내에 나타나는, 중앙의 수치는, 비트 사이즈(비트수)이며, 최하단의 수치는, 각 비트의 값이다.
도 216은, 원 데이터를 1 분할하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원 데이터(Data)의 비트 길이가 7비트이면, 그 원 데이터를 분할하지 않고 1개의 패킷을 생성한다. 구체적으로는, 원 데이터는, 4비트의 주원 데이터 Dataa(Da1~Da4)와, 3비트의 부원 데이터 Datab(Db1~Db3)를 각각, 주데이터 Da(1)와 부데이터 Db(1)로서 포함한다. 이 경우, 신호 생성 장치는, 스타트 비트 S(S=1)와 4비트로 이루어지고 「0000」을 나타내는 어드레스 데이터(A1~A4)를, 그 원 데이터에 대해서 부가하는 것에 의해서 패킷을 생성한다. 또한, 스타트 비트 S=1은, 그 스타트 비트를 포함한 패킷이 종단의 패킷인 것을 나타낸다.
신호 생성 장치는, 이 패킷을 변환하는 것에 의해서, 부호 w1=(Da1, S=1, Db1), 부호 w2=(Da2, A1=0, Db2), 부호 w3=(Da3, A2=0, Db3), 및 부호 w4=(Da4, A3=0, A4=0)를 생성한다. 또한, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 따라서 나타나는 수치 W1, W2, W3 및 W4를 포함하는 송신 대상의 신호를 생성한다.
또한, 본 변형예에서는, wi는, 3비트의 부호로서 표현됨과 함께, 10 진수의 수치로서도 표현된다. 따라서, 본 변형예에서는, 설명을 알기 쉽게 하기 위해서, 10 진수의 수치로서 이용되는 wi(w1~w4)를, 수치 Wi(W1~W4)로서 표기한다.
도 217은, 원 데이터를 2 분할하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원 데이터(Data)의 비트 길이가 16비트이면, 그 원 데이터를 분할함으로써, 2개의 중간 데이터를 생성한다. 구체적으로는, 원 데이터는 10비트의 주원 데이터 Dataa와 6비트의 부원 데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주원 데이터 Dataa와 그 주원 데이터 Dataa에 대응하는 1비트의 패리티를 포함한 제1 중간 데이터를 생성하고, 부원 데이터 Datab와 그 부원 데이터 Datab에 대응하는 1비트의 패리티를 포함한 제2 중간 데이터를 생성한다.
다음에, 신호 생성 장치는, 제1 중간 데이터를, 7비트로 이루어지는 주데이터 Da(1)와 4비트로 이루어지는 주데이터 Da(2)로 분할한다. 또한, 신호 생성 장치는, 제2 중간 데이터를, 4비트로 이루어지는 부데이터 Db(1)와 3비트로 이루어지는 부데이터 Db(2)로 분할한다. 또한, 주데이터는, 주원 데이터와 패리티를 포함한 데이터를 구성하는 복수의 부분 중 하나의 부분이다. 동일하게, 부데이터는, 부원 데이터와 패리티를 포함한 데이터를 구성하는 복수의 부분 중 하나의 부분이다.
다음으로, 신호 생성 장치는, 스타트 비트 S(S=0)와 주데이터 Da(1)와 부데이터 Db(1)를 포함한 12비트의 제1 패킷을 생성한다. 이것에 의해, 어드레스 데이터를 포함하지 않는 제1 패킷이 생성된다.
또한, 신호 생성 장치는, 스타트 비트 S(S=1)와 4비트로 이루어지고 「1000」을 나타내는 어드레스 데이터와, 주데이터 Da(2)와 부데이터 Db(2)를 포함한 12비트의 제2 패킷을 생성한다. 또한, 스타트 비트 S=0은, 생성되는 복수의 패킷 중, 그 스타트 비트를 포함한 패킷이 종단에 없는 패킷인 것을 나타낸다. 또, 스타트 비트 S=1은, 생성되는 복수의 패킷 중, 그 스타트 비트를 포함한 패킷이 종단에 있는 패킷인 것을 나타낸다.
이것에 의해, 원 데이터는, 제1 패킷과 제2 패킷으로 분할된다.
신호 생성 장치는, 제1 패킷을 변환하는 것에 의해서, 부호 w1=(Da1, S=0, Db1), 부호 w2=(Da2, Da7, Db2), 부호 w3=(Da3, Da6, Db3), 및 부호 w4=(Da4, Da5, Db4)를 생성한다. 또한, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 따라서 나타나는 수치 W1, W2, W3 및 W4를 포함한 송신 대상의 신호를 생성한다.
또한, 신호 생성 장치는, 제2 패킷을 변환하는 것에 의해서, 부호 w1=(Da1, S=1, Db1), 부호 w2=(Da2, A1=1, Db2), 부호 w3=(Da3, A2=0, Db3), 및 부호 w4=(Da4, A3=0, A4=0)를 생성한다. 또한, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 따라서 나타나는 수치 W1, W2, W3 및 W4를 포함한 송신 대상의 신호를 생성한다.
도 218은, 원 데이터를 3 분할로 하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원 데이터(Data)의 비트 길이가 17비트이면, 그 원 데이터를 분할함으로써, 2개의 중간 데이터를 생성한다. 구체적으로는, 원 데이터는, 10비트의 주원 데이터 Dataa와 7비트의 부원 데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주원 데이터 Dataa와 그 주원 데이터 Dataa에 대응하는 6비트의 패리티를 포함한 제1 중간 데이터를 생성한다. 또한, 신호 생성 장치는, 부원 데이터 Datab와 그 부원 데이터 Datab에 대응하는 4비트의 패리티를 포함한 제2 중간 데이터를 생성한다. 예를 들면, 신호 생성 장치는, CRC(Cyclic Redundancy Check)에 의해서 패리티를 생성한다.
다음에, 신호 생성 장치는, 제1 중간 데이터를, 6비트의 패리티로 이루어지는 주데이터 Da(1)와 6비트로 이루어지는 주데이터 Da(2)와 4비트로 이루어지는 주데이터 Da(3)로 분할한다. 또한, 신호 생성 장치는, 제2 중간 데이터를, 4비트의 패리티로 이루어지는 부데이터 Db(1)와 4비트로 이루어지는 부데이터 Db(2)와 3비트로 이루어지는 부데이터 Db(3)로 분할한다.
다음에, 신호 생성 장치는, 스타트 비트 S(S=0)와 1비트로 이루어지고 「0」을 나타내는 어드레스 데이터와 주데이터 Da(1)와 부데이터 Db(1)를 포함한 12비트의 제1 패킷을 생성한다. 또한, 신호 생성 장치는, 스타트 비트 S(S=0)와 1비트로 이루어지고 「1」을 나타내는 어드레스 데이터와 주데이터 Da(2)와 부데이터 Db(2)를 포함한 12비트의 제2 패킷을 생성한다. 또한, 신호 생성 장치는, 스타트 비트 S (S=1)와 4비트로 이루어지고 「0100」을 나타내는 어드레스 데이터와 주데이터 Da(3)와 부데이터 Db(3)를 포함한 12비트의 제3 패킷을 생성한다.
이것에 의해, 원 데이터는, 제1 패킷과 제2 패킷과 제3 패킷으로 분할된다.
신호 생성 장치는, 제1 패킷을 변환하는 것에 의해서, 부호 w1=(Da1, S=0, Db1), 부호 w2=(Da2, A1=0, Db2), 부호 w3=(Da3, Da6, Db3), 및 부호 w4=(Da4, Da5, Db4)를 생성한다. 또한, 신호 생성 장치는 부호 w1, w2, w3 및 w4의 각각에 따라서 나타나는 수치 W1, W2, W3 및 W4를 포함한 송신 대상의 신호를 생성한다.
동일하게, 신호 생성 장치는, 제2 패킷을 변환하는 것에 의해서, 부호 w1=(Da1, S=0, Db1), 부호 w2=(Da2, A1=1, Db2), 부호 w3=(Da3, Da6, Db3), 및 부호 w4=(Da4, Da5, Db4)를 생성한다. 또한, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 따라서 나타나는 수치 W1, W2, W3 및 W4를 포함한 송신 대상의 신호를 생성한다.
동일하게 신호 생성 장치는, 제3 패킷을 변환하는 것에 의해서, 부호 w1=(Da1, S=1, Db1), 부호 w2=(Da2, A1=0, Db2), 부호 w3=(Da3, A2=1, Db3), 및 부호 w4=(Da4, A3=0, A4=0)를 생성한다. 또한, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 따라서 나타나는 수치 W1, W2, W3 및 W4를 포함한 송신 대상의 신호를 생성한다.
도 219는, 원 데이터를 3 분할로 하는 처리의 다른 예를 나타내는 도면이다.
도 218에 나타내는 예에서는, CRC에 의해서 6비트 또는 4비트의 패리티를 생성하지만, 1비트의 패리티를 생성해도 된다.
이 경우, 신호 생성 장치는, 원 데이터(Data)의 비트 길이가 25비트이면, 그 원 데이터를 분할함으로써 2개의 중간 데이터를 생성한다. 구체적으로는, 원 데이터는 15비트의 주원 데이터 Dataa와 10비트의 부원 데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주원 데이터 Dataa와, 그 주원 데이터 Dataa에 대응하는 1비트의 패리티를 포함한 제1 중간 데이터를 생성하고, 부원 데이터 Datab와 그 부원 데이터 Datab에 대응하는 1비트의 패리티를 포함한 제2 중간 데이터를 생성한다.
다음에, 신호 생성 장치는, 제1 중간 데이터를, 패리티를 포함한 6비트로 이루어지는 주데이터 Da(1)와, 6비트로 이루어지는 주데이터 Da(2)와 4비트로 이루어지는 주데이터 Da(3)로 분할한다. 또한, 신호 생성 장치는, 제2 중간 데이터를, 패리티를 포함한 4비트로 이루어지는 부데이터 Db(1)와, 4비트로 이루어지는 부데이터 Db(2)와 3비트로 이루어지는 부데이터 Db로 분할한다.
다음에, 신호 생성 장치는, 도 218에 나타내는 예와 동일하게, 제1 중간 데이터 및 제2 중간 데이터로부터, 제1 패킷과 제2 패킷과 제3 패킷을 생성한다.
도 220은, 원 데이터를 3 분할로 하는 처리의 다른 예를 나타내는 도면이다.
도 218에 나타내는 예에서는, 주원 데이터 Dataa에 대한 CRC에 의해서 6비트의 패리티를 생성하고, 부원 데이터 Datab에 대한 CRC에 의해서 4비트의 패리티를 생성한다. 그러나, 주원 데이터 Dataa 및 부원 데이터 Datab의 전체에 대한 CRC에 의해서 패리티를 생성해도 된다.
이 경우, 신호 생성 장치는, 원 데이터(Data)의 비트 길이가 22비트이면, 그 원 데이터를 분할함으로써, 2개의 중간 데이터를 생성한다.
구체적으로는, 원 데이터는, 15비트의 주원 데이터 Dataa와 7비트의 부원 데이터 Datab를 포함한다. 신호 생성 장치는, 주원 데이터 Dataa와 그 주원 데이터 Dataa에 대응하는 1비트의 패리티를 포함한 제1 중간 데이터를 생성한다. 또한, 신호 생성 장치는, 주원 데이터 Dataa 및 부원 데이터 Datab의 전체에 대한 CRC에 의해서, 그 4비트의 패리티를 생성한다. 그리고, 신호 생성 장치는, 부원 데이터 Datab와, 4비트의 패리티를 포함한 제2 중간 데이터를 생성한다.
다음에, 신호 생성 장치는, 제1 중간 데이터를, 패리티를 포함한 6비트로 이루어지는 주데이터 Da(1)와, 6비트로 이루어지는 주데이터 Da(2)와 4비트로 이루어지는 주데이터 Da(3)로 분할한다. 또한, 신호 생성 장치는, 제2 중간 데이터를, 4비트로 이루어지는 부데이터 Db(1)와, CRC의 패리티의 일부를 포함한 4비트로 이루어지는 부데이터 Db(2)와, CRC의 패리티의 나머지를 포함한 3비트로 이루어지는 부데이터 Db(3)로 분할한다.
다음에, 신호 생성 장치는, 도 218에 나타내는 예와 동일하게, 제1 중간 데이터 및 제2 중간 데이터로부터, 제1 패킷과 제2 패킷과 제3 패킷을 생성한다.
또한, 원 데이터를 3 분할로 하는 처리의 각 구체적인 예 중, 도 218에 나타내는 처리를 버젼 1로 칭하고, 도 219에 나타내는 처리를 버젼 2로 칭하며, 도 2 20에 나타내는 처리를 버젼 3으로 칭한다.
도 221은, 원 데이터를 4 분할로 하는 처리를 나타내는 도면이다. 또, 도 222는, 원 데이터를 5 분할로 하는 처리를 나타내는 도면이다.
신호 생성 장치는, 원 데이터를 3 분할로 하는 처리와 동일하게, 즉 도 218 ~도 220에 나타내는 처리와 동일하게, 원 데이터를 4 분할 또는 5 분할로 한다.
도 223은, 원 데이터를 6, 7 또는 8 분할로 하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원 데이터(Data)의 비트 길이가 31비트이면, 그 원 데이터를 분할함으로써, 2개의 중간 데이터를 생성한다. 구체적으로는, 원 데이터는, 16비트의 주원 데이터 Dataa와 15비트의 부원 데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주원 데이터 Dataa와 그 주원 데이터 Dataa에 대응하는 8비트의 패리티를 포함한 제1 중간 데이터를 생성한다. 또한, 신호 생성 장치는, 부원 데이터 Datab와 그 부원 데이터 Datab에 대응하는 8비트의 패리티를 포함한 제2 중간 데이터를 생성한다. 예를 들면, 신호 생성 장치는, 리드-솔로몬 부호에 의해서 패리티를 생성한다.
여기서, 리드-솔로몬 부호에 있어서 4비트를 1 심볼로서 취급하는 경우, 주원 데이터 Dataa 및 부원 데이터 Datab의 각각의 비트 길이는, 4비트의 정수배가 되어야 한다. 그런데, 부원 데이터 Datab는 전술과 같이 15비트이며, 4비트의 정수배인 16비트보다 1비트 적다.
따라서, 신호 생성 장치는, 제2 중간 데이터를 생성할 때에는, 부원 데이터 Datab에 대해서 패딩을 행하고, 그 패딩이 행해진 16비트의 부원 데이터 Datab에 대응하는 8비트의 패리티를 리드-솔로몬 부호에 의해서 생성한다.
다음에, 신호 생성 장치는, 제1 중간 데이터 및 제2 중간 데이터의 각각을 전술과 동일한 수법으로 6개의 부분(4비트 또는 3비트)으로 분할한다. 그리고, 신호 생성 장치는, 스타트 비트와 3비트 또는 4비트로 이루어지는 어드레스 데이터와, 1번째의 주데이터와 1번째의 부데이터를 포함한 제1 패킷을 생성한다. 동일하게, 신호 생성 장치는 제2 패킷~ 제6 패킷을 생성한다.
도 224는, 원 데이터를 6, 7 또는 8 분할로 하는 처리의 다른 예를 나타내는 도면이다.
도 223에 나타내는 예에서는, 리드-솔로몬 부호에 의해서 패리티를 생성했지만, CRC에 의해서 패리티를 생성해도 된다.
예를 들면, 신호 생성 장치는, 원 데이터(Data)의 비트 길이가 39비트이면, 그 원 데이터를 분할함으로써, 2개의 중간 데이터를 생성한다. 구체적으로는, 원 데이터는, 20비트의 주원 데이터 Dataa와 19비트의 부원 데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주원 데이터 Dataa와 그 주원 데이터 Dataa에 대응하는 4비트의 패리티를 포함한 제1 중간 데이터를 생성하고, 부원 데이터 Datab와 그 부원 데이터 Datab에 대응하는 4비트의 패리티를 포함한 제2 중간 데이터를 생성한다. 예를 들면, 신호 생성 장치는, CRC에 의해서 패리티를 생성한다.
다음에, 신호 생성 장치는, 제1 중간 데이터 및 제2 중간 데이터의 각각을 전술과 동일한 수법으로 6개의 부분(4비트 또는 3비트)으로 분할한다. 그리고, 신호 생성 장치는 스타트 비트와 3비트 또는 4비트로 이루어지는 어드레스 데이터와 1번째의 주데이터와 1번째의 부데이터를 포함한 제1 패킷을 생성한다. 동일하게, 신호 생성 장치는 제2 패킷~ 제6 패킷을 생성한다.
또한, 원 데이터를 6, 7 또는 8 분할로 하는 처리의 각 구체적인 예 중, 도 223에 나타내는 처리를 버젼 1로 칭하고, 도 224에 나타내는 처리를 버젼 2라 칭한다.
도 225는, 원 데이터를 9 분할로 하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원 데이터(Data)의 비트 길이가 55비트이면, 그 원 데이터를 분할함으로써, 제1 패킷~ 제9 패킷까지의 9개의 패킷을 생성한다. 또한, 도 225에서는, 제1 중간 데이터 및 제2 중간 데이터를 생략하고 있다.
구체적으로는, 원 데이터(Data)의 비트 길이는 55비트이며, 4비트의 정수배인 56비트보다 1비트 적다. 따라서, 신호 생성 장치는, 그 원 데이터에 대해서 패딩을 행하고, 패딩이 행해진 56비트로 이루어지는 원 데이터에 대한 패리티(16비트)를, 리드－솔로몬 부호에 의해서 생성한다.
다음에, 신호 생성 장치는, 16비트의 패리티와, 55비트의 원 데이터와 포함한 데이터 전체를, 9개의 데이터 DaDb(1)~DaDb(9)로 분할한다.
데이터 DaDb(k)의 각각은, 주원 데이터 Dataa에 포함되는 k 번째의 4비트로 이루어지는 부분과, 부원 데이터 Datab에 포함되는 k번째의 4비트로 이루어지는 부분을 포함한다. 또한, k는 1~8의 어느 한쪽의 정수이다. 또, 데이터 DaDb(9)는, 주원 데이터 Dataa에 포함되는 9번째의 4비트로 이루어지는 부분과 부원 데이터 Datab에 포함되는 9번째의 3비트로 이루어지는 부분을 포함한다.
다음에, 신호 생성 장치는, 9개의 데이터 DaDb(1)~DaDb(9)의 각각에, 스타트 비트 S와 어드레스 데이터를 부가하는 것에 의해서, 제1 패킷~ 제9 패킷을 생성한다.
도 226은, 원 데이터를 10~16의 어느 하나의 수로 분할하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원 데이터(Data)의 비트 길이가 7×(N－2) 비트이면, 그 원 데이터를 분할함으로써 제1 패킷~제N 패킷까지의 N개의 패킷을 생성한다. 또한, N은 10~16의 어느 하나의 정수이다. 또, 도 226에서는, 제1 중간 데이터 및 제2 중간 데이터를 생략하고 있다.
구체적으로는, 신호 생성 장치는 7×(N－2) 비트로 이루어지는 원 데이터에 대한 패리티(14비트)를, 리드-솔로몬 부호에 의해서 생성한다. 또한, 이 리드-솔로몬 부호에서는, 7비트가 1 심볼로서 취급된다.
다음으로, 신호 생성 장치는, 14비트의 패리티와, 7×(N－2) 비트의 원 데이터와 포함한 데이터 전체를, N개의 데이터 DaDb(1)~DaDb(N)로 분할한다.
데이터 DaDb(k)의 각각은, 주원 데이터 Dataa에 포함되는 k 번째의 4비트로 이루어지는 부분과, 부원 데이터 Datab에 포함되는 k번째의 3비트로 이루어지는 부분을 포함한다. 또한, k는 1~(N－1)의 어느 한쪽의 정수이다.
다음에, 신호 생성 장치는, 9개의 데이터 DaDb(1)~DaDb(N)의 각각에, 스타트 비트 S와 어드레스 데이터를 부가하는 것에 의해서, 제1 패킷~제N 패킷을 생성한다.
도 227~도 229는, 원 데이터의 분할수와 데이터 사이즈와 오류 정정 코드(ECC)와의 관계의 일례를 나타내는 도면이다.
구체적으로는, 도 227~도 229는, 도 216~도 226에 나타내는 각 처리에 있어서의 상기 관계를 정리해 나타낸다. 또, 전술과 같이, 원 데이터를 3 분할로 하는 처리에는 버젼 1~3이 있고, 원 데이터를 6, 7 또는 8 분할로 하는 처리에는, 버젼 1 및 버젼 2가 있다. 도 227은, 분할수에 대해서 복수의 버젼이 있으면, 복수의 버젼 중 버젼 1에 있어서의 상기 관계를 나타낸다. 동일하게, 도 228은, 분할수에 대해서 복수의 버젼이 있으면, 복수의 버젼 중 버젼 2에 있어서의 상기 관계를 나타낸다. 동일하게, 도 229는 분할수에 대해서 복수의 버젼이 있으면, 복수의 버젼 중 버젼 3에 있어서의 상기 관계를 나타낸다.
또, 본 변형예에서는, 쇼트 모드와 풀 모드가 있다. 쇼트 모드의 경우, 패킷에 있어서의 부데이터가 0이며, 도 215에 나타내는 제3 비트열의 모든 비트가 0이다. 이 경우, 부호 w1~w4에 의해서 나타나는 수치 W1~W4는, 전술의 「b1×20＋b2×21＋b3×22」에 의해서, 3 이하로 억제된다. 그 결과, 도 212에 나타내는 바와 같이, 데이터 R에 있어서의 시간 길이 DR1~DR4는, DRi=120＋30×wi(i∈1~4, wi ∈0~7)에 의해서 결정되기 때문에, 짧아진다. 즉, 쇼트 모드의 경우에는, 1 패킷 당의 가시광 신호를 짧게 할 수 있다. 1 패킷 당의 가시광 신호를 짧게 하는 것에 의해서, 수신기는 그 패킷을 멀리로부터도 수신할 수 있어 통신 거리를 길게 할 수 있다.
한편, 풀 모드의 경우, 도 215에 나타내는 제3 비트열 중 어느 한쪽의 비트는 1이다. 이 경우, 가시광 신호는 쇼트 모드와 같이 짧게는 되지 않는다.
본 변형예에서는, 도 227~도 229에 나타내는 바와 같이, 분할수가 적으면 쇼트 모드의 가시광 신호를 생성할 수 있다. 또한, 도 227~도 229에 있어서의 쇼트 모드의 데이터 사이즈는, 주원 데이터(Dataa)의 비트수를 나타내고, 풀 모드의 데이터 사이즈는 원 데이터(Data)의 비트수를 나타낸다.
(실시의 형태 20의 정리)
도 230A는, 본 실시의 형태에 있어서의 가시광 신호의 생성 방법을 나타내는 플로우 차트이다.
본 실시의 형태에 있어서의 가시광 신호의 생성 방법은, 송신기가 구비하는 광원의 휘도 변화에 의해서 송신되는 가시광 신호를 생성하는 방법으로서, 단계 SD1~SD3를 포함한다.
단계 SD1에서는, 서로 상이한 휘도값인 제1 및 제2 휘도값의 각각이, 소정의 시간 길이만큼, 시간 축상을 따라서 교대로 나타나는 데이터인 프리앰블을 생성한다.
단계 SD2에서는, 제1 및 제2 휘도값이 시간 축상을 따라서 교대로 나타나는 데이터에 있어서, 상기 제1 및 제2 휘도값의 각각이 계속하는 시간 길이를, 송신 대상의 신호에 따른 제1 방식에 따라서 결정함으로써, 제1 데이터를 생성한다.
마지막으로, 단계 SD3에서는, 프리앰블과 제1 데이터를 결합하는 것에 의해서 가시광 신호를 생성한다.
예를 들면, 도 188에 나타내는 바와 같이, 제1 및 제2 휘도값은 High 및 Low이며, 제1 데이터는, 데이터 R 또는 데이터 L이다. 이와 같이 생성된 가시광 신호를 송신하는 것에 의해서, 도 191~도 193에 나타내는 바와 같이, 수신 패킷수를 늘릴 수 있음과 함께, 신뢰도를 높일 수 있다. 그 결과, 다양한 기기간의 통신을 가능하게 할 수 있다.
또, 상기 가시광 신호의 생성 방법은, 또한, 상기 제1 및 제2 휘도값이 시간 축상을 따라서 교대로 나타나는 데이터에 있어서, 상기 제1 및 제2 휘도값의 각각이 계속하는 시간 길이를, 송신 대상의 신호에 따른 제2 방식에 따라서 결정하는 것에 의해서, 상기 제1 데이터에 의해서 표현되는 밝기와 보완 관계를 가지는 제2 데이터를 생성하고, 상기 가시광 신호의 생성에서는 상기 제1 데이터, 상기 프리앰블, 상기 제2 데이터의 순서로, 상기 프리앰블과 상기 제1 및 제2 데이터를 결합하는 것에 의해서, 상기 가시광 신호를 생성해도 된다.
예를 들면, 도 188에 나타내는 바와 같이, 제1 및 제2 휘도값은 High 및 Low이며, 제1 및 제2 데이터는, 데이터 R 및 데이터 L이다.
또, a 및 b를 각각 상수로 하고, 상기 송신 대상의 신호에 포함되는 수치를 n으로 하며, 수치 n을 취할 수 있는 최대값인 상수를 m으로 하는 경우, 상기 제1 방식은, a＋b×n에 의해서 상기 제1 데이터에 있어서의, 상기 제1 또는 제2 휘도값이 계속하는 시간 길이를 결정하는 방식이며, 상기 제2 방식은 a＋b×(m－n)에 의해서, 상기 제2 데이터에 있어서의, 상기 제1 또는 제2 휘도값이 계속하는 시간 길이를 결정하는 방식이어도 된다.
예를 들면, 도 188에 나타내는 바와 같이, a는 120μs이며, b는 20μs이며, n는 0~15 중 어느 하나의 정수값(신호 xi가 나타내는 수치)이며, m은 15이다.
또, 상기 보완 관계에서는, 상기 제1 데이터의 전체에 있어서의 시간 길이와, 상기 제2 데이터의 전체에 있어서의 시간 길이와의 합이 일정해져도 된다.
또, 상기 가시광 신호의 생성 방법은, 또한, 상기 가시광 신호에 의해서 표현되는 밝기를 조정하기 위한 데이터인 조광부를 생성하고, 상기 가시광 신호의 생성에서는, 추가로 상기 조광부를 결합하는 것에 의해서 상기 가시광 신호를 생성해도 된다.
조광부는, 예를 들면 도 188에 있어서의, 시간 길이 C1만큼 High의 휘도값을 나타내고, 시간 길이 C2만큼 Low의 휘도값을 나타내는 신호(Dimming)이다. 이것에 의해, 가시광 신호의 밝기를 임의로 조정할 수 있다.
도 230B는, 본 실시의 형태에 있어서의 신호 생성 장치의 구성을 나타내는 블럭도이다.
본 실시의 형태에 있어서의 신호 생성 장치(D10)는, 송신기가 구비하는 광원의 휘도 변화에 의해서 송신되는 가시광 신호를 생성하는 신호 생성 장치로서, 프리앰블 생성부(D11)와 데이터 생성부(D12)와 결합부(D13)를 구비한다.
프리앰블 생성부(D11)는, 서로 상이한 휘도값인 제1 및 제2 휘도값의 각각이, 소정의 시간 길이만큼, 시간 축상을 따라서 교대로 나타나는 데이터인 프리앰블을 생성한다.
데이터 생성부(D12)는, 제1 및 제2 휘도값이 시간 축상을 따라서 교대로 나타나는 데이터에 있어서, 제1 및 제2 휘도값의 각각이 계속하는 시간 길이를, 송신 대상의 신호에 따른 제1 방식에 따라서 결정함으로써 제1 데이터를 생성한다.
결합부(D13)는 프리앰블과 제1 데이터를 결합하는 것에 의해서 가시광 신호를 생성한다.
이와 같이 생성된 가시광 신호를 송신하는 것에 의해서, 도 191~도 193에 나타내는 바와 같이, 수신 패킷수를 늘릴 수 있음과 함께, 신뢰도를 높일 수 있다. 그 결과, 다양한 기기간의 통신을 가능하게 할 수 있다.
(실시의 형태 20의 변형예 1의 정리)
또, 실시의 형태 20의 변형예 1과 같이, 상기 가시광 신호의 생성 방법은, 또한, 원 데이터의 비트 길이에 따라 상기 원 데이터를 분할하는지 아닌지를 판정하고, 그 판정의 결과에 따른 처리를 행함으로써, 원 데이터로부터 적어도 1개의 패킷을 생성해도 된다. 그리고, 그 적어도 1개의 패킷의 각각을 송신 대상의 신호로 변환해도 된다.
그 송신 대상의 신호로의 변환에서는, 도 215에 나타내는 바와 같이, 그 적어도 1개의 패킷에 포함되는 대상 패킷마다, 해당 대상 패킷에 포함되는 데이터를, 각각 제1 비트로부터 제3 비트까지의 3비트로 이루어지는 부호 w1, w2, w3 및 w4의 어느 하나의 비트에 할당하는 것에 의해서, 그 대상 패킷을, 부호 w1, w2, w3 및 w4의 각각에 따라서 표시되는 수치를 포함한 송신 대상의 신호로 변환한다.
그 데이터의 할당에서는, 부호 w1~w4의 각각의 제1 비트로 이루어지는 제1 비트열에, 대상 패킷에 포함되는 주데이터의 적어도 일부를 할당한다. 부호 w1의 제2 비트에, 대상 패킷에 포함되는 스톱 비트의 값을 할당한다. 부호 w2~w4의 각각의 제2 비트로 이루어지는 제2 비트열에, 대상 패킷에 포함되는 주데이터의 일부, 또는, 대상 패킷에 포함되는 어드레스 데이터의 적어도 일부를 할당하는, 부호 w1~w4의 각각의 제3 비트로 이루어지는 제3 비트열에, 대상 패킷에 포함되는 부데이터를 할당한다.
여기서, 스톱 비트는, 생성된 적어도 1개의 패킷 중, 대상 패킷이 종단에 있는지 아닌지를 나타낸다. 어드레스 데이터는, 생성된 적어도 1개의 패킷 중, 대상 패킷의 차례를 어드레스로서 나타낸다. 주데이터 및 부데이터의 각각은, 원 데이터를 복원하기 위한 데이터이다.
또, a 및 b를 각각 상수로 하고, 부호 w1, w2, w3 및 w4의 각각에 의해서 표시되는 수치를 W1, W2, W3 및 W4로 하는 경우, 예를 들면 도 212에 나타내는 바와 같이, 전술의 제1 방식은 a＋b×W1, a＋b×W2, a＋b×W3 및 a＋b×W4에 의해서, 제1 데이터에 있어서의, 제1 또는 제2 휘도값이 계속하는 시간 길이를 결정하는 방식이다.
예를 들면, 부호 w1~w4의 각각에 있어서, 제1 비트의 값을 b1, 제2 비트의 값을 b2, 제3 비트의 값을 b3으로 한다. 이 경우, 부호 w1~ w4에 의해서 나타나는 값 W1~W4의 각각은, 예를 들면,b1×20＋b2×21＋b3×22이다. 따라서, 부호 w1~w4 에 있어서, 제1 비트를 1로 하는 것보다도, 제2 비트를 1로 한 쪽이, 그 부호 w1~w4에 의해서 표시되는 값 W1~W4는 커진다. 또, 제2 비트를 1로 하는 것보다도, 제3 비트를 1로 하는 쪽이, 그 부호 w1~w4에 의해서 표시되는 값 W1~W4는 커진다. 이러한 부호 w1~w4에 의해서 표시되는 값 W1~W4이 크면, 전술의 제1 및 제2 휘도값의 각각이 계속하는 시간 길이(예를 들면 DRi)는 길어지기 때문에, 가시광 신호의 휘도의 오검지를 억제할 수 있고, 수신 에러를 저감시킬 수 있다. 반대로, 이러한 부호 w1~w4에 의해서 나타나는 값 W1~W4가 작으면 전술의 제1 및 제2 휘도값의 각각이 계속하는 시간 길이는 짧아지기 때문에, 가시광 신호의 휘도의 오검지가 비교적 생기기 쉽다.
따라서, 실시의 형태 20의 변형예 1에서는, 원 데이터를 수신하기 위해서 중요해지는 스톱 비트 및 어드레스를 우선적으로, 부호 w1~w4의 제2 비트에 할당하는 것에 의해서, 그 수신 에러의 저하를 도모할 수 있다. 또, 부호 w1은, 프리앰블에 가장 가까운 High 또는 Low의 휘도값이 계속하는 시간 길이를 정의한다. 즉, 부호 w1은, 다른 부호 w2~w4보다도 프리앰블에 가깝기 때문에, 이러한 다른 부호보다도 적절하게 수신되기 쉽다. 따라서, 실시의 형태 20의 변형예 1에서는, 스톱 비트를 부호 w1의 제2 비트에 할당하는 것에 의해서, 수신 에러의 저하를 보다 억제할 수 있다.
또, 실시의 형태 20의 변형예 1에서는, 주데이터는, 오검지가 비교적으로 생기기 쉬운 제1 비트열에 우선적으로 할당된다. 그러나, 주데이터에 오류 정정 코드(ECC)(패리티)를 넣어 두면, 그 주데이터의 수신 에러를 억제할 수 있다.
또한, 실시의 형태 20의 변형예 1에서는, 부호 w1~w4의 제3 비트로 이루어지는 제3 비트열에, 부데이터가 할당된다. 따라서, 부데이터를 0으로 하면, 부호 w1~w4에 의해서 정의되는 High 및 Low의 휘도값의 각각이 계속하는 시간 길이를 큰폭으로 짧게 할 수 있다. 그 결과, 1 패킷 당의 가시광 신호의 송신 시간을 큰폭으로 짧게 할 수 있는, 이른바 쇼트 모드를 실현할 수 있다. 이 쇼트 모드에서는, 전술과 같이 송신 시간이 짧기 때문에, 패킷을 멀리로부터도 용이하게 수신할 수 있다. 따라서, 가시광 통신의 통신 거리를 길게 할 수 있다.
또, 실시의 형태 20의 변형예 1에서는, 도 217에 나타내는 바와 같이, 적어도 1개의 패킷의 생성에서는, 원 데이터를 2개의 패킷으로 분할하는 것에 의해서, 2개의 패킷을 생성하고, 데이터의 할당에서는 2개의 패킷 중 종단에 없는 패킷을 대상 패킷으로 하여 송신 대상의 신호로 변환하는 경우, 제2 비트열에는, 어드레스 데이터의 적어도 일부를 할당하지 않고 종단에 없는 패킷에 포함되는 주데이터의 일부를 할당한다.
예를 들면, 도 217에 나타내는 종단에 없는 패킷(Packet1)에는 어드레스 데이터는 포함되지 않았다. 그리고, 그 종단에 없는 패킷에는, 주데이터 Da(1)가 7비트 있다. 따라서, 도 215에 나타내는 바와 같이, 7비트의 주데이터 Da(1)에 포함되는, 데이터 Da1~Da4가 제1 비트열에 할당되고, 데이터 Da5~Da7가 제2 비트열에 할당된다.
이와 같이, 원 데이터가 2개의 패킷으로 분할되는 경우, 종단에 없는 패킷, 즉, 1번째의 패킷에는, 스타트 비트(S=0)가 있으면, 어드레스 데이터는 불필요해진다. 따라서, 제2 비트열의 모든 비트를 주데이터에 이용함으로써, 패킷에 포함되는 데이터량을 늘릴 수 있다.
또, 실시의 형태 20의 변형예 1에 있어서의 데이터의 할당에서는, 제2 비트열에 포함되는 3개의 비트 중, 배열 순서로 선두측의 비트를 우선적으로 어드레스 데이터의 할당에 이용하고, 제2 비트열의 선두측의 하나 또는 2개의 비트에 대해서 어드레스 데이터의 모두를 할당하는 경우에는, 제2 비트열에 있어서 어드레스 데이터가 할당되지 않는 1개 또는 2개의 비트에 대해서는 주데이터의 일부를 할당한다. 예를 들면, 도 218에 있어서의 Paket1에서는, 제2 비트열의 선두측의 하나의 비트(부호 w2의 제2 비트)에 대해서, 1비트의 어드레스 데이터 A1를 할당한다. 이 경우에는, 제2 비트열에 있어서 어드레스 데이터가 할당되지 않는 2개의 비트(부호 w3, w4의 각각의 제2 비트)에 대해서는, 주데이터 Da6,Da5를 할당한다.
이것에 의해, 제2 비트열을 어드레스 데이터와 주데이터의 일부로 공용할 수 있어 패킷 구성의 자유도를 늘릴 수 있다.
또, 실시의 형태 20의 변형예 1에 있어서의 데이터의 할당에서는, 제2 비트열에 어드레스 데이터의 모두를 할당할 수 없는 경우에는, 제3 비트열 중 어느 하나의 비트에, 어드레스 데이터 중 제2 비트열에 할당되는 부분을 제외한 나머지의 부분을 할당한다. 예를 들면, 도 218에 있어서의 Paket3에서는, 제2 비트열에 4비트의 어드레스 데이터 A1~A4의 모두를 할당할 수 없다. 이 경우에는, 제3 비트열 중 마지막 비트(부호 w4의 제3 비트)에, 어드레스 데이터 A1~A4 중 제2 비트열에 할당되는 부분 A1~A3를 제외한 나머지의 부분 A4를 할당한다.
이것에 의해, 어드레스 데이터를 부호 w1~w4에 적절하게 할당할 수 있다.
또, 실시의 형태 20의 변형예 1에 있어서의 데이터의 할당에서는, 적어도 1개의 패킷 중 종단의 패킷을 대상 패킷으로 하여 송신 대상의 신호로 변환하는 경우, 제2 비트열, 및, 제3 비트열에 포함되는 어느 하나의 비트에, 어드레스 데이터를 할당한다. 예를 들면, 도 217~도 226에 있어서의 종단의 패킷의 어드레스 데이터의 비트수는 4이다. 이 경우, 제2 비트열, 및, 제3 비트열 중 마지막 비트(부호 w4의 제3 비트)에, 4비트의 어드레스 데이터 A1~A4를 할당한다.
이것에 의해, 어드레스 데이터를 부호 w1~w4에 적절하게 할당할 수 있다.
또, 실시의 형태 20의 변형예 1에 있어서의, 적어도 1개의 패킷의 생성에서는, 원 데이터를 2개로 분할하는 것에 의해서, 2개의 분할 원 데이터를 생성하고, 상기 2개의 분할원 데이터의 각각의 오류 정정 코드(ECC)를 생성한다. 그리고, 2개의 분할 원 데이터와, 해당 2개의 분할원 데이터의 각각에 대해서 생성된 상기 오류 정정 코드(ECC)를 이용하여 2이상의 패킷을 생성한다. 2개의 분할원 데이터의 각각의 오류 정정 코드(ECC)의 생성에서는, 2개의 분할원 데이터 중 어느 하나의 분할원 데이터의 비트수가, 오류 정정 코드(ECC)의 생성에 필요해지는 비트수에 못 미친 경우에는, 분할원 데이터에 대해서 패딩을 행하고, 패딩된 분할원 데이터의 오류 정정 코드(ECC)를 생성한다. 예를 들면, 도 223에 나타내는 바와 같이, 분할원 데이터인 Datab에 대해서, 리드－솔로몬 부호에 의해서 패리티를 생성할 때에, 그 Datab가 15비트밖에 없고, 16비트에 못 미친 경우에는 그 Datab에 대해서 패딩을 행하고, 패딩된 분할원 데이터(16비트)에 대해서, 리드-솔로몬 부호에 의해서 패리티를 생성한다.
이것에 의해, 분할원 데이터의 비트수가, 오류 정정 코드(ECC)의 생성에 필요해지는 비트수에 못 미쳐도 적절한 오류 정정 코드(ECC)를 생성할 수 있다.
또, 실시의 형태 20의 변형예 1에 있어서의 데이터의 할당에서는, 부데이터가 0을 나타내는 경우, 제3 비트열에 포함되는 모든 비트에 대해서 0을 할당한다. 이것에 의해, 전술의 쇼트 모드를 실현할 수 있고, 가시광 통신의 통신 거리를 길게 할 수 있다.
(실시의 형태 21)
도 231은, 본 실시의 형태에 있어서의 고주파 가시광 신호를 수신하는 방법을 나타내는 도면이다.
수신기는, 고주파 가시광 신호를 수신할 때에는, 예를 들면, 도 231의 (a)에 나타내는 바와 같이, 가시광 신호의 상승 및 하강에 있어서 가이드 타임(가이드 인터벌)을 둔다. 그리고, 수신기는 그 가이드 타임에 있어서의 고주파 신호를 이용하지 않고, 그 가이드 타임의 직전에 수신된 고주파 신호를 카피하는 것에 의해서, 그 가이드 타임에 있어서의 고주파 신호를 보충한다. 또한, 가시광 신호에 중첩되는 고주파 신호는, OFDM(Orthogonal Frequency Division Multiplexing)에 의해서 변조되고 있어도 된다.
또, 수신기는, High의 휘도값을 나타내는 고주파 신호와 Low의 휘도값을 나타내는 고주파 신호를 고주파 가시광 신호로부터 분리하면, 그러한 고주파 신호의 게인을 자동 조정한다(Automatic Gain Control). 이것에 의해, 고주파 신호의 게인(휘도값)이 통일된다.
도 232A는, 본 실시의 형태에 있어서의 고주파 가시광 신호를 수신하는 다른 방법을 나타내는 도면이다.
고주파 가시광 신호를 수신하는 수신기는, 상기 각 실시의 형태와 동일하게 이미지 센서를 구비함과 함께, 또한, DMD(Digital Mirror Deｖice) 소자와 포토 센서를 구비한다. 포토 센서는, 포토 다이오드 또는 어밸런쉐 포토 다이오드이다.
수신기는, 고주파 가시광 신호를 송신하는 송신기(광원)를 이미지 센서에 의해서 촬영한다. 이것에 의해, 수신기는, 휘선의 줄무늬를 포함한 휘선 화상을 취득한다. 이 휘선의 줄무늬는, 고주파 가시광 신호에 있어서의 고주파 신호 이외의 신호, 즉 도 188에 나타내는 가시광 신호의 휘도 변화에 의해서 나타난다. 수신기는, 그 휘선 화상에 있어서의, 휘선의 줄무늬의 위치(x1, y1) 및 (x2, y2)을 특정한다. 그리고, 수신기는, DMD 소자에 있어서의, 그 위치(x1, y1) 및 (x2, y2)의 각각에 대응하는 마이크로 미러를 특정한다. 이러한 마이크로 미러가, 휘선의 줄무늬를 나타내는 고주파 가시광 신호의 광을 받는다. 따라서, 수신기는 DMD 소자에 포함되는 복수의 마이크로 미러 가운데, 특정된 마이크로 미러에 의한 반사광만 포토 센서에 수광되도록 각 마이크로 미러의 각도를 조정한다. 즉, 수신기는, 위치(x1, y1)에 대응하는 마이크로 미러에 의한 반사광만 포토 센서(1)에 수광되도록 그 마이크로 미러를 ON으로 한다. 또한, 수신기는, 위치(x2, y2)에 대응하는 마이크로 미러에 의한 반사광만 포토 센서(2)에 수광되도록 그 마이크로 미러를 ON으로 한다. 그리고, 수신기는, 그러한 특정된 마이크로 미러 이외의 각 마이크로 미러를 OFF로 한다. 이것에 의해 OFF로 된 마이크로 미러에 의한 반사광은, 광흡수체(흑체)에 흡수된다. 또, ON으로 된 마이크로 미러에 의해서, 고주파 가시광 신호가 적절하게 포토 센서에 의해서 수광된다. 또한, DMD 소자의 각 마이크로 미러는, ON과 OFF와의 전환에 의해서, 경사 각도(＋0° 또는 -0°)가 전환된다. 마이크로 미러가 ON일 때에는, 그 마이크로 미러는, 포토 센서를 향해서 반사광을 출력하고, 마이크로 미러가 OFF일 때에는 그 마이크로 미러는, 광흡수부를 향해서 반사광을 출력한다.
또, 수신기는, 도 232A에 나타내는 바와 같이, 하프 미러와 발광 소자를 구비하고 있어도 된다. 발광 소자 1은 광을 발하여 휘도 변화함으로써, 가시광 신호(또는 고주파 가시광 신호)를 송신한다. 이 발광 소자 1로부터 출력된 광은, 하프 미러에 의해서 반사되고, 또한, DMD 소자에 있어서, 위치(x1, y1)에 대응하는 ON의 마이크로 미러에 의해서도 반사된다. 그 결과, 발광 소자 1로부터의 가시광 신호는, 위치(x1, y1)에 있는 휘선의 줄무늬에 대응하는 송신기에 송신된다. 이것에 의해, 수신기와 위치 (x1, y1)에 있는 휘선의 줄무늬에 대응하는 송신기는 쌍방향 통신을 행할 수 있다. 동일하게 발광 소자 2로부터 출력된 광은, 하프 미러에 의해서 반사되고, 또한, DMD 소자에 있어서, 위치(x2, y2)에 대응하는 ON의 마이크로 미러에 의해서 반사된다. 그 결과, 발광 소자 2로부터의 가시광 신호는, 위치(x2, y2)에 있는 휘선의 줄무늬에 대응하는 송신기에 송신된다. 이것에 의해, 수신기와, 위치(x2, y2)에 있는 휘선의 줄무늬에 대응하는 송신기는 쌍방향 통신을 행할 수 있다.
이것에 의해, 이미지 센서에 의해서 촬영되는 송신기(광원)가 복수 있어도, 수신기는, 이러한 송신기와 동시에, 또한 고속으로 쌍방향 통신을 행할 수 있다. 예를 들면, 수신기가, 10 Gbps로 수신 가능한 포토 센서를 100개 구비하고, 그러한 수신기가 100개인 송신기와 통신하는 경우에는, 1 Tbps의 통신 속도를 실현할 수 있다.
도 232B는, 본 실시의 형태에 있어서의 고주파 가시광 신호를 수신하는, 또 다른 방법을 나타내는 도면이다.
수신기는, 예를 들면, 렌즈 L1 및 L2와 복수의 하프 미러와, DMD 소자와, 이미지 센서와, 광흡수부(흑체)와, 처리부와, DMD 제어부와, 포토 센서 1 및 2와, 발광 소자 1 및 2를 구비한다.
이러한 수신기는, 도 232A에 나타내는 예와 동일한 원리로, 2개의 차와 쌍방향 통신한다. 2개의 차는, 헤드라이트로부터 광을 출력하여 그 헤드라이트를 휘도 변화시키는 것에 의해서 고주파 가시광 신호를 송신한다. 또, 1개의 차는, 헤드라이트로부터 통상의 광(휘도 변화하지 않는 광)을 출력한다.
이미지 센서는, 렌즈 L1를 개재하여 그러한 고주파 가시광 신호와 통상의 광을 받는다. 이것에 의해, 도 232A에 나타내는 예와 동일하게, 그러한 고주파 가시광 신호에 의해서 생기는 휘선의 줄무늬를 포함한 휘선 화상이 얻어진다. 처리부는, 그 휘선 화상에 있어서의 그러한 줄무늬의 위치를 특정한다. DMD 제어부는, DMD 소자에 포함되는 복수의 마이크로 미러 중에서, 그러한 특정된 줄무늬의 위치에 대응하는 마이크로 미러를 특정하여 그러한 마이크로 미러를 ON으로 한다.
이것에 의해, 2개의 차의 각각으로부터 렌즈 L1 및 하프 미러를 투과한 고주파 가시광 신호는, DMD 소자의 마이크로 미러에 의해서 반사되어, 렌즈 L2로 향한다. 또, 1개의 차의 헤드라이트의 통상의 광은, 그 광에 의해서 휘선의 줄무늬가 생기지 않기 때문에, 렌즈 L1 및 하프 미러를 투과해도, DMD 소자의 OFF의 마이크로 미러에 의해서 반사된다. OFF의 마이크로 미러에 의해서 반사된 광은, 광흡수부(흑체)에 의해서 흡수된다.
렌즈 L2를 통과한 고주파 가시광 신호는, 하프 미러를 통과하여 포토 센서 1 또는 2에 의해서 수신된다. 이것에 의해, 각 차로부터의 고주파 가시광 신호를 수신할 수 있다. 또, 발광 소자 1 및 2가 하프 미러에 대해서 가시광 신호(또는 고주파 가시광 신호)를 출력하면, 그 가시광 신호는 하프 미러에 의해서 반사되어 렌즈 L2를 투과하고, 또한 DMD 소자에 있어서의 ON의 마이크로 미러에 의해서 반사된다. 그 결과, 발광 소자 1 및 2로부터의 가시광 신호는, 하프 미러 및 렌즈 L1 을 개재하여 고주파 가시광 신호를 송신한 차에 대해서 송신된다. 즉, 수신기는, 고주파 가시광 신호를 송신하는 복수의 차와의 사이에서, 쌍방향 통신을 행할 수 있다.
이와 같이, 본 실시의 형태에 있어서의 수신기는, 이미지 센서에 의해 휘선 화상을 취득하고, 그 휘선 화상에 있어서의 휘선의 줄무늬의 위치를 특정한다. 그리고, 수신기는 DMD 소자에 포함되는 복수의 마이크로 미러 가운데, 그 줄무늬의 위치에 대응하는 마이크로 미러를 특정한다. 그리고, 수신기는, 그 마이크로 미러를 ON으로 하는 것에 의해서, 고주파 가시광 신호를 포토 센서로 수신한다. 또, 수신기는, 발광 소자로부터 가시광 신호를 출력하고, 그 ON으로 된 마이크로 미러에 반사시키는 것에 의해서, 그 가시광 신호를 송신기에 송신할 수 있다.
또한, 도 232A 및 도 232B에 나타내는 예에서는, 광학 기기로서 하프 미러 및 렌즈 등을 이용했지만, 이들과 동일한 기능을 가지는 것이면, 어떠한 광학 기기를 이용해도 된다. 또, DMD 소자, 하프 미러, 및 렌즈 등의 배치는 일례이며, 어떻게 배치되어도 된다. 또, 도 232A 및 도 232B에 나타내는 예에서는, 수신기는 포토 센서와 발광 소자와의 조를 2조 구비하지만, 1조만 구비해도 되고, 3조 이상 구비해도 된다. 또, 1개의 발광 소자가, 복수의 ON의 마이크로 렌즈에 대해서 가시광 신호를 송신해도 된다. 이것에 의해, 수신기는, 복수의 송신기에 대해서 동일한 가시광 신호를 동시에 송신할 수 있다. 또, 수신기는, 도 232A 및 도 232B에 나타내는 각 구성 요소를 모두 구비하지 않고, 그러한 구성 요소의 일부만을 구비하고 있어도 된다.
도 233은, 본 실시의 형태에 있어서의 고주파 신호를 출력하는 방법을 나타내는 도면이다.
도 188에 나타내는 가시광 신호에 중첩되는 고주파 신호를 출력하는 신호 출력 장치는, 예를 들면, 블루 레이저와 형광체를 구비한다. 즉, 도 114A에 나타내는 예와 동일하게, 그 신호 출력 장치는, 블루 레이저로부터 고주파수의 청색 레이저광을 형광체에 조사시킨다. 이것에 의해, 신호 출력 장치는, 고주파수의 자연광을 고주파 신호로서 출력한다.
(실시의 형태 22)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 가시광 통신을 이용한 자율 비행 장치(무선 조정 무인기라고도 함)에 대해 설명한다.
도 234는, 본 실시의 형태에 있어서의 자율 비행 장치를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 자율 비행 장치(1921)는, 감시 카메라(1922)의 내부에 수납되어 있다. 예를 들면, 감시 카메라(1922)에 의해서, 수상한 사람의 화상이 파악되면, 감시 카메라(1922)의 문이 열리고, 내부에 수납되어 있는 자율 비행 장치(1921)는 그 감시 카메라(1922)로부터 날아올라 그 수상한 사람의 추적을 개시한다. 자율 비행 장치(1921)는, 소형 카메라를 구비하고, 감시 카메라(1922)에 의해서 파악된 수상한 사람의 화상이, 그 소형 카메라에 의해도 파악되도록 추적을 행한다. 또, 자율 비행 장치(1921)는 비행 등을 행하기 위한 전력이 부족한 것을 검지하면, 감시 카메라(1922)로 돌아와 감시 카메라(1922)의 내부에 수납된다. 이 때에, 감시 카메라(1922)에 다른 자율 비행 장치(1921)가 수납되어 있으면, 이 외의 자율 비행 장치(1921)가 전력 부족의 자율 비행 장치(1921)에 대신하여 수상한 사람의 추적을 개시한다. 또, 전력 부족의 자율 비행 장치(1921)는, 감시 카메라(1922)에 구비되어 있는 무선 급전 장치(1921a)에 의해서 급전된다. 또한, 무선 급전 장치(1921a)에 의한 급전은, 예를 들면 규격 Qi에 따라서 행해진다.
자율 비행 장치(1921)의 소형 카메라 및 감시 카메라(1922)는, 상기 각 실시의 형태에 있어서의 가시광 신호를 수신할 수 있고, 이 수신된 가시광 신호에 따른 동작을 행할 수 있다. 또, 자율 비행 장치(1921) 및 감시 카메라(1922)의 적어도 한쪽에, 가시광 신호의 송신기를 구비하면, 자율 비행 장치(1921)와 감시 카메라(1922)와의 사이에서 가시광 통신을 행할 수 있다. 그 결과, 수상한 사람의 추적을 보다 효율적으로 행할 수 있다.
(실시의 형태 23)
본 실시의 형태에서는, 광 ID를 이용한 AR(Augmented Reality)를 실현하는 표시 방법 등에 대해서 설명한다.
도 235는, 본 실시의 형태에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도면이다.
본 실시의 형태에 있어서의 수신기(200)는, 상기 실시의 형태 1~22 중 어느 하나의 실시의 형태에 있어서의, 이미지 센서 및 디스플레이(201)를 구비한 수신기로서, 예를 들면 스마트 폰으로서 구성되어 있다. 이러한 수신기(200)는, 그 이미지 센서에 의한 피사체의 촬상에 의해서, 전술의 통상 촬영 화상인 촬상 표시 화상(Pa)과, 전술의 가시광 통신 화상 또는 휘선 화상인 복호용 화상을 취득한다.
구체적으로는, 수신기(200)의 이미지 센서는, 역명표로서 구성되어 있는 송신기(100)를 촬상한다. 송신기(100)는, 상기 실시의 형태 1~22 중 어느 하나의 실시의 형태에 있어서의 송신기로서, 1개 또는 복수의 발광 소자(예를 들면 LED)를 구비한다. 이 송신기(100)는 그 1개 또는 복수의 발광 소자를 점멸시키는 것에 의해서 휘도 변화하고, 그 휘도 변화에 의해서 광 ID(광식별 정보)를 송신한다. 이 광 ID는, 전술의 가시광 신호이다.
수신기(200)는 송신기(100)를 통상 노광 시간으로 촬상하는 것에 의해서, 그 송신기(100)가 비추어진 촬상 표시 화상(Pa)을 취득함과 함께, 그 통상 노광 시간보다도 짧은 통신용 노광 시간에 송신기(100)를 촬상하는 것에 의해서, 복호용 화상을 취득한다. 또한, 통상 노광 시간은, 전술의 통상 촬영 모드에 있어서의 노광 시간이며, 통신용 노광 시간은, 전술의 가시광 통신 모드에 있어서의 노광 시간이다.
수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는 그 광 ID에 대응하는 AR 화상 P1과 인식 정보를 서버로부터 취득한다. 수신기(200)는 촬상 표시 화상(Pa) 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는 송신기(100)인 역명표가 비추어지고 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는 그 대상 영역에 AR 화상 P1을 중첩하고, AR 화상 P1이 중첩된 촬상 표시 화상(Pa)을 디스플레이(201)에 표시한다. 예를 들면, 송신기(100)인 역명표에, 역명으로서 일본어로 「쿄토역」이 기재되어 있는 경우, 수신기(200)는 영어로 역명이 기재된 AR 화상 P1, 즉 「Kyoto Station」이라고 기재되어 있는 AR 화상 P1을 취득한다. 이 경우, 촬상 표시 화상(Pa)의 대상 영역에 그 AR 화상 P1이 중첩되기 때문에, 영어로 역명이 기재되어 있는 역명표가 현실에 존재하도록 촬상 표시 화상(Pa)을 표시할 수 있다. 그 결과, 영어를 이해할 수 있는 사용자는, 일본어를 읽을 수 없어도, 그 촬상 표시 화상(Pa)을 보면 그 송신기(100)인 역명표에 기재되어 있는 역명을 용이하게 이해할 수 있다.
예를 들면, 인식 정보는, 인식 대상의 화상(예를 들면 전술의 역명표의 화상)이어도 되고, 그 화상의 특징점 및 특징량이어도 된다. 특징점 및 특징량은, 예를 들면, SIFT(Scale－invariant feature transform), SURF(Speed－Upped Robust Feature), ORB(Oriented－BRIEF), AKAZE(Accelerated KAZE) 등의 화상 처리에 의해서 얻어진다. 또는, 인식 정보는, 인식 대상의 화상에 유사한 흰 사각형의 화상이어도 되고, 또한, 그 사각형의 종횡비(어스펙트비)를 나타내도 된다. 또는, 식별 정보는 인식 대상의 화상에 나타나는 랜덤 도트라도 된다. 또한, 인식 정보는, 전술의 흰 사각형 또는 랜덤 도트 등의, 소정의 방향을 기준으로 하는 방향을 나타내도 된다. 소정의 방향은, 예를 들면 중력 방향이다.
수신기(200)는, 촬상 표시 화상(Pa) 중에서, 이러한 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 구체적으로는, 인식 정보가 화상이면, 수신기(200)는 그 인식 정보인 화상에 유사한 영역을 대상 영역으로서 인식한다. 또, 인식 정보가, 화상 처리에 의해서 얻어진 특징점 및 특징량이면, 수신기(200)는 그 화상 처리를 촬상 표시 화상(Pa)에 대해서 행하는 것에 의해서, 특징점 검출 및 특징량 추출을 행한다. 그리고, 수신기(200)는 촬상 표시 화상(Pa)에 있어서, 인식 정보인 특징점 및 특징량에 유사한, 특징점 및 특징량을 가지는 영역을 대상 영역으로서 인식한다. 또, 인식 정보가, 흰 사각형과 그 방향을 나타내고 있으면, 수신기(200)는 우선, 스스로 구비된 가속도 센서에 의해서 중력 방향을 검출한다. 그리고, 수신기(200)는 중력 방향을 기준으로 하여 배치된 촬상 표시 화상(Pa)로부터, 인식 정보에 의해 나타나는 방향을 향해진 흰 사각형에 유사한 영역을 대상 영역으로서 인식한다.
여기서, 인식 정보는, 촬상 표시 화상(Pa) 중 기준 영역을 특정하기 위한 기준 정보와 ,그 기준 영역에 대한 대상 영역의 상대 위치를 나타내는 대상 정보를 포함하고 있어도 된다. 기준 정보는, 전술과 같은, 인식 대상의 화상, 특징점 및 특징량, 흰 사각형의 화상, 또는 랜덤 도트 등이다. 이 경우, 수신기(200)는 대상 영역을 인식할 때에는, 우선, 기준 정보에 근거하여 촬상 표시 화상(Pa)으로부터 기준 영역을 특정한다. 그리고, 수신기(200)는 촬상 표시 화상(Pa) 중, 기준 영역의 위치를 기준으로 하여 대상 정보에 의해 나타나는 상대 위치에 있는 영역을, 대상 영역으로서 인식한다. 또한, 대상 정보는, 대상 영역이 기준 영역과 동일한 위치에 있는 것을 나타내고 있어도 된다. 이와 같이, 인식 정보가 기준 정보와 대상 정보를 포함하는 것에 의해서, 폭넓은 범위에서 대상 영역을 인식할 수 있다. 또, AR 화상이 중첩되는 장소를 서버가 자유롭게 설정하여 수신기(200)에게 가르칠 수 있다.
또, 기준 정보는, 촬상 표시 화상(Pa)에 있어서의 기준 영역이, 촬상 표시 화상 중 디스플레이가 비추어지고 있는 영역인 것을 나타내고 있어도 된다. 이 경우, 송신기(100)가 예를 들면 텔레비전 등의 디스플레이로서 구성되어 있으면, 그 디스플레이가 비추어지고 있는 영역을 기준으로 하여 대상 영역을 인식할 수 있다.
바꾸어 말하면, 본 실시의 형태에 있어서의 수신기(200)는, 광 ID에 근거하여, 기준 화상과 화상 인식 방법을 특정한다. 화상 인식 방법은, 촬상 표시 화상(Pa)을 인식하는 방법이라도, 예를 들면, 기하학적 특징량 추출, 스펙트럼 특징량 추출, 또는 텍스쳐 특징량 추출 등이다. 기준 화상은, 기준이 되는 특징량으로서 나타내는 데이터이다. 그 특징량은, 예를 들면, 화상의 백색의 외부 테두리의 특징량이며, 구체적으로는, 화상의 특징을 벡터로 표현한 데이터라도 된다. 수신기(200)는, 촬상 표시 화상(Pa)으로부터, 화상 인식 방법에 따라서 특징량을 추출하고, 그 특징량과 기준 화상의 특징량을 비교하는 것에 의해서, 촬상 표시 화상(Pa)으로부터 전술의 기준 영역 또는 대상 영역을 찾아낸다.
또, 화상 인식 방법에는, 예를 들면, 로케이션 이용 방법, 마커 이용 방법, 및 마커리스 방법이 있어도 된다. 로케이션 이용 방법은, GPS의 위치 정보(즉 수신기(200)의 위치)를 활용한 방법으로서, 그 위치 정보에 근거해 촬상 표시 화상(Pa)으로부터 대상 영역이 인식된다. 마커 이용 방법은, 이차원 바코드와 같은 흰색 및 흑색의 도형으로 구성된 마커를 타겟 특정용의 마크로서 이용하는 방법이다. 즉, 이 마커 이용 방법에서는, 촬상 표시 화상(Pa)에 비추어지고 있는 마커에 근거해 대상 영역이 인식된다. 마커리스 방법에서는, 촬상 표시 화상(Pa)에 대한 화상 분석에 의해, 그 촬상 표시 화상(Pa)으로부터 특징점 또는 특징량을 추출하고, 그 추출된 특징점 또는 특징량에 근거하여 타겟의 위치 및 영역을 특정하는 방법이다. 즉, 화상 인식 방법이 마커리스 방법인 경우, 그 화상 인식 방법은, 전술의 기하학적 특징량 추출, 스펙트럼 특징량 추출, 또는 텍스쳐 특징량 추출 등이다.
이러한 수신기(200)는, 송신기(100)로부터 광 ID를 수신하고, 그 광 ID(이하, 수신광 ID라고 함)에 대응시켜진 기준 화상 및 화상 인식 방법을 서버로부터 취득하는 것에 의해서, 그 기준 화상 및 화상 인식 방법을 특정해도 된다. 즉, 서버에는, 기준 화상 및 화상 인식 방법을 포함한 세트가 복수 보존되고, 복수의 세트의 각각은 서로 상이한 광 ID에 대응시켜져 있다. 이것에 의해, 서버에 보존되고 있는 복수 세트 중에서, 수신광 ID에 대응시켜진 1개의 세트를 특정할 수 있다. 따라서, AR 화상의 중첩을 위한 화상 처리의 속도를 향상시킬 수 있다. 또, 수신기(200)는, 서버에 문의하는 것에 의해서, 수신광 ID에 대응시켜진 기준 화상 등을 취득해도 되고, 스스로가 미리 보관 유지하고 있는 복수의 기준 화상 중에서, 그 수신광 ID에 대응시켜진 기준 화상을 취득해도 된다.
또, 서버는, 광 ID 마다, 그 광 ID에 대응시켜진 상대 위치 정보를, 기준 화상, 화상 인식 방법 및 AR 화상과 함께 보관 유지하고 있어도 된다. 상대 위치 정보는, 예를 들면, 전술의 기준 영역과 대상 영역과의 상대적인 위치 관계를 나타내는 정보이다. 이것에 의해, 수신기(200)는 수신광 ID를 서버에 송신해 문의했을 때에는, 그 수신광 ID에 대응시켜진 기준 화상, 화상 인식 방법, AR 화상 및 상대 위치 정보를 취득한다. 이 경우, 수신기(200)는 기준 화상 및 화상 인식 방법에 근거하여 촬상 표시 화상(Pa)으로부터 전술의 기준 영역을 특정한다. 그리고, 수신기(200)는 그 기준 영역의 위치로부터, 전술의 상대 위치 정보에 의해서 나타나는 방향 및 거리에 있는 영역을, 전술의 대상 영역으로서 인식하고, 그 대상 영역에 AR 화상을 중첩한다. 또, 수신기(200)는 상대 위치 정보가 없으면, 전술의 기준 영역을 대상 영역으로서 인식하고, 그 기준 영역에 AR 화상을 중첩해도 된다. 즉, 수신기(200)는, 상대 위치 정보의 취득에 대신하여, 기준 화상에 근거해 AR 화상을 표시하는 프로그램을 미리 보관 유지하고, 예를 들면, 기준 영역인 흰색 테두리 내에 AR 화상을 표시해도 된다. 이 경우에는, 상대 위치 정보는 불필요하다.
기준 화상, 상대 위치 정보, AR 화상, 및 화상 인식 방법의 보관 유지 또는 취득에는, 이하의 4개의 바리에이션 (1)~(4)가 있다.
(1) 서버는, 기준 화상, 상대 위치 정보, AR 화상, 및 화상 인식 방법으로 이루어지는 세트를 복수 보관 유지하고 있다. 수신기(200)는, 그러한 세트 중에서, 수신광 ID에 대응시켜진 1개의 세트를 취득한다.
(2) 서버는, 기준 화상 및 AR 화상으로 이루어지는 세트를 복수 보관 유지하고 있다. 수신기(200)는, 미리 정해진 상대 위치 정보 및 화상 인식 방법을 이용하고 또한, 그러한 세트 중에서, 수신광 ID에 대응시켜진 1개의 세트를 취득한다. 또는, 수신기(200)는 상대 위치 정보 및 화상 인식 방법으로 이루어지는 복수 세트를 미리 보관 유지하고, 그 복수 세트 중에서, 수신광 ID에 대응시켜진 1개의 세트를 선택해도 된다. 이 경우, 수신기(200)는 수신광 ID를 서버에 송신해 문의하고 그 수신광 ID에 대응하는 상대 위치 정보 및 화상 인식 방법을 특정하기 위한 정보를 서버로부터 취득해도 된다. 그리고, 수신기(200)는, 미리 보관 유지하고 있는, 각각 상대 위치 정보 및 화상 인식 방법으로 이루어지는 복수의 세트 중에서, 그 서버로부터 취득된 정보에 근거해 1개의 세트를 선택한다. 혹은, 수신기(200)는 서버에 문의하지 않고, 미리 보관 유지하고 있는, 각각 상대 위치 정보 및 화상 인식 방법으로 이루어지는 복수의 세트 중에서 수신광 ID 에 대응시켜진 1개의 세트를 선택해도 된다.
(3) 수신기(200)는, 기준 화상, 상대 위치 정보, AR 화상, 및 화상 인식 방법으로 이루어지는 세트를 복수 보관 유지하고, 그러한 세트 중에서 1개의 세트를 선택한다. 수신기(200)는, 상기 (2)와 동일하게, 서버에 문의하는 것에 의해서 1개의 세트를 선택해도 되고, 수신기 광 ID에 대응시켜진 1개의 세트를 선택해도 된다.
(4) 수신기(200)는 기준 화상 및 AR 화상으로 이루어지는 세트를 복수 보관 유지하고, 수신광 ID에 대응시켜진 1개의 세트를 선택한다. 수신기(200)는 미리 정해진 화상 인식 방법 및 상대 위치 정보를 이용한다.
도 236은, 본 실시의 형태에 있어서의 표시 시스템의 일례를 나타내는 도면이다.
본 실시의 형태에 있어서의 표시 시스템은, 예를 들면, 전술의 역명표인 송신기(100)와 수신기(200)와 서버(300)를 구비한다.
수신기(200)는, 전술과 같이 AR 화상이 중첩된 촬상 표시 화상을 표시하기 위해서, 우선, 송신기(100)로부터 광 ID를 수신한다. 다음에, 수신기(200)는, 그 광 ID를 서버(300)에 송신한다.
서버(300)는 광 ID 마다, 그 광 ID에 대응시켜진 AR 화상 및 인식 정보를 보관 유지하고 있다. 따라서, 서버(300)는 수신기(200)로부터 광 ID를 수신하면, 그 수신된 광 ID에 대응시켜진 AR 화상 및 인식 정보를 선택하고, 그 선택된 AR 화상 및 인식 정보를 수신기(200)에 송신한다. 이것에 의해, 수신기(200)는 서버(300)로부터 송신된 AR 화상 및 인식 정보를 수신하고, AR 화상이 중첩된 촬상 표시 화상을 표시한다.
도 237은, 본 실시의 형태에 있어서의 표시 시스템의 다른 예를 나타내는 도면이다.
본 실시의 형태에 있어서의 표시 시스템은, 예를 들면, 전술의 역명표인 송신기(100)와 수신기(200)와 제1 서버(301)와 제2 서버(302)를 구비한다.
수신기(200)는, 전술과 같이 AR 화상이 중첩된 촬상 표시 화상을 표시하기 위해서, 우선, 송신기(100)로부터 광 ID를 수신한다. 다음에, 수신기(200)는 그 광 ID를 제1 서버(301)에 송신한다.
제1 서버(301)는 수신기(200)로부터 광 ID를 수신하면, 그 수신된 광 ID에 대응시켜진 URL(Uniform Resource Locator)과 Key를 수신기(200)에 통지한다. 이러한 통지를 받은 수신기(200)는, 그 URL에 근거하여 제2 서버(302)에 액세스하고, Key를 제2 서버(302)에 주고 받는다.
제2 서버(302)는, Key 마다, 그 Key에 대응시켜진 AR 화상 및 인식 정보를 보관 유지하고 있다. 따라서, 제2 서버(302)는, 수신기(200)로부터 Key를 수취하면, 그 Key에 대응시켜진 AR 화상 및 인식 정보를 선택하고, 그 선택된 AR 화상 및 인식 정보를 수신기(200)에 송신한다. 이것에 의해, 수신기(200)는 제2 서버(302)로부터 송신된 AR 화상 및 인식 정보를 수신하고, AR 화상이 중첩된 촬상 표시 화상을 표시한다.
도 238은, 본 실시의 형태에 있어서의 표시 시스템의 다른 예를 나타내는 도면이다.
본 실시의 형태에 있어서의 표시 시스템은, 예를 들면, 전술의 역명표인 송신기(100)와 수신기(200)와 제1 서버(301)와 제2 서버(302)를 구비한다.
수신기(200)는, 전술과 같이 AR 화상이 중첩된 촬상 표시 화상을 표시하기 위해서, 우선, 송신기(100)로부터 광 ID를 수신한다. 다음에, 수신기(200)는 그 광 ID를 제1 서버(301)에 송신한다.
제1 서버(301)는 수신기(200)로부터 광 ID를 수신하면, 그 수신된 광 ID에 대응시켜진 Key를 제2 서버(302)에 통지한다.
제2 서버(302)는, Key 마다, 그 Key에 대응시켜진 AR 화상 및 인식 정보를 보관 유지하고 있다. 따라서, 제2 서버(302)는, 제1 서버(301)로부터 Key를 받으면, 그 Key에 대응시켜진 AR 화상 및 인식 정보를 선택하고, 그 선택된 AR 화상 및 인식 정보를 제1 서버(301)에 송신한다. 제1 서버(301)는, 제2 서버(302)로부터 AR 화상 및 인식 정보를 수신하면, 그 AR 화상 및 인식 정보를 수신기(200)에 송신한다. 이것에 의해, 수신기(200)는, 제1 서버(301)로부터 송신된 AR 화상 및 인식 정보를 수신하고, AR 화상이 중첩된 촬상 표시 화상을 표시한다.
또한, 전술의 예에서는, 제2 서버(302)는, AR 화상 및 인식 정보를 제1 서버(301)에 송신했지만, 제1 서버(301)에 송신하지 않고 수신기(200)에 송신해도 된다.
도 239는, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 일례를 나타내는 플로우 차트이다.
우선, 수신기(200)는, 전술의 통상 노광 시간 및 통신용 노광 시간에 의한 촬상을 개시한다(단계 S101). 그리고, 수신기(200)는 통신용 노광 시간에서의 촬상에 의해 얻어지는 복호용 화상에 대한 복호에 의해서, 광 ID를 취득한다(단계 S102). 다음에, 수신기(200)는 그 광 ID를 서버에 송신한다(단계 S103).
수신기(200)는, 송신된 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다(단계 S104). 다음에, 수신기(200)는 통상 노광 시간의 촬상에 의해 얻어지는 촬상 표시 화상 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다(단계 S105). 그리고, 수신기(200)는 그 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상을 표시한다(단계 S106).
다음에, 수신기(200)는, 촬상과 촬상 표시 화상의 표시를 종료해야 할 것인지 아닌지를 판정한다(단계 S107). 여기서, 수신기(200)는 종료해서는 안된다고 판정하면(단계 S107의 N), 다시, 수신기(200)의 가속도가 임계값 이상인지 아닌지를 판정한다(단계 S108). 이 가속도는, 수신기(200)에 구비되어 있는 가속도 센서에 의해서 계측된다. 수신기(200)는 가속도가 임계값 미만이라고 판정하면(단계 S108의 N), 단계 S105로부터의 처리를 실행한다. 이것에 의해, 수신기(200)의 디스플레이(201)에 표시되어 있는 촬상 표시 화상이 어긋나는 경우라도, 그 촬상 표시 화상의 대상 영역에 AR 화상을 추종시킬 수 있다. 또, 수신기(200)는 가속도가 임계값 이상이라고 판정하면(단계 S108의 Y), 단계 S102로부터의 처리를 실행한다. 이것에 의해, 촬상 표시 화상에 송신기(100)가 비치지 않게 된 경우에, 송신기(100)와 상이한 피사체가 비추어져 있는 영역을 잘못해서 대상 영역으로서 인식해 버리는 것을 억제할 수 있다.
이와 같이 본 실시의 형태에서는, AR 화상이 촬상 표시 화상에 중첩되어 표시되기 때문에, 사용자에게 유익한 화상을 표시할 수 있다. 또한, 처리 부하를 억제하여 적절한 대상 영역에 AR 화상을 중첩할 수 있다.
즉, 일반적인 확장 현실(즉 AR)에서는, 미리 보존되고 있는 방대한 수의 인식 대상 화상과, 촬상 표시 화상을 비교하는 것에 의해서, 그 촬상 표시 화상에 어느 하나의 인식 대상 화상이 포함되어 있는지 아닌지가 판정된다. 그리고, 인식 대상 화상이 포함되어 있다고 판정되면, 그 인식 대상 화상에 대응하는 AR 화상이 촬상 표시 화상에 중첩된다. 이 때, 인식 대상 화상을 기준으로 AR 화상의 위치 맞춤이 행해진다. 이와 같이, 일반적인 확장 현실에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교하기 때문에, 또한, 위치 맞춤에 있어서도 촬상 표시 화상에 있어서의 인식 대상 화상의 위치 검출이 필요해지기 때문에, 계산량이 많아 처리 부하가 높다는 문제가 있다.
그러나, 본 실시의 형태에서의 표시 방법에서는, 피사체의 촬상에 의해서 얻어지는 복호용 화상을 복호하는 것에 의해서 광 ID가 취득된다. 즉, 피사체인 송신기로부터 송신된 광 ID가 수신된다. 또한, 이 광 ID에 대응하는 AR 화상과 인식 정보가 서버로부터 취득된다. 따라서, 서버에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교할 필요가 없고, 광 ID에 미리 대응시켜져 있는 AR 화상을 선택하여 표시 장치에 송신할 수 있다. 이것에 의해, 계산량을 줄여 처리 부하를 대폭으로 억제할 수 있다. 또한, AR 화상의 표시 처리를 고속으로 할 수 있다.
또, 본 실시의 형태에서는, 이 광 ID에 대응하는 인식 정보가 서버로부터 취득된다. 인식 정보는, 촬상 표시 화상에 있어서 AR 화상이 중첩되는 영역인 대상 영역을 인식하기 위한 정보이다. 이 인식 정보는, 예를 들면 흰 사각형이 대상 영역인 것을 나타내는 정보라도 된다. 이 경우에는, 대상 영역을 간단하게 인식할 수 있어 처리 부하를 더욱 억제할 수 있다. 즉, 인식 정보의 내용에 따라, 처리 부하를 한층 더 억제할 수 있다. 또, 서버에서는, 광 ID에 따라 그 인식 정보의 내용을 임의로 설정할 수 있기 때문에, 처리 부하와 인식 정밀도와의 밸런스를 적절하게 유지할 수 있다.
또한, 본 실시의 형태에서는, 수신기(200)가 광 ID를 서버에 송신한 후에, 수신기(200)가 그 광 ID에 대응하는 AR 화상 및 인식 정보를 서버로부터 취득하지만, AR 화상 및 인식 정보 중 적어도 한쪽을 미리 취득해 두어도 된다. 즉, 수신기(200)는 수신될 가능성이 있는 복수의 광 ID에 대응하는 복수의 AR 화상 및 복수의 인식 정보를 정리하여 서버로부터 취득해 보존해 둔다. 그 후, 수신기(200)는 광 ID를 수신하면, 스스로에 보존되어 있는 복수의 AR 화상 및 복수의 인식 정보로부터, 그 광 ID에 대응하는 AR 화상 및 인식 정보를 선택한다. 이것에 의해, AR 화상의 표시 처리를 한층 더 고속으로 할 수 있다.
도 240은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 240에 나타내는 바와 같이, 조명 장치로서 구성되고, 시설의 안내판(101)을 비추면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다. 안내판(101)은, 그 송신기(100)로부터의 광에 의해서 비추어지고 있기 때문에, 송신기(100)와 동일하게 휘도 변화하여, 광 ID를 송신하고 있다.
수신기(200)는, 송신기(100)에 의해서 비추어진 안내판(101)을 촬상하는 것에 의해서, 전술과 동일하게 촬상 표시 화상(Pb)과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는 안내판(101)으로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는 그 광 ID에 대응하는 AR 화상 P2과 인식 정보를 서버로부터 취득한다. 수신기(200)는 촬상 표시 화상(Pb) 가운데, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 안내판(101)에 있어서의 테두리(102)가 비추어지고 있는 영역을 대상 영역으로서 인식한다. 이 테두리(102)는, 시설의 대기 시간을 나타내기 위한 테두리이다. 그리고, 수신기(200)는 그 대상 영역에 AR 화상 P2을 중첩하고, AR 화상 P2이 중첩된 촬상 표시 화상(Pb)을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P2은, 문자열 「30분 」을 포함한 화상이다. 이 경우, 촬상 표시 화상(Pb)의 대상 영역에 그 AR 화상 P2이 중첩되기 때문에, 수신기(200)는 대기 시간 「30분 」이 기재된 안내판(101)이 현실에 존재하도록, 촬상 표시 화상(Pb)을 표시할 수 있다. 이것에 의해, 안내판(101)에 특별한 표시 장치를 구비하지 않고, 수신기(200)의 사용자에게 대기 시간을 간단하게, 또한, 알기 쉽게 알릴 수 있다.
도 241은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 241에 나타내는 바와 같이, 2개의 조명 장치로 이루어진다. 송신기(100)는, 시설의 안내판(104)을 비추면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다. 안내판(104)은 그 송신기(100)로부터의 광에 의해서 비추어지고 있기 때문에, 송신기(100)와 동일하게 휘도 변화하여, 광 ID 를 송신하고 있다. 또, 안내판(104)은 예를 들면 「ABC 랜드」 및 「어드벤쳐 랜드」등의 복수의 시설의 명칭을 나타낸다.
수신기(200)는 송신기(100)에 의해서 비추어진 안내판(104)을 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상(Pc)과 복호용 화상을 취득한다. 수신기(200)는 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는 안내판(104)으로부터 광 ID를 수신한다. 수신기(200)는 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는 그 광 ID에 대응하는 AR 화상 P3과 인식 정보를 서버로부터 취득한다. 수신기(200)는 촬상 표시 화상(Pc) 가운데, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 안내판(104)이 비추어지고 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는 그 대상 영역에 AR 화상 P3을 중첩하고, AR 화상 P3이 중첩된 촬상 표시 화상(Pc)을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P3은, 복수의 시설의 명칭을 나타내는 화상이다. 이 AR 화상 P3에서는, 시설의 대기 시간이 길수록, 그 시설의 명칭이 작게 표시되고, 반대로, 시설의 대기 시간이 짧을수록 그 시설의 명칭이 크게 표시되고 있다. 이 경우, 촬상 표시 화상(Pc)의 대상 영역에 그 AR 화상 P3이 중첩되기 때문에, 수신기(200)는 대기 시간에 따른 크기의 각 시설 명칭이 기재된 안내판(104)이 현실에 존재하도록 촬상 표시 화상(Pc)을 표시할 수 있다. 이것에 의해, 안내판(104)에 특별한 표시 장치를 구비하지 않고, 수신기(200)의 사용자에게 각 시설의 대기 시간을 간단하게, 또한, 알기 쉽게 알릴 수 있다.
도 242는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 242에 나타내는 바와 같이, 2개의 조명 장치로 이루어진다. 송신기(100)는, 성벽(105)를 비추면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다. 성벽(105)은 그 송신기(100)로부터의 광에 의해서 비추어지고 있기 때문에, 송신기(100)와 동일하게 휘도 변화하고 광 ID를 송신하고 있다. 또, 성벽(105)에는, 예를 들면, 캐릭터의 얼굴을 모방한 작은 마크가 숨겨진 캐릭터(106)로서 새겨져 있다.
수신기(200)는, 송신기(100)에 의해서 비추어진 성벽(105)을 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상(Pd)과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 성벽(105)으로부터 광 ID를 수신한다. 수신기(200)는 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P4과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상(Pd) 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는 성벽(105) 중 숨겨진 캐릭터(106)를 포함한 범위가 비추어지고 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P4을 중첩하고, AR 화상 P4가 중첩된 촬상 표시 화상(Pd)을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P4은 캐릭터의 얼굴을 모방한 화상이다. 이 AR 화상 P4은, 촬상 표시 화상(Pd)에 비추어지고 있는 숨겨진 캐릭터(106)보다 충분히 큰 화상이다. 이 경우, 촬상 표시 화상(Pd)의 대상 영역에 그 AR 화상 P4이 중첩되기 때문에, 수신기(200)는 캐릭터의 얼굴을 모방한 큰 마크가 새겨진 성벽(105)이 현실에 존재하도록, 촬상 표시 화상(Pd)을 표시할 수 있다. 이것에 의해, 수신기(200)의 사용자에게, 숨겨진 캐릭터(106)의 위치를 알기 쉽게 알릴 수 있다.
도 243은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 243에 나타내는 바와 같이, 2개의 조명 장치로 이루어진다. 송신기(100)는 시설의 안내판(107)을 비추면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다. 안내판(107)은, 그 송신기(100)로부터의 광에 의해서 비추어지고 있기 때문에, 송신기(100)와 동일하게 휘도 변화하고 광 ID를 송신하고 있다. 또, 안내판(107)의 구석의 복수 개소에는, 적외선 차단 도료(108)가 도포되어 있다.
수신기(200)는, 송신기(100)에 의해서 비추어진 안내판(107)을 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상(Pe)와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는 안내판(107)으로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는 그 광 ID에 대응하는 AR 화상 P5과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pe 가운데, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 안내판(107)이 비추어지고 있는 영역을 대상 영역으로서 인식한다.
구체적으로는, 인식 정보에는, 복수 개소의 적외선 차단 도료(108)에 외접하는 직사각형이 대상 영역인 것이 나타나고 있다. 또, 적외선 차단 도료(108)는 송신기(100)로부터 조사되는 광에 포함되는 적외선을 차단한다. 따라서, 수신기(200)의 이미지 센서에는 적외선 차단 도료(108)가 그 주변보다도 어두운 상으로서 인식된다. 수신기(200)는, 각각 어두운 상으로서 표시되는 복수 개소의 적외선 차단 도료(108)에 외접하는 직사각형을 대상 영역으로서 인식한다.
그리고, 수신기(200)는 그 대상 영역에 AR 화상 P5을 중첩하고, AR 화상 P5이 중첩된 촬상 표시 화상 Pe을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P5은 안내판(107)의 시설에 있어서 행해지는 모임의 스케줄을 나타낸다. 이 경우, 촬상 표시 화상 Pe의 대상 영역에 그 AR 화상 P5이 중첩되기 때문에, 수신기(200)는 모임의 스케줄이 기재된 안내판(107)이 현실에 존재하도록, 촬상 표시 화상 Pe을 표시할 수 있다. 이것에 의해, 안내판(107)에 특별한 표시 장치를 구비하지 않고, 수신기(200)의 사용자에게 시설의 행사의 스케줄을 알기 쉽게 알릴 수 있다.
또한, 안내판(107)에는, 적외선 차단 도료(108) 대신에, 적외선 반사 도료가 도포되어 있어도 된다. 적외선 반사 도료는, 송신기(100)로부터 조사되는 광에 포함되는 적외선을 반사한다. 따라서, 수신기(200)의 이미지 센서에는, 적외선 반사 도료가 그 주변보다 밝은 상으로서 인식된다. 즉, 이 경우에는, 수신기(200)는, 각각 밝은 상으로서 표시되는 복수 개소의 적외선 반사 도료에 외접하는 직사각형을 대상 영역으로서 인식한다.
도 244는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는 역명표로서 구성되고 역 출구 안내판(110)의 근처에 배치되어 있다. 역 출구 안내판(110)은, 광원을 구비하여 발광하고 있지만, 송신기(100)와는 상이하여 광 ID를 송신하지 않는다.
수신기(200)가 송신기(100) 및 역 출구 안내판(110)을 촬상하는 것에 의해서 촬상 표시 화상 Ppre 및 복호용 화상 Pdec을 취득한다. 송신기(100)는 휘도 변화하고, 역 출구 안내판(110)은 발광하고 있기 때문에, 그 복호용 화상 Pdec에는, 송신기(100)에 대응하는 휘선 패턴 영역 Pdec1과, 역 출구 안내판(110)에 대응하는 명영역 Pdec2이 나타난다. 휘선 패턴 영역 Pdec1은, 수신기(200)의 이미지 센서가 가지는 복수의 노광 라인의 통신용 노광 시간에서의 노광에 의해서 나타나는 복수의 휘선의 패턴으로 이루어지는 영역이다.
여기서, 식별 정보는, 전술과 같이, 촬상 표시 화상 Ppre 중 기준 영역 Pbas을 특정하기 위한 기준 정보와, 그 기준 영역 Pbas에 대한 대상 영역 Ptar의 상대 위치를 나타내는 대상 정보를 포함하고 있다. 예를 들면, 그 기준 정보는, 촬상 표시 화상 Ppre에 있어서의 기준 영역 Pbas의 위치가, 복호용 화상 Pdec에 있어서의 휘선 패턴 영역 Pdec1의 위치와 동일한 것을 나타낸다. 또한, 대상 정보는, 대상 영역의 위치가 기준 영역의 위치인 것을 나타낸다.
따라서, 수신기(200)는 기준 정보에 근거해 촬상 표시 화상 Ppre으로부터 기준 영역 Pbas을 특정한다. 즉, 수신기(200)는, 촬상 표시 화상 Ppre에 있어서, 복호용 화상 Pdec에 있어서의 휘선 패턴 영역 Pdec1의 위치와 동일한 위치에 있는 영역을, 기준 영역 Pbas으로서 특정한다. 또한, 수신기(200)는 촬상 표시 화상 Ppre 가운데, 기준 영역 Pbas의 위치를 기준으로 하여 대상 정보에 의해 나타나는 상대 위치에 있는 영역을, 대상 영역 Ptar으로서 인식한다. 전술의 예에서는, 대상 정보는, 대상 영역 Ptar의 위치가 기준 영역 Pbas의 위치인 것을 나타내기 때문에, 수신기(200)는, 촬상 표시 화상 Ppre 중 기준 영역 Pbas을 대상 영역 Ptar로서 인식한다.
그리고, 수신기(200)는, 촬상 표시 화상 Ppre에 있어서의 대상 영역 Ptar에 AR 화상 P1을 중첩한다.
이와 같이, 전술의 예에서는, 대상 영역 Ptar을 인식하기 위해서, 휘선 패턴 영역 Pdec1을 이용하고 있다. 한편, 휘선 패턴 영역 Pdec1을 이용하지 않고, 촬상 표시 화상 Ppre만으로부터, 송신기(100)가 비추어지고 있는 영역을, 대상 영역 Ptar으로서 인식하려고 하는 경우에는, 오인식이 생길 가능성이 있다. 즉, 촬상 표시 화상 Ppre 중, 송신기(100)가 비추어지고 있는 영역이 아니고, 역 출구 안내판(110)이 비추어지고 있는 영역을, 대상 영역 Ptar으로서 오인식해 버릴 가능성이 있다. 이것은, 촬상 표시 화상 Ppre에 있어서의, 송신기(100)의 화상과 역 출구 안내판(110)의 화상이 비슷하기 때문이다. 그러나, 전술의 예와 같이, 휘선 패턴 영역 Pdec1을 이용하는 경우에는, 오인식의 발생을 억제하고, 정확하게 대상 영역 Ptar을 인식할 수 있다.
도 245는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 244에 나타내는 예에서는, 송신기(100)는 역명표의 전체를 휘도 변화시키는 것에 의해서 광 ID를 송신하고, 대상 정보는, 대상 영역의 위치가 기준 영역의 위치인 것을 나타내고 있다. 그러나, 본 실시의 형태에서는, 송신기(100)는 역명표의 전체를 휘도 변화시키지 않고, 역명표의 외부 테두리의 일부에 배치된 발광 소자를 휘도 변화시키는 것에 의해서 광 ID를 송신해도 된다. 또, 대상 정보는, 기준 영역 Pbas에 대한 대상 영역 Ptar의 상대 위치를 나타내고 있으면 되고, 예를 들면, 대상 영역 Ptar의 위치가 기준 영역 Pbas의 위(구체적으로는, 연직 방향 상향)인 것을 나타내고 있어도 된다.
도 245에 나타내는 예에서는, 송신기(100)는, 역명표의 외부 테두리 하부에 수평 방향을 따라서 배치된 복수의 발광 소자를 휘도 변화시키는 것에 의해서 광 ID를 송신한다. 또, 대상 정보는, 대상 영역 Ptar의 위치가 기준 영역 Pbas의 위인 것을 나타낸다.
이러한 경우, 수신기(200)는 기준 정보에 근거해 촬상 표시 화상 Ppre으로부터 기준 영역 Pbas을 특정한다. 즉, 수신기(200)는, 촬상 표시 화상 Ppre에 있어서, 복호용 화상 Pdec에 있어서의 휘선 패턴 영역 Pdec1의 위치와 동일한 위치에 있는 영역을, 기준 영역 Pbas으로서 특정한다. 구체적으로는, 수신기(200)는, 수평 방향으로 길고 수직 방향으로 짧은 직사각형상의 기준 영역 Pbas을 특정한다. 또한, 수신기(200)는 촬상 표시 화상 Ppre 가운데, 기준 영역 Pbas의 위치를 기준으로 하여 대상 정보에 의해 표시되는 상대 위치에 있는 영역을, 대상 영역 Ptar으로서 인식한다. 즉, 수신기(200)는 촬상 표시 화상 Ppre 중 기준 영역 Pbas보다 위에 있는 영역을 대상 영역 Ptar으로서 인식한다. 또한, 이 때에는, 수신기(200)는 스스로에 구비되어 있는 가속도 센서에 의해서 계측되는 중력 방향에 근거하여, 기준 영역 Pbas보다도 위의 방향을 특정한다.
또한, 대상 정보는, 대상 영역 Ptar의 상대 위치뿐만이 아니라, 대상 영역 Ptar의 사이즈, 형상 및 어스펙트비를 나타내도 된다. 이 경우, 수신기(200)는 대상 정보에 의해서 표시되 사이즈, 형상 및 어스펙트비의 대상 영역 Ptar을 인식한다. 또, 수신기(200)는 기준 영역 Pbas의 사이즈에 근거하여, 대상 영역 Ptar의 사이즈를 결정해도 된다.
도 246은, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
수신기(200)는, 도 239에 나타내는 예와 동일하게, 단계 S101~S104의 처리를 실행한다.
다음에, 수신기(200)는, 복호용 화상 Pdec으로부터 휘선 패턴 영역 Pdec1을 특정한다(단계 S111). 다음에, 수신기(200)는 촬상 표시 화상 Ppre으로부터, 그 휘선 패턴 영역 Pdec1에 대응하는 기준 영역 Pbas을 특정한다(단계 S112). 그리고, 수신기(200)는 인식 정보 (구체적으로는 대상 정보)와 그 기준 영역 Pbas에 근거하여, 촬상 표시 화상 Ppre으로부터 대상 영역 Ptar을 인식한다(단계 S113).
다음에, 수신기(200)는, 도 239에 나타내는 예와 동일하게, 촬상 표시 화상 Ppre의 대상 영역 Ptar에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상 Ppre을 표시한다(단계 S106). 그리고, 수신기(200)는 촬상과 촬상 표시 화상 Ppre의 표시를 종료해야 할 것인지 아닌지를 판정한다(단계 S107). 여기서, 수신기(200)는 종료해서는 안된다고 판정하면(단계 S107의 N), 또한, 수신기(200)의 가속도가 임계값 이상인지 아닌지를 판정한다(단계 S114). 이 가속도는, 수신기(200)에 구비되어 있는 가속도 센서에 의해서 계측된다. 수신기(200)는, 가속도가 임계값 미만이라고 판정하면(단계 S114의 N), 단계 S113으로부터의 처리를 실행한다. 이것에 의해, 수신기(200)의 디스플레이(201)에 표시되어 있는 촬상 표시 화상 Ppre이 어긋나는 경우라도, 그 촬상 표시 화상 Ppre의 대상 영역 Ptar에 AR 화상을 추종시킬 수 있다. 또, 수신기(200)는, 가속도가 임계값 이상이라고 판정하면(단계 S114의 Y), 단계 S111 또는 단계 S102로부터의 처리를 실행한다. 이것에 의해, 송신기(100)와 상이한 피사체(예를 들면, 역 출구 안내판(110))가 비추어지고 있는 영역을 잘못하여 대상 영역 Ptar으로서 인식해 버리는 것을 억제할 수 있다.
도 247은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
수신기(200)는, 표시되고 있는 촬상 표시 화상 Ppre에 있어서의 AR 화상 P1이 탭되면, 그 AR 화상 P1을 확대하여 표시한다. 또는, 수신기(200)는, 탭 되면, AR 화상 P1에 나타나고 있는 내용보다도 상세한 내용을 나타내는 새로운 AR 화상을, 그 AR 화상 P1 대신에 표시해도 된다. 또, AR 화상 P1이 복수 페이지로 이루어지는 정보지의 1 페이지 분의 정보를 나타내는 경우에는, 수신기(200)는, AR 화상 P1의 페이지의 다음의 페이지의 정보를 나타내는 새로운 AR 화상을, 그 AR 화상 P1 대신에 표시해도 된다. 또는, 수신기(200)는, 탭되면, 그 AR 화상 P1에 관련된 동영상을 새로운 AR 화상으로서 그 AR 화상 P1 대신에 표시해도 된다. 이 때, 수신기(200)는 대상 영역 Ptar으로부터 오브젝트(도 247의 예에서는 단풍)가 나가는 듯한 동영상을 AR 화상으로서 표시해도 된다.
도 248은, 본 실시의 형태에 있어서의 수신기(200)의 촬상에 의해서 취득되는 촬상 표시 화상 Ppre 및 복호용 화상 Pdec을 나타내는 도면이다.
수신기(200)는, 촬상하고 있을 때에는, 예를 들면 도 248의 (a1)에 나타내는 바와 같이, 30 fps의 프레임 레이트로 촬상 표시 화상 Ppre 및 복호용 화상 Pdec 등의 촬상 화상을 취득한다. 구체적으로는, 수신기(200)는 시각 t1에 촬상 표시 화상 Ppre 「A」를 취득하고, 시각 t2에 복호용 화상 Pdec를 취득하며, 시각 t3에 촬상 표시 화상 Ppre 「B」를 취득하도록 촬상 표시 화상 Ppre와 복호용 화상 Pdec를 교대로 취득한다.
또, 수신기(200)는, 촬상 화상을 표시하고 있을 때는, 촬상 화상 중 촬상 표시 화상 Ppre만을 표시하고, 복호용 화상 Pdec을 표시하지 않는다. 즉, 수신기(200)는 도 248의 (a2)에 나타내는 바와 같이, 복호용 화상 Pdec을 취득할 때에는, 그 복호용 화상 Pdec 대신에, 직전에 취득된 촬상 표시 화상 Ppre을 표시한다. 구체적으로는, 수신기(200)는 시각 t1에는, 취득된 촬상 표시 화상 Ppre 「A」를 표시하고, 시각 t2 에는 시각 t1에서 취득된 촬상 표시 화상 Ppre 「A」를 재차 표시한다. 이것에 의해, 수신기(200)는 15 fps의 프레임 레이트로 촬상 표시 화상 Ppre를 표시한다.
여기서, 도 248의 (a1)에 나타내는 예에서는, 수신기(200)는, 촬상 표시 화상 Ppre과 복호용 화상 Pdec을 교대로 취득하지만, 본 실시의 형태에 있어서의 이러한 화상의 취득 형태는, 이러한 형태에 한정되지 않는다. 즉, 수신기(200)는 N(N은 1이상의 정수)장의 복호용 화상 Pdec을 연속하여 취득하고, 그 후, M(M은 1이상의 정수)장의 촬상 표시 화상 Ppre을 연속하여 취득하는 것을 반복해도 된다.
또, 수신기(200)는, 취득되는 촬상 화상을, 촬상 표시 화상 Ppre과 복호용 화상 Pdec으로 전환할 필요가 있고, 이 전환에 시간이 걸려 버리는 일이 있다. 따라서, 도 248의 (b1)에 나타내는 바와 같이, 수신기(200)는 촬상 표시 화상 Ppre의 취득과, 복호용 화상 Pdec의 취득 사이의 전환 시에 있어서, 전환 기간을 두어도 좋다. 구체적으로는, 수신기(200)는 시각 t3에 복호용 화상 Pdec을 취득하면, 시각 t3~t5까지의 전환 기간에 있어서, 촬상 화상을 전환하기 위한 처리를 실행하고, 시각 t5에 촬상 표시 화상 Ppre 「A」를 취득한다. 그 후, 수신기(200)는 시각 t5~t7까지의 전환 기간에 있어서, 촬상 화상을 전환하기 위한 처리를 실행하고, 시각 t7에 복호용 화상 Pdec을 취득한다.
이와 같이 전환 기간이 설치된 경우, 수신기(200)는, 도 248의 (b2)에 나타내는 바와 같이, 전환 기간에서는, 직전에 취득된 촬상 표시 화상 Ppre을 표시한다. 따라서, 이 경우에는, 수신기(200)에 있어서의 촬상 표시 화상 Ppre의 표시의 프레임 레이트는 낮고, 예를 들면 3 fps가 된다. 이와 같이 프레임 레이트가 낮은 경우에는, 사용자가 수신기(200)를 움직여도, 표시되고 있는 촬상 표시 화상 Ppre이 그 수신기(200)의 움직임에 따라 이동하지 않는 일이 있다. 즉, 촬상 표시 화상 Ppre은 라이브 뷰로서 표시되지 않는다. 따라서, 수신기(200)는, 촬상 표시 화상 Ppre을 수신기(200)의 움직임에 따라 이동시켜도 된다.
도 249는, 본 실시의 형태에 있어서의 수신기(200)에 표시되는 촬상 표시 화상 Ppre의 일례를 나타내는 도면이다.
수신기(200)는, 예를 들면 도 249의 (a)에 나타내는 바와 같이, 촬상에 의해서 얻어진 촬상 표시 화상 Ppre을 디스플레이(201)에 표시한다. 여기서, 사용자가 수신기(200)를 좌측으로 움직이게 한다. 이 때, 수신기(200)에 의한 촬상에 의해서 새로운 촬상 표시 화상 Ppre이 취득되지 않는 경우, 수신기(200)는, 도 249의 (b)에 나타내는 바와 같이, 표시되고 있는 촬상 표시 화상 Ppre을 우측으로 이동시킨다. 즉, 수신기(200)는, 가속도 센서를 구비하고, 그 가속도 센서에 의해서 계측되는 가속도에 따라, 수신기(200)의 움직임에 정합하도록 표시되고 있는 촬상 표시 화상 Ppre을 이동시킨다. 이것에 의해, 수신기(200)는 촬상 표시 화상 Ppre을 의사적으로 라이브 뷰로서 표시할 수 있다.
도 250은, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
수신기(200)는 우선, 전술과 동일하게, 촬상 표시 화상 Ppre의 대상 영역 Ptar에 AR 화상을 중첩하고, 그 대상 영역 Ptar에 추종시킨다(단계 S122). 즉, 촬상 표시 화상 Ppre에 있어서의 대상 영역 Ptar과 함께 이동하는 AR 화상이 표시된다. 그리고, 수신기(200)는 AR 화상의 표시를 유지하는지 아닌지를 판정한다(단계 S122). 여기서, AR 화상의 표시를 유지하지 않는다고 판정하면(단계 S122의 N), 수신기(200)는 촬상에 의해서 새로운 광 ID를 취득하면, 그 광 ID에 대응하는 새로운 AR 화상을 촬상 표시 화상 Ppre에 중첩하여 표시한다(단계 S123 ).
한편, AR 화상의 표시를 유지한다고 판정하면(단계 S122의 Y), 수신기(200)는, 단계 S121로부터의 처리를 반복하여 실행시킨다. 이 때에는, 수신기(200)는 다른 AR 화상을 취득하고 있어도 다른 AR 화상을 표시하지 않는다. 또는, 수신기(200)는 새로운 복호용 화상 Pdec을 취득하고 있어도, 그 복호용 화상 Pdec에 대한 복호에 의해서 광 ID를 취득하는 것은 행하지 않는다. 이 때에는, 복호에 걸리는 소비 전력을 억제할 수 있다.
이와 같이, AR 화상의 표시를 유지하는 것에 의해서, 표시되고 있는 그 AR 화상이 소거되거나, 다른 AR 화상의 표시에 의해서 보기 어려워져 버리는 것을 억제할 수 있다. 즉, 표시되고 있는 AR 화상을 사용자가 보기 쉽게 할 수 있다.
예를 들면, 단계 S122에서는, 수신기(200)는 AR 화상이 표시되고 나서 미리 정해진 기간(일정 기간)이 경과할 때까지는, AR 화상의 표시를 유지한다고 판정한다. 즉, 수신기(200)는 촬상 표시 화상 Ppre를 표시할 때에는, 단계 S121에서 중첩되고 있는 AR 화상인 제1 AR 화상과 상이한 제2 AR 화상의 표시를 억제하면서, 미리 정해진 표시 기간만큼, 그 제1 AR 화상을 표시한다. 수신기(200)는 이 표시 기간에는, 새롭게 취득되는 복호용 화상 Pdec에 대한 복호를 금지해도 된다.
이것에 의해, 사용자가 한 번 표시된 제1 AR 화상을 보고 있을 때, 그 제1 AR 화상이 그것과는 상이한 제2 AR 화상에 곧바로 치환해버리는 것을 억제할 수 있다. 또한, 새롭게 취득되는 복호용 화상 Pdec의 복호는, 제2 AR 화상의 표시가 억제되고 있을 때에는 쓸데없는 처리이기 때문에, 그 복호를 금지하는 것에 의해서 소비 전력을 억제할 수 있다.
또는, 단계 S122에서는, 수신기(200)는 페이스 카메라를 구비하고, 그 페이스 카메라에 의한 촬상 결과에 근거하여, 사용자의 얼굴이 가까워지고 있는 것을 검출하면, AR 화상의 표시를 유지한다고 판정해도 된다. 즉, 수신기(200)는 촬상 표시 화상 Ppre을 표시할 때에는, 또한, 수신기(200)에 구비된 페이스 카메라에 의한 촬상에 의해서, 수신기(200)에 사용자의 얼굴이 가까워지고 있는지 아닌지를 판정한다. 그리고, 수신기(200)는 얼굴이 가까워지고 있다고 판정하면, 단계 S121에서 중첩되고 있는 AR 화상인 제1 AR 화상과 상이한 제2 AR 화상의 표시를 억제하면서, 그 제1 AR 화상을 표시한다.
또는, 단계 S122에서는, 수신기(200)는, 가속도 센서를 구비하고, 그 가속도 센서에 의한 계측 결과에 근거하여, 사용자의 얼굴이 가까워지고 있는 것을 검출하면, AR 화상의 표시를 유지한다고 판정해도 된다. 즉, 수신기(200)는 촬상 표시 화상 Ppre을 표시할 때에는, 또한, 가속도 센서에 의해서 계측되는 수신기(200)의 가속도에 의해서, 수신기(200)에 사용자의 얼굴이 가까워지고 있는지 아닌지를 판정한다. 예를 들면, 가속도 센서에 의해서 계측되는 수신기(200)의 가속도가, 수신기(200)의 디스플레이(201)에 대해서 수직 외부를 향한 방향으로 플러스의 값을 나타내는 경우에, 수신기(200)는 사용자의 얼굴이 가까워지고 있다고 판정한다. 그리고, 수신기(200)는 얼굴이 가까워지고 있다고 판정하면, 단계 S121에서 중첩되고 있는 AR 화상인 제1 확장 현실 화상과 상이한 제2 AR 화상의 표시를 억제하면서, 그 제1 AR 화상을 표시한다.
이것에 의해, 사용자가 제1 AR 화상을 보려고 하여 수신기(200)에 얼굴을 접근하고 있을 때에, 그 제1 AR 화상이 그것과는 상이한 제2 AR 화상으로 치환해버리는 것을 억제할 수 있다.
또는, 단계 S122에서는, 수신기(200)는 그 수신기(200)에 구비되어 있는 락 버튼이 눌러지면, AR 화상의 표시를 유지한다고 판정해도 된다.
또, 단계 S122에서는, 수신기(200)는 전술의 일정 기간(즉 표시 기간)이 경과하면, AR 화상의 표시를 유지하지 않는다고 판정한다. 또한, 수신기(200)는, 전술의 일정 기간이 경과하고 있지 않은 경우라도, 가속도 센서에 의해서 임계값 이상의 가속도가 계측되었을 때에는, AR 화상의 표시를 유지하지 않는다고 판정한다. 즉, 수신기(200)는 촬상 표시 화상 Ppre을 표시할 때에는, 또한, 전술의 표시 기간에 있어서, 수신기(200)의 가속도를 가속도 센서에 의해서 계측하고, 계측된 가속도가 임계값 이상인지 아닌지를 판정한다. 그리고, 수신기(200)는, 임계값 이상으로 판정했을 때에는, 제2 AR 화상의 표시의 억제를 해제하는 것에 의해서, 단계 S123에 있어서, 제1 AR 화상 대신에 제2 AR 화상을 표시한다.
이것에 의해, 임계값 이상의 표시 장치의 가속도가 계측되었을 때에, 제2 AR 화상의 표시의 억제가 해제된다. 따라서, 예를 들면, 사용자가 다른 피사체에 이미지 센서를 향하려고 수신기(200)를 크게 움직였을 때에는, 제2 AR 화상을 곧바로 표시할 수 있다.
도 251은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 251에 나타내는 바와 같이, 조명 장치로서 구성되고, 작은 인형용의 스테이지(111)을 비추면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다.스테이지(111)는, 그 송신기(100)로부터의 광에 의해서 비추어지고 있기 때문에, 송신기(100)와 동일하게 휘도 변화하여 광 ID를 송신하고 있다.
2개의 수신기(200)는 송신기(100)에 의해서 비추어진 스테이지(111)를 좌우로부터 촬상한다.
2개의 수신기(200) 중 좌측의 수신기(200)는, 송신기(100)에 의해서 비추어진 스테이지(111)를 좌측으로부터 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상 Pf과 복호용 화상을 취득한다. 좌측의 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 좌측의 수신기(200)는, 스테이지(111)로부터 광 ID를 수신한다. 좌측의 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 좌측의 수신기(200)는, 그 광 ID에 대응하는 삼차원의 AR 화상과 인식 정보를 서버로부터 취득한다. 이 삼차원의 AR 화상은, 예를 들면 인형을 입체적으로 표시하기 위한 화상이다. 좌측의 수신기(200)는, 촬상 표시 화상 Pf 중 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 좌측의 수신기(200)는, 스테이지(111) 중의 상측의 영역을 대상 영역으로서 인식한다.
다음에, 좌측의 수신기(200)는, 촬상 표시 화상 Pf에 비추어지고 있는 스테이지(111)의 방향에 근거하여, 그 방향에 따른 이차원의 AR 화상 P6a을 삼차원의 AR 화상으로부터 생성한다. 그리고, 좌측의 수신기(200)는, 그 대상 영역에 이차원의 AR 화상 P6a을 중첩하고, AR 화상 P6a이 중첩된 촬상 표시 화상 Pf을 디스플레이(201)에 표시한다. 이 경우, 촬상 표시 화상 Pf의 대상 영역에 그 이차원의 AR 화상 P6a이 중첩되기 때문에, 좌측의 수신기(200)는 스테이지(111) 상에 인형이 현실에 존재하도록 촬상 표시 화상 Pf를 표시할 수 있다.
동일하게, 2개의 수신기(200) 중 우측의 수신기(200)는 송신기(100)에 의해서 비추어진 스테이지(111)를 우측으로부터 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상 Pg와 복호용 화상을 취득한다. 우측의 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 우측의 수신기(200)는, 스테이지(111)로부터 광 ID를 수신한다. 우측의 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 우측의 수신기(200)는 그 광 ID에 대응하는 삼차원의 AR 화상과 인식 정보를 서버로부터 취득한다. 우측의 수신기(200)는, 촬상 표시 화상 Pg 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 우측의 수신기(200)는 스테이지(111) 중앙의 상측의 영역을 대상 영역으로서 인식한다.
다음에, 우측의 수신기(200)는, 촬상 표시 화상 Pg에 비추어지고 있는 스테이지(111)의 방향에 근거하여, 그 방향에 따른 이차원의 AR 화상 P6b을 삼차원의 AR 화상으로부터 생성한다. 그리고, 우측의 수신기(200)는, 그 대상 영역에 이차원의 AR 화상 P6b을 중첩하고, AR 화상 P6b이 중첩된 촬상 표시 화상 Pg을 디스플레이(201)에 표시한다. 이 경우, 촬상 표시 화상 Pg의 대상 영역에 그 이차원의 AR 화상 P6b이 중첩되기 때문에, 우측의 수신기 200는 스테이지(111) 상에 인형이 현실에 존재하듯이 촬상 표시 화상 Pg을 표시할 수 있다.
이와 같이, 2개의 수신기(200)는, 스테이지(111) 상의 동일한 위치에, AR 화상 P6a 및 P6b로 표시한다. 또, 이러한 AR 화상 P6a 및 P6b는, 가상적인 인형이 실제로 소정의 방향을 향하고 있듯이, 수신기(200)의 방향에 따라서 생성되고 있다. 따라서, 스테이지(111)의 어느 방향에서 촬상해도, 스테이지(111) 상에 인형이 현실로 존재하듯이 촬상 표시 화상을 표시할 수 있다.
또한, 전술의 예에서는, 수신기(200)는, 삼차원의 AR 화상으로부터, 수신기(200)와 스테이지(111) 사이의 위치 관계에 따른 이차원의 AR 화상을 생성했지만, 그 이차원의 AR 화상을 서버로부터 취득해도 된다. 즉, 수신기(200)는, 광 ID와 함께, 그 위치 관계를 나타내는 정보를 서버에 송신하고, 삼차원의 AR 화상 대신에, 그 이차원의 AR 화상을 서버로부터 취득한다. 이것에 의해, 수신기(200)의 부담을 경감할 수 있다.
도 252는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 252에 나타내는 바와 같이, 조명 장치로서 구성되고, 원 기둥형상의 구조물(112)을 비추면서 휘도 변화하는 것에 의해서, 광 ID 를 송신하고 있다. 구조물(112)은 그 송신기(100)로부터의 광에 의해서 비추어지고 있기 때문에, 송신기(100)와 동일하게 휘도 변화하고 광 ID를 송신하고 있다.
수신기(200)는, 송신기(100)에 의해서 비추어진 구조물(112)을 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상 Ph과 복호용 화상을 취득한다. 수신기(200)는 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는 구조물(112)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P7과 인식 정보를 서버로부터 취득한다. 수신기(200)는 촬상 표시 화상 Ph 가운데, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 구조물(112)의 중앙부가 비추어지고 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P7을 중첩하고, AR 화상 P7이 중첩된 촬상 표시 화상 Ph을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P7은 문자열 「ABCD」를 포함하는 화상으로서, 그 문자열은 구조물(112)의 중앙부의 곡면에 맞추어 왜곡되어 있다. 이 경우, 촬상 표시 화상 Ph의 대상 영역에 그 왜곡된 문자열을 포함한 AR 화상 P2이 중첩되기 때문에, 수신기(200)는, 구조물(112)에 대해서 그려진 문자열이 현실에 존재하듯이 촬상 표시 화상 Ph을 표시할 수 있다.
도 253은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 253에 나타내는 바와 같이, 음식점의 메뉴(113)를 비추면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다. 메뉴(113)는, 그 송신기(100)로부터의 광에 의해서 비추어지고 있기 때문에, 송신기(100)와 동일하게 휘도 변화하고 광 ID를 송신하고 있다. 또, 메뉴(113)는, 예를 들면 「ABC 스프」, 「XYZ 샐러드」 및 「KLM 런치」등의 복수의 요리의 명칭을 나타낸다.
수신기(200)는, 송신기(100)에 의해서 비추어진 메뉴(113)를 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상 Pi와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 메뉴(113)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P8과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pi 가운데, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 메뉴(113)가 비추어지고 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P8을 중첩하고, AR 화상 P8이 중첩된 촬상 표시 화상 Pi를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P8은, 복수의 요리의 각각에 사용되고 있는 식재를 마크로 나타내는 화상이다. 예를 들면, AR 화상 P8은, 계란이 사용되고 있는 요리 「XYZ 샐러드」에 대해서는, 계란을 모방한 마크를 나타내고, 돼지고기가 사용되고 있는 요리 「KLM 런치」에 대해서는, 돼지를 모방한 마크를 나타낸다. 이 경우, 촬상 표시 화상 Pi의 대상 영역에 그 AR 화상 P8이 중첩되기 때문에, 수신기(200)는, 식재의 마크가 첨부된 메뉴(113)가 현실에 존재하듯이, 촬상 표시 화상 Pi을 표시할 수 있다. 이것에 의해, 메뉴(113)에 특별한 표시 장치를 구비하지 않고, 수신기(200)의 사용자에게 각 요리의 식재를 간단하게, 또한, 알기 쉽게 알릴 수 있다.
또, 수신기(200)는, 복수의 AR 화상을 취득하고, 사용자에 의해서 설정된 사용자 정보에 근거하여 그러한 복수의 AR 화상으로부터 사용자에게 적합한 AR 화상을 선택하고, 그 AR 화상을 중첩해도 된다. 예를 들면, 사용자가 계란에 알레르기 반응을 나타내는 것이 사용자 정보로 나타나 있으면, 수신기(200)는, 계란이 사용된 요리에 대해서 계란의 마크가 첨부된 AR 화상을 선택한다. 또, 돼지고기의 섭취가 금지되어 있는 것이 사용자 정보에 나타나 있으면, 수신기(200)는 돼지고기가 사용된 요리에 대해서 돼지의 마크가 부여된 AR 화상을 선택한다. 또는, 수신기(200)는, 광 ID와 함께, 그 사용자 정보를 서버에 송신하고, 그 광 ID와 사용자 정보에 따른 AR 화상을 서버로부터 취득해도 된다. 이것에 의해, 사용자마다, 그 사용자에 대해서 환기를 재촉하는 메뉴를 표시할 수 있다.
도 254는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 254에 나타내는 바와 같이, 텔레비전으로서 구성되어 디스플레이에 영상을 표시하면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다. 또, 송신기(100)의 근방에는, 통상의 텔레비전(114)이 배치되어 있다. 텔레비전(114)은, 디스플레이에 영상을 표시하고 있지만, 광 ID를 송신하고 있지 않다.
수신기(200)는, 예를 들면 송신기(100)와 함께 텔레비전(114)을 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상 Pj과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는 그 광 ID에 대응하는 AR 화상 P9과 인식 정보를 서버로부터 취득한다. 수신기(200)는 촬상 표시 화상 Pj 가운데, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다.
예를 들면, 수신기(200)는, 복호용 화상의 휘선 패턴 영역을 이용하는 것에 의해서, 촬상 표시 화상 Pj에 있어서, 광 ID를 송신하고 있는 송신기(100)가 비추어지고 있는 영역의 하부를 제1 대상 영역으로서 인식한다. 또한, 이 때, 인식 정보에 포함되는 기준 정보는, 촬상 표시 화상 Pj에 있어서의 기준 영역의 위치가, 복호용 화상에 있어서의 휘선 패턴 영역의 위치와 동일한 것을 나타낸다. 또한, 인식 정보에 포함되는 대상 정보는, 그 기준 영역의 하부에 대상 영역이 있는 것을 나타낸다. 수신기(200)는 이러한 인식 정보를 이용하여 전술의 제1 대상 영역을 인식하고 있다.
또한, 수신기(200)는, 촬상 표시 화상 Pj의 하부에 있어서 미리 위치가 고정되어 있는 영역을 제2 대상 영역으로서 인식한다. 제2 대상 영역은, 제1 대상 영역보다도 크다. 또한, 인식 정보에 포함되는 대상 정보는, 또한, 제1 대상 영역의 위치 뿐만이 아니라, 전술과 같은 제2 대상 영역의 위치 및 사이즈도 나타내고 있다. 수신기(200)는, 이러한 인식 정보를 이용하여 전술의 제2 대상 영역을 인식하고 있다.
그리고, 수신기(200)는, 그 제1 대상 영역 및 제2 대상 영역에 AR 화상 P9을 중첩하고, AR 화상 P8이 중첩된 촬상 표시 화상 Pj을 디스플레이(201)에 표시한다. 이 AR 화상 P9의 중첩에서는, 수신기(200)는 그 AR 화상 P9의 사이즈를 제1 대상 영역의 사이즈에 맞추어 사이즈 조정된 AR 화상 P9을 그 제1 대상 영역에 중첩한다. 또한, 수신기(200)는 AR 화상 P9의 사이즈를 제2 대상 영역의 사이즈에 맞추고, 사이즈 조정된 AR 화상 P9을 그 제2 대상 영역에 중첩한다.
예를 들면, AR 화상 P9은, 송신기(100)의 영상에 대한 자막을 나타낸다. 또한, AR 화상 P9의 자막의 언어는, 수신기(200)에 설정 등록되어 있는 사용자 정보에 따른 언어이다. 즉, 수신기(200)는, 광 ID를 서버에 송신할 때에, 그 사용자 정보(예를 들면, 사용자의 국적 또는 사용 언어 등을 나타내는 정보)도 서버에 송신한다. 그리고, 수신기(200)는 그 사용자 정보에 따른 언어의 자막을 나타내는 AR 화상 P9을 취득한다. 또는, 수신기(200)는, 각각 상이한 언어의 자막을 나타내는 복수의 AR 화상 P9을 취득하고, 설정 등록되어 있는 사용자 정보에 따라, 그러한 복수의 AR 화상 P9으로부터, 중첩에 사용되는 AR 화상 P9을 선택해도 된다.
바꾸어 말하면, 도 254에 나타내는 예에서는, 수신기(200)는, 각각 화상을 표시하고 있는 복수의 디스플레이를 피사체로서 촬상하는 것에 의해서, 촬상 표시 화상 Pj 및 복호용 화상을 취득한다. 그리고, 수신기(200)는, 대상 영역을 인식할 때에는, 촬상 표시 화상 Pj 가운데, 복수의 디스플레이 중의 광 ID를 송신하고 있는 디스플레이인 송신 디스플레이(즉 송신기(100))가 나타나 있는 영역을 대상 영역으로서 인식한다. 다음에, 수신기(200)는, 송신 디스플레이에 표시되고 있는 화상에 대응하는 제1 자막을 AR 화상으로서 그 대상 영역에 중첩한다. 또한, 수신기(200)는, 촬상 표시 화상 Pj 중 대상 영역보다도 큰 영역에, 제1 자막이 확대된 자막인 제2 자막을 중첩한다.
이것에 의해, 수신기(200)는, 송신기(100)의 영상에 자막이 현실에 존재하듯이 촬상 표시 화상 Pj를 표시할 수 있다. 또한, 수신기(200)는 촬상 표시 화상 Pj의 하부에도, 큰 자막을 중첩하기 때문에, 송신기(100)의 영상에 첨부되어 있는 자막이 작아도, 자막을 보기 쉽게 할 수 있다. 또한, 송신기(100)의 영상에 첨부되는 자막이 없고, 촬상 표시 화상 Pj 의 하부에 큰 자막만이 중첩되는 경우에는, 그 중첩되고 있는 자막이 송신기(100)의 영상에 대한 자막인지, 텔레비전(114)의 영상에 대한 자막인지를 판단하는 것이 곤란하다. 그러나, 본 실시의 형태에서는, 광 ID를 송신하는 송신기(100)의 영상에 대해서도 자막이 첨부되기 때문에, 사용자는 중첩되어 있는 자막이 어느 영상에 대한 자막인지를 용이하게 판단할 수 있다.
또, 수신기(200)는, 촬상 표시 화상 Pj의 표시에서는, 또한, 서버로부터 취득되는 정보에, 음성 정보가 포함되어 있는지 아닌지를 판정해도 된다. 그리고, 수신기(200)는 음성 정보가 포함되어 있다고 판정했을 때에는, 제1 및 제2 자막보다도, 음성 정보가 나타내는 음성을 우선해 출력한다. 이것에 의해, 음성이 우선적으로 출력되기 때문에, 사용자가 자막을 읽는 부담을 경감시킬 수 있다.
또, 전술의 예에서는, 사용자 정보(즉 사용자의 속성)에 따라 자막의 언어를 상이하게 했지만, 송신기(100)에 표시되고 있는 영상(즉 컨텐츠) 그 자체를 상이하게 해도 된다. 예를 들면, 송신기(100)에 표시되어 있는 영상이 뉴스의 영상인 경우에 있어서, 사용자가 일본인인 것이 사용자 정보로 나타나 있으면, 수신기(200)는 일본에서 방송되고 있는 뉴스 영상을 AR 화상으로서 취득한다. 그리고, 수신기(200)는 그 뉴스 영상을, 송신기(100)의 디스플레이가 비추어지고 있는 영역(즉 대상 영역)에 중첩한다. 한편, 사용자가 미국인인 것이 사용자 정보로 나타나 있으면, 수신기(200)는, 미국에서 방송되고 있는 뉴스 영상을 AR 화상으로서 취득한다. 그리고, 수신기(200)는 그 뉴스 영상을, 송신기(100)의 디스플레이가 비추어지고 있는 영역(즉 대상 영역)에 중첩한다. 이것에 의해, 사용자에게 적합한 영상을 표시할 수 있다. 또한, 사용자 정보에는 사용자의 속성으로서 예를 들면, 국적 또는 사용 언어 등이 표시되고, 수신기(200)는 그 속성에 근거하여 전술의 AR 화상을 취득한다.
도 255는, 본 실시의 형태에 있어서의 인식 정보의 일례를 나타내는 도면이다.
인식 정보가 예를 들면 전술과 같은 특징점 및 특징량 등이어도, 오인식이 생길 가능성이 있다. 예를 들면, 송신기(100a 및 100b)는, 각각 송신기(100)와 동일하게 역명표로서 구성되어 있다. 이러한 송신기(100a 및 100b)는, 서로 상이한 역명표라도, 서로 가까운 위치에 있으면, 유사하기 때문에 오인식 될 가능성이 있다.
따라서, 송신기(100a 및 100b)의 각각의 인식 정보는, 송신기(100a 또는 100b)의 화상 전체의 각 특징점 및 각 특징량을 나타내지 않고, 그 화상 중 특징적인 일부분만의 각 특징점 및 각 특징량을 나타내도 된다.
예를 들면, 송신기(100a)의 부분 a1과 송신기(100b)의 부분 b1은 서로 크게 상이하고, 송신기(100a)의 부분 a2와 송신기(100b)의 부분 b2는 서로 크게 상이하다. 따라서, 서버는, 송신기(100a 및 100b)가 미리 정해진 범위 내(즉 근거리)에 설치되어 있으면, 송신기(100a)에 대응하는 인식 정보로서 부분 a1 및 부분 a2의 각각의 화상의 특징점 및 특징량을 보관 유지한다. 동일하게 서버는, 송신기(100b)에 대응하는 식별 정보로서 부분 b1 및 부분 b2의 각각의 화상의 특징점 및 특징량을 보관 유지한다.
이것에 의해, 수신기(200)는, 서로 유사한 송신기(100a 및 100b)가 서로 가까이에 있는 경우(전술의 미리 정해진 범위 내에 있는 경우)라도, 그러한 식별 정보를 이용하여 적절히 대상 영역을 인식할 수 있다.
도 256은, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
수신기(200)는, 우선, 수신기(200)에 설정 등록되어 있는 사용자 정보에 근거하여, 사용자에게 시각 장해가 있는지 아닌지를 판정한다(단계 S131). 여기서, 수신기(200)는 시각 장해가 있다고 판정하면(단계 S131의 Y), 중첩하여 표시되는 AR 화상의 문자를 음성으로 출력한다(단계 S132). 한편, 수신기(200)는, 시각 장해가 없다고 판정하면(단계 S131의 N), 또한, 사용자 정보에 근거하여 사용자에게 청각 장해가 있는지 아닌지를 판정한다(단계 S133). 여기서, 수신기(200)는 청각 장해가 있다고 판정하면(단계 S133의 Y), 음성 출력을 정지한다(단계 S134). 이 때, 수신기(200)는 모든 기능에 의한 음성의 출력을 정지한다.
또한, 수신기(200)는, 단계 S131에 있어서 시각 장해가 있다고 판정했을 때에(단계 S131의 Y), 단계 S133의 처리를 행해도 된다. 즉, 수신기(200)는 시각 장해가 있고, 또한, 청각 장해가 없다고 판정했을 때에, 중첩하여 표시되는 AR 화상의 문자를 음성으로 출력해도 된다.
도 257은, 본 실시의 형태에 있어서의 수신기(200)가 휘선 패턴 영역을 식별하는 일례를 나타내는 도면이다.
수신기(200)는, 우선, 각각 광 ID를 송신하는 2개의 송신기를 촬상하는 것에 의해서 복호용 화상을 취득하고, 그 복호용 화상에 대한 복호에 의해서, 도 257의 (e)에 나타내는 바와 같이, 광 ID를 취득한다. 이 때, 복호용 화상에는 2개의 휘선 패턴 영역 X 및 Y가 포함되어 있기 때문에, 수신기(200)는 휘선 패턴 영역 X에 대응하는 송신기의 광 ID와 휘선 패턴 영역 Y에 대응하는 송신기의 광 ID를 취득한다. 휘선 패턴 영역 X에 대응하는 송신기의 광 ID는, 예를 들면, 어드레스 0~9의 각각에 대응하는 수치(즉 데이터)로 이루어지고, 「5, 2, 8, 4, 3, 6, 1, 9, 4, 3」을 나타낸다. 휘선 패턴 영역 X에 대응하는 송신기의 광 ID도 동일하게 예를 들면, 어드레스 0~9의 각각에 대응하는 수치로 이루어지고, 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」를 나타낸다.
수신기(200)는, 이러한 광 ID를 한번 취득해도, 즉 이러한 광 ID가 이미 알려졌어도, 촬상하고 있을 때, 각각의 광 ID가 어느 쪽의 휘선 패턴 영역으로부터 얻어진 것인지 알 수 없는 상황이 되는 일이 있다. 이러한 경우, 수신기(200)는 도 257의(a)~(d)에 나타내는 처리를 행하는 것에 의해서, 각각의 이미 알려진 광 ID가 어느 쪽의 휘선 패턴 영역으로부터 얻어졌는지를 용이하게, 또한, 신속하게 판정할 수 있다.
구체적으로는, 수신기(200)는, 우선, 도 257의 (a)에 나타내는 바와 같이, 복호용 화상 Pdec11을 취득하고, 그 복호용 화상 Pdec11에 대한 복호에 의해서, 휘선 패턴 영역 X 및 Y의 각각의 광 ID의 어드레스 0의 수치를 취득한다. 예를 들면, 휘선 패턴 영역 X의 광 ID의 어드레스 0의 수치는 「5」이며, 휘선 패턴 영역 Y의 광 ID의 어드레스 0의 수치도 「5 」이다. 각각의 광 ID의 어드레스 0의 수치가 「5」이기 때문에, 이때에는, 기존의 광 ID가 어느 쪽의 휘선 패턴 영역으로부터 얻어졌는지를 판정할 수 없다.
따라서, 수신기(200)는, 도 257의 (b)에 나타내는 바와 같이, 복호용 화상 Pdec12을 취득하여, 그 복호용 화상 Pdec12에 대한 복호에 의해서, 휘선 패턴 영역 X 및 Y의 각각의 광 ID의 어드레스 1의 수치를 취득한다. 예를 들면, 휘선 패턴 영역 X의 광 ID의 어드레스 1의 수치는 「2」이며, 휘선 패턴 영역 Y의 광 ID의 어드레스 1의 수치도 「2」이다. 각각의 광 ID의 어드레스 1의 수치가 「2」이기 때문에, 이 때에도 이미 알려진 광 ID가 어느 쪽의 휘선 패턴 영역으로부터 얻어졌는지를 판정할 수 없다.
따라서, 또한, 수신기(200)는, 도 257의 (c)에 나타내는 바와 같이, 복호용 화상 Pdc13를 취득하고, 그 복호용 화상 Pdec13에 대한 복호에 의해서, 휘선 패턴 영역 X 및 Y의 각각의 광 ID의 어드레스 2의 수치를 취득한다. 예를 들면, 휘선 패턴 영역 X의 광 ID의 어드레스 2의 수치는 「8」이며, 휘선 패턴 영역 Y의 광 ID의 어드레스 2의 수치는 「7」이다. 이 때에는, 기존의 광 ID 「5, 2, 8, 4, 3, 6, 1, 9, 4, 3」이 휘선 패턴 영역 X로부터 얻어졌다고 판정할 수 있고, 이미 알려진 광 ID 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」가 휘선 패턴 영역 Y 로부터 얻어졌다고 판정할 수 있다.
그러나, 수신기(200)는, 신뢰도를 높이기 위해서, 또한, 도 257의 (d)에 나타내는 바와 같이, 각각의 광 ID의 어드레스 3의 수치를 취득해도 된다. 즉, 수신기(200)는, 복호용 화상 Pdec14를 취득하고, 그 복호용 화상 Pdec14에 대한 복호에 의해서, 휘선 패턴 영역 X 및 Y의 각각의 광 ID의 어드레스 3의 수치를 취득한다. 예를 들면, 휘선 패턴 영역 X의 광 ID의 어드레스 3의 수치는 「4」이며, 휘선 패턴 영역 Y의 광 ID의 어드레스 3의 수치는 「7」이다. 이 때에는, 이미 알려진 광 ID 「5, 2, 8, 4, 3, 6, 1, 9, 4, 3」이 휘선 패턴 영역 X로부터 얻어졌다고 판정할 수 있고, 기존의 광 ID 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」가 휘선 패턴 영역 Y로부터 얻어졌다고 판정할 수 있다. 즉, 어드레스 2뿐만이 아니라 어드레스 3에 의해서, 휘선 패턴 영역 X 및 Y의 광 ID를 식별할 수 있기 때문에 신뢰도를 높일 수 있다.
이와 같이, 본 실시의 형태에서는, 광 ID의 모든 어드레스의 수치(즉 데이터)를 새롭게 취득하지 않고, 적어도 1개의 어드레스의 수치를 다시 취득한다. 이것에 의해서, 이미 알려진 광 ID가 어느 쪽의 휘선 패턴 영역으로부터 얻어졌는지를 용이하게, 또한 신속하게 판정할 수 있다.
또한, 전술의 도 257의 (c) 및 (d)에 나타내는 예에서는, 소정의 어드레스에 대해서 취득된 수치가, 이미 알려진 광 ID의 수치와 일치하고 있지만, 일치하고 있지 않아도 좋다. 예를 들면, 도 257의 (d)에 나타내는 예에 있어서, 수신기(200)는, 휘선 패턴 영역 Y의 광 ID의 어드레스 3의 수치로서 「6」을 취득한다. 이 어드레스 3의 수치 「6」은 이미 알려진 광 ID 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」의 어드레스 3의 수치 「7」과는 상이하다. 그러나, 수치 「6」은 수치 「7」에 가까운 수치이기 때문에, 수신기(200)는 기존의 광 ID 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」가 휘선 패턴 영역 Y로부터 얻어졌다고 판정해도 된다. 또한, 수신기는, 수치 「6」이 수치 「7」±n(n은 예를 들면 1이상의 수)의 범위 내에 있는지 아닌지에 의해서, 수치 「6」이 수치 「7」에 가까운 수치인지 아닌지를 판정해도 된다.
도 258은, 본 실시의 형태에 있어서의 수신기(200)의 다른 예를 나타내는 도면이다.
수신기(200)는, 전술의 예에서는 스마트 폰으로서 구성되어 있지만, 도 19~도 21에 나타내는 예와 동일하게, 이미지 센서를 구비한 헤드 마운트 디스플레이(안경이라고도 함)로서 구성되어 있어도 된다.
이러한 수신기(200)는, 전술과 동일한 AR 화상의 표시를 위한 처리 회로(이하, AR 처리 회로라고 함)를 항상 기동해 두면 소비 전력이 많아지기 때문에, 미리 정해진 신호를 검출했을 때에 그 AR 처리 회로를 기동해도 된다.
예를 들면, 수신기(200)는, 터치 센서(202)를 구비하고 있다. 터치 센서(202)는 사용자의 손가락 등에 닿으면, 터치 신호를 출력한다. 수신기(200)는, 그 터치 신호를 검출했을 때에, AR 처리 회로를 기동한다.
또는, 수신기(200)는, Bluetooth(등록상표) 또는 Wi－Fi(등록상표) 등의 전파 신호를 검출했을 때에, AR 처리 회로를 기동해도 된다.
또는, 수신기(200)는, 가속도 센서를 구비하고, 그 가속도 센서에 의해서 중력의 방향과 반대의 방향으로의 임계값 이상의 가속도가 계측되었을 때에, AR 처리 회로를 기동해도 된다. 즉, 수신기(200)는, 상기 가속도를 나타내는 신호를 검출했을 때에, AR 처리 회로를 기동한다. 예를 들면, 사용자가, 안경으로서 구성되어 있는 수신기(200)의 코받침 부분을 아래로부터 손가락끝으로 상방향으로 찔러올리면, 수신기(200)는 상기 가속도를 나타내는 신호를 검출하여, AR 처리 회로를 기동한다.
또는, 수신기(200)는, GPS 및 9축 센서 등에 의해서, 이미지 센서가 송신기(100)에 향해진 것을 검지했을 때에, AR 처리 회로를 기동해도 된다. 즉, 수신기(200)는 수신기(200)가 소정의 방향으로 향해진 것을 나타내는 신호를 검출했을 때에, AR 처리 회로를 기동한다. 이 경우, 송신기(100)가 전술의 일본어의 역명표 등이라면, 수신기(200)는, 영어의 역명을 나타내는 AR 화상을 그 역명표에 중첩해 표시한다.
도 259는, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
수신기(200)는, 송신기(100)로부터 광 ID를 취득하면(단계 S141), 그 광 ID에 따른 모드 지정 정보를 수신하는 것에 의해서, 노이즈 캔슬의 모드를 전환한다(단계 S142). 그리고, 수신기(200)는, 그 모드의 전환 처리를 종료해야 할 것인지 아닌지를 판정하고(단계 S143), 종료해서는 안된다고 판정하면(단계 S143의 N) 단계 S141로부터의 처리를 반복해 실행한다. 노이즈 캔슬의 모드의 전환은, 예를 들면, 비행기 내에 있어서의 엔진 등의 소음을 소거하는 모드(ON)와, 그 소음의 소거를 행하지 않는 모드(OFF)이다. 구체적으로는, 수신기(200)를 휴대하는 사용자는, 그 수신기(200)에 접속되는 이어 폰을 귀에 대고, 그 수신기(200)로부터 출력되는 음악 등의 음성을 듣고 있다. 이러한 사용자가 비행기에 탑승하면, 수신기(200)는 광 ID 를 취득한다. 그 결과, 수신기(200)는 노이즈 캔슬의 모드를 OFF로부터 ON으로 전환한다. 이것에 의해, 사용자는, 기내라도 엔진의 소음 등의 노이즈가 포함되지 않는 음성을 들을 수 있다. 또, 사용자가 비행기로부터 나올 때에도, 수신기(200)는 광 ID를 취득한다. 이 광 ID 를 취득한 수신기(200)는, 노이즈 캔슬의 모드를 ON으로부터 OFF로 전환한다. 또한, 노이즈 캔슬의 대상이 되는 노이즈는, 엔진의 소음뿐만이 아니라, 사람의 소리 등, 어떠한 소리라도 된다.
도 260은, 본 실시의 형태에 있어서의 복수의 송신기를 포함한 송신 시스템의 일례를 나타내는 도면이다.
이 송신 시스템은, 미리 정해진 순서로 배열된 복수의 송신기(120)를 구비하고 있다. 이러한 송신기(120)는 송신기(100)와 동일하게, 상기 실시의 형태 1~22 중 어느 하나의 실시의 형태에 있어서의 송신기로서, 1개 또는 복수의 발광 소자(예를 들면 LED)를 구비한다. 선두의 송신기(120)는, 미리 정해진 주파수(캐리어 주파수)에 따라서 1개 또는 복수의 발광 소자의 휘도를 변화시키는 것에 의해서, 광 ID를 송신한다. 또한, 선두의 송신기(120)는 그 휘도의 변화를 나타내는 신호를 동기 신호로 하여 후속의 송신기(120)에 출력한다. 후속의 송신기(120)는, 그 동기 신호를 받으면, 그 동기 신호에 따라서 1개 또는 복수의 발광 소자의 휘도를 변화시키는 것에 의해서, 광 ID를 송신한다. 또한, 후속의 송신기(120)는 그 휘도의 변화를 나타내는 신호를 동기 신호로 하여 다음의 후속의 송신기(120)에 출력한다. 이것에 의해, 송신 시스템에 포함되는 모든 송신기(120)는 동기하여 광 ID를 송신한다.
여기서, 동기 신호는, 선두의 송신기(120)로부터 후속의 송신기(120)에 주고 받아지고, 후속의 송신기(120)로부터 한층 더 다음의 후속의 송신기(120)에 주고 받아져 마지막의 송신기(120)에까지 닿는다. 동기 신호의 주고 받음에는 예를 들면 약 1 μ초 걸린다. 따라서, 송신 시스템에, N(N는 2이상의 정수)대의 송신기(120)가 구비되어 있으면, 동기 신호가 선두의 송신기(120)로부터 마지막의 송신기(120)에 닿을 때까지 1×Nμ초 걸리게 된다. 그 결과, 광 ID의 송신의 타이밍이 최대 Nμ초 어긋나게 된다. 예를 들면, N대의 송신기(120)가 9.6 kHz의 주파수에 따라서 광 ID를 송신하고, 수신기(200)가 9.6 kHz의 주파수로 광 ID를 수신하려고 해도, 수신기(200)는 N μ초 어긋난 광 ID를 수신하기 때문에, 그 광 ID를 올바르게 수신할 수 없는 경우가 있다.
따라서, 본 실시의 형태에서는, 선두의 송신기(120)는, 송신 시스템에 포함되는 송신기(120)의 대수에 따라서 빠르게 광 ID를 송신한다. 예를 들면, 선두의 송신기(120)는, 9.605 kHz의 주파수에 따라서 광 ID를 송신한다. 한편, 수신기(200)는 9.6 kHz의 주파수로 광 ID를 수신한다. 이 때, 수신기(200)는 Nμ초 어긋난 광 ID를 수신해도, 선두의 송신기(120)의 주파수가 수신기(200)의 주파수보다도 0.005 kHz만큼 높기 때문에, 그 광 ID의 차이에 의한 수신 에러의 발생을 억제할 수 있다.
또, 선두의 송신기(120)는, 마지막 송신기(120)로부터 동기 신호를 피드백받는 것에 의해서, 주파수의 조정량을 제어해도 된다. 예를 들면, 선두의 송신기(120)는 스스로 동기 신호를 출력하고 나서, 마지막 송신기(120)로부터 피드백된 동기 신호를 수취할 때까지의 시간을 계측한다. 그리고, 선두의 송신기(120)는, 그 시간이 길수록 기준의 주파수(예를 들면, 9.6 kHz)보다도 높은 주파수에 따라서 광 ID를 송신한다.
도 261은, 본 실시의 형태에 있어서의 복수의 송신기 및 수신기를 포함한 송신 시스템의 일례를 나타내는 도면이다.
이 송신 시스템은, 예를 들면 2개의 송신기(120)와 수신기(200)를 구비하고 있다. 2개의 송신기(120) 중 한쪽의 송신기(120)는 9.599 kHz의 주파수에 따라서 광 ID를 송신한다. 다른쪽의 송신기(120)는 9.601 kHz의 주파수에 따라서 광 ID를 송신한다. 이러한 경우, 2개의 송신기(120)는 각각, 스스로의 광 ID의 주파수를 전파 신호로 수신기(200)에 통지한다.
수신기(200)는, 그러한 주파수의 통지를 받으면, 통지된 주파수의 각각에 따른 복호를 시도한다. 즉, 수신기(200)는 9.599 kHz의 주파수에 따라서, 복호용 화상에 대한 복호를 시도하고, 이것에 의해 광 ID를 수신할 수 없으면, 9.601 kHz의 주파수에 따라서, 복호용 화상에 대한 복호를 시도한다. 이와 같이, 수신기(200)는 통지된 모든 주파수의 각각에 따라서, 복호용 화상에 대한 복호를 시도한다. 바꾸어 말하면, 수신기(200)는 통지된 각각의 주파수에 대해서 전원 시합을 행한다. 또는, 수신기(200)는 통지된 모든 주파수의 평균 주파수에 따른 복호를 시도해도 된다. 즉, 수신기(200)는 9.599k Hz와 9.601 kHz와의 평균 주파수인 9.6 kHz에 따른 복호를 시도한다.
이것에 의해, 수신기(200)와 송신기(120)와의 각각의 주파수의 차이에 따른 수신 에러의 발생율을 저하시킬 수 있다.
도 262A는, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 일례를 나타내는 플로우 차트이다.
수신기(200)는, 우선, 촬상을 개시하고(단계 S151), 파라미터 N을 1로 초기화한다(단계 S152). 다음에, 수신기(200)는, 그 촬상에 의해서 얻어진 복호용 화상을, 파라미터 N에 대응하는 주파수에 따라서 복호하고, 그 복호 결과에 대한 평가값을 산출한다(단계 S153). 예를 들면, 파라미터 N=1, 2, 3, 4, 5의 각각은, 9.6k Hz, 9.601 kHz, 9.599 kHz, 9.602 kHz 등의 주파수가 미리 대응시켜져 있다. 평가값은 복호 결과가 올바른 광 ID에 유사하고 있을수록 높은 수치를 나타낸다.
다음에, 수신기(200)는, 파라미터 N의 수치가, 미리 정해진 1이상의 정수인 Nmax에 동일한지 아닌지를 판정한다(단계 S154). 여기서, 수신기(200)는 Nmax에 동일하지 않다고 판정하면(단계 S154의 N), 파라미터 N를 인크리먼트(increment)하고(단계 S155), 단계 S153로부터의 처리를 반복해 실행한다. 한편, 수신기(200)는 Nmax에 동일하다고 판정하면(단계 S154의 Y), 최대의 평가값이 산출된 주파수를 최적 주파수로 하여 수신기(200)의 장소를 나타내는 장소 정보에 대응시켜 서버에 등록한다. 이와 같이 등록되는 최적 주파수 및 장소 정보는, 등록 후, 그 장소 정보에 표시되는 장소에 이동해 온 수신기(200)에 의한 광 ID의 수신을 위해서 이용된다. 또, 장소 정보는, 예를 들면 GPS에 의해서 계측되는 위치를 나타내는 정보라도 되고, 무선 LAN(Local Area Network)에 있어서의 액세스 포인트의 식별 정보(예를 들면, SSID：Service Set Identifier)라도 된다.
또, 서버로의 등록을 행한 수신기(200)는, 그 최적 주파수에 따른 복호에 의해서 얻어진 광 ID에 따라서, 예를 들면 전술과 같은 AR 화상의 표시를 행한다.
도 262B는, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 일례를 나타내는 플로우 차트이다.
도 262A에 나타내는 서버로의 등록이 행해진 후, 수신기(200)는, 스스로가 존재하는 장소를 나타내는 장소 정보를 서버에 송신한다(단계 S161). 다음에, 수신기(200)는, 그 장소 정보에 대응시켜 등록되어 있는 최적 주파수를 그 서버로부터 취득한다(단계 S162).
다음에, 수신기(200)는 촬상을 개시하고(단계 S163), 그 촬상에 의해서 얻어진 복호용 화상을, 단계 S162에서 취득한 최적 주파수에 따라서 복호한다(단계 S164). 수신기(200)는, 이 복호에 의해서 얻어진 광 ID에 따라서, 예를 들면 전술과 동일한 AR 화상의 표시를 행한다.
이와 같이, 서버로의 등록이 행해진 후에는, 수신기(200)는, 도 262A에 나타내는 처리를 실행하지 않고 최적 주파수를 취득하여 광 ID를 수신할 수 있다. 또한, 수신기(200)는 단계 S162에 있어서 최적 주파수를 취득할 수 없었을 때에, 도 262A에 나타내는 처리를 실행하는 것에 의해서 최적 주파수를 취득해도 된다.
［실시의 형태 23의 정리］
도 263A는, 본 실시의 형태에 있어서의 표시 방법을 나타내는 플로우 차트이다.
본 실시의 형태에 있어서의 표시 방법은, 전술의 수신기(200)인 표시 장치가 화상을 표시하는 표시 방법으로서, 단계 SL11~SL16를 포함한다.
단계 SL11에서는, 이미지 센서가 피사체를 촬상하는 것에 의해서 촬상 표시 화상 및 복호용 화상을 취득한다. 단계 SL12에서는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 단계 SL13에서는, 그 광 ID를 서버에 송신한다. 단계 SL14에서는, 그 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다. 단계 SL15에서는, 촬상 표시 화상 중, 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 단계 SL16에서는, 대상 영역에 AR 화상이 중첩된 촬상 표시 화상을 표시한다.
이것에 의해, AR 화상이 촬상 표시 화상에 중첩되어 표시되기 때문에, 사용자에게 유익한 화상을 표시할 수 있다. 또한, 처리 부하를 억제하여 적절한 대상 영역에 AR 화상을 중첩할 수 있다.
즉, 일반적인 확장 현실(즉 AR)에서는, 미리 보존되어 있는 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교하는 것에 의해서, 그 촬상 표시 화상에 어떤 인식 대상 화상이 포함되어 있는지 아닌지가 판정된다. 그리고, 인식 대상 화상이 포함되어 있다고 판정되면, 그 인식 대상 화상에 대응하는 AR 화상이 촬상 표시 화상에 중첩된다. 이 때, 인식 대상 화상을 기준으로 AR 화상의 위치 맞춤이 행해진다. 이와 같이, 일반적인 확장 현실에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교하기 때문에, 또한, 위치 맞춤에 있어서도 촬상 표시 화상에 있어서의 인식 대상 화상의 위치 검출이 필요하기 때문에, 계산량이 많아 처리 부하가 높다는 문제가 있다.
그러나, 본 실시의 형태에 따른 표시 방법에서는, 도 235~도 262B에도 나타내는 바와 같이, 피사체의 촬상에 의해서 얻어지는 복호용 화상을 복호하는 것에 의해서 광 ID가 취득된다. 즉, 피사체인 송신기로부터 송신된 광 ID가 수신된다. 또한, 이 광 ID에 대응하는 AR 화상과 인식 정보가 서버로부터 취득된다. 따라서, 서버에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교할 필요가 없고, 광 ID에 미리 대응시켜져 있는 AR 화상을 선택하여 표시 장치에 송신할 수 있다. 이것에 의해, 계산량을 줄여 처리 부하를 큰폭으로 억제할 수 있다.
또, 본 실시의 형태에 있어서의 표시 방법에서는, 이 광 ID에 대응하는 인식 정보가 서버로부터 취득된다. 인식 정보는, 촬상 표시 화상에 있어서 AR 화상이 중첩되는 영역인 대상 영역을 인식하기 위한 정보이다. 이 인식 정보는, 예를 들면 흰 사각형이 대상 영역인 것을 나타내는 정보라도 된다. 이 경우에는, 대상 영역을 간단하게 인식할 수 있고 처리 부하를 한층 더 억제할 수 있다. 즉, 인식 정보의 내용에 따라, 처리 부하를 한층 더 억제할 수 있다. 또, 서버에서는, 광 ID에 따라 그 인식 정보의 내용을 임의로 설정할 수 있기 때문에, 처리 부하와 인식 정밀도와의 밸런스를 적절하게 유지할 수 있다.
여기서, 인식 정보는, 촬상 표시 화상 중 기준 영역을 특정하기 위한 기준 정보이며, 대상 영역의 인식에서는, 그 기준 정보에 근거하여 촬상 표시 화상으로부터 기준 영역을 특정하고, 촬상 표시 화상 중, 그 기준 영역의 위치에 의해 대상 영역을 인식해도 된다.
또는, 인식 정보는, 촬상 표시 화상 중 기준 영역을 특정하기 위한 기준 정보와, 그 기준 영역에 대한 대상 영역의 상대 위치를 나타내는 대상 정보를 포함하고 있어도 된다. 이 경우, 대상 영역의 인식에서는, 기준 정보에 근거하여 촬상 표시 화상으로부터 기준 영역을 특정하고, 촬상 표시 화상 중, 그 기준 영역의 위치를 기준으로 하여 대상 정보에 의해 표시되는 상대 위치에 있는 영역을, 대상 영역으로서 인식한다.
이것에 의해, 도 244 및 도 245에 나타내는 바와 같이, 촬상 표시 화상에 있어서 인식되는 대상 영역의 위치의 자유도를 넓힐 수 있다.
또, 기준 정보는, 촬상 표시 화상에 있어서의 기준 영역의 위치가, 복호용 화상에 있어서의, 이미지 센서가 가지는 복수의 노광 라인의 노광에 의해서 나타나는 복수의 휘선의 패턴으로 이루어지는 휘선 패턴 영역의 위치와 동일한 것을 나타내도 된다.
이것에 의해, 도 244 및 도 245에 나타내는 바와 같이, 촬상 표시 화상에 있어서의 휘선 패턴 영역에 대응하는 영역을 기준으로 하여 대상 영역을 인식할 수 있다.
또, 기준 정보는, 촬상 표시 화상에 있어서의 기준 영역이, 촬상 표시 화상 중 디스플레이가 비추어지고 있는 영역인 것을 나타내도 된다.
이것에 의해, 도 235에 나타내는 바와 같이, 예를 들면 역명표를 디스플레이로 하면, 그 디스플레이가 비추어지고 있는 영역을 기준으로 하여 대상 영역을 인식할 수 있다.
또, 촬상 표시 화상의 표시에서는, 전술의 AR 화상인 제1 AR 화상과 상이한 제2 AR 화상의 표시를 억제하면서, 미리 정해진 표시 기간만큼, 제1 AR 화상을 표시해도 된다.
이것에 의해, 도 250에 나타내는 바와 같이, 사용자가 한 번 표시된 제1 AR 화상을 보고 있을 때, 그 제1 AR 화상이 그것과는 상이한 제2 AR 화상에 곧바로 치환되어 버리는 것을 억제할 수 있다.
또, 촬상 표시 화상의 표시에서는, 표시 기간에는, 새롭게 취득되는 복호용 화상에 대한 복호를 금지해도 된다.
이것에 의해, 도 250에 나타내는 바와 같이, 새롭게 취득되는 복호용 화상의 복호는, 제2 AR 화상의 표시가 억제되고 있을 때에는 쓸데없는 처리이기 때문에, 그 복호를 금지하는 것에 의해서 소비 전력을 억제할 수 있다.
또, 촬상 표시 화상의 표시에서는, 또한, 표시 기간에 있어서, 표시 장치의 가속도를 가속도 센서에 의해서 계측하고, 계측된 가속도가 임계값 이상인지 아닌지를 판정해도 된다. 그리고, 임계값 이상으로 판정했을 때에는, 제2 AR 화상의 표시의 억제를 해제하는 것에 의해서 제1 AR 화상 대신에 제2 AR 화상을 표시해도 된다.
이것에 의해, 도 250에 나타내는 바와 같이, 임계값 이상의 표시 장치의 가속도가 계측되었을 때에, 제2 AR 화상의 표시의 억제가 해제된다. 따라서, 예를 들면, 사용자가 다른 피사체에 이미지 센서를 향하려고 표시 장치를 크게 움직였을 때에는, 제2 AR 화상을 곧바로 표시할 수 있다.
또, 촬상 표시 화상의 표시에서는, 또한, 표시 장치에 구비된 페이스 카메라에 의한 촬상에 의해서, 표시 장치에 사용자의 얼굴이 가까워지고 있는지 아닌지를 판정해도 된다. 그리고, 얼굴이 가까워지고 있다고 판정하면, 제1 AR 화상과 상이한 제2 AR 화상의 표시를 억제하면서, 제1 AR 화상을 표시해도 된다. 또는, 촬상 표시 화상의 표시에서는, 추가로 가속도 센서에 의해서 계측되는 표시 장치의 가속도에 의해서, 표시 장치에 사용자의 얼굴이 가까워지고 있는지 아닌지를 판정해도 된다. 그리고, 얼굴이 가까워지고 있다고 판정하면, 제1 AR 화상과 상이한 제2 AR 화상의 표시를 억제하면서 제1 AR 화상을 표시해도 된다.
이것에 의해, 도 250에 나타내는 바와 같이, 사용자가 제1 AR 화상을 보려고 표시 장치에 얼굴을 접근하고 있을 때, 그 제1 AR 화상이 그것과는 상이한 제2 AR 화상으로 치환해버리는 것을 억제할 수 있다.
또, 도 254에 나타내는 바와 같이, 촬상 표시 화상 및 복호용 화상의 취득에서는, 각각 화상을 표시하고 있는 복수의 디스플레이를 피사체로서 촬상하는 것에 의해서, 그 촬상 표시 화상 및 복호용 화상을 취득해도 된다. 이 때, 대상 영역의 인식에서는, 촬상 표시 화상 중, 복수의 디스플레이 중 광 ID를 송신하고 있는 디스플레이인 송신 디스플레이가 나타나고 있는 영역을 대상 영역으로서 인식한다. 또, 촬상 표시 화상의 표시에서는, 송신 디스플레이에 표시되고 있는 화상에 대응하는 제1 자막을 AR 화상으로서 대상 영역에 중첩하고, 또한, 촬상 표시 화상 중 대상 영역보다 큰 영역에 제1 자막이 확대된 자막인 제2 자막을 중첩한다.
이것에 의해, 송신 디스플레이의 화상에 제1 자막이 중첩되기 때문에, 그 제1 자막이 복수의 디스플레이 중 어느 디스플레이의 화상에 대한 자막인지를, 사용자에게 용이하게 파악시킬 수 있다. 또, 제1 자막이 확대된 자막인 제2 자막도 표시되기 때문에, 제1 자막이 작아서 읽기 어려운 경우라도, 제2 자막의 표시에 의해서 자막을 읽기 쉽게 할 수 있다.
또, 촬상 표시 화상의 표시에서는, 또한, 전술의 서버로부터 취득되는 정보에, 음성 정보가 포함되어 있는지 아닌지를 판정하고, 포함되어 있다고 판정했을 때에는 제1 및 제2 자막보다도, 그 음성 정보가 나타내는 음성을 우선하여 출력해도 된다.
이것에 의해, 음성이 우선적으로 출력되기 때문에, 사용자가 자막을 읽는 부담을 경감할 수 있다.
도 263B는, 본 실시의 형태에 있어서의 표시 장치의 구성을 나타내는 블럭도이다.
본 실시의 형태에 있어서의 표시 장치(10)는, 화상을 표시하는 표시 장치로서, 이미지 센서(11)와 복호부(12)와 송신부(13)와 취득부(14)와 인식부(15)와 표시부(16)를 구비한다. 또한, 이 표시 장치(10)는 전술의 수신기(200)에 상당한다.
이미지 센서(11)는, 피사체를 촬상하는 것에 의해서 촬상 표시 화상 및 복호용 화상을 취득한다. 복호부(12)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 송신부(13)는 그 광 ID를 서버에 송신한다. 취득부(14)는, 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다. 인식부(15)는 촬상 표시 화상 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 표시부(16)는 그 대상 영역에 AR 화상이 중첩된 촬상 표시 화상을 표시한다.
이것에 의해, AR 화상이 촬상 표시 화상에 중첩되어 표시되기 때문에, 사용자에게 유익한 화상을 표시할 수 있다. 또한, 처리 부하를 억제하여 적절한 대상 영역에 AR 화상을 중첩할 수 있다.
또한, 본 실시의 형태에 있어서, 각 구성 요소는, 전용의 하드웨어로 구성되거나, 각 구성 요소에 적절한 소프트웨어 프로그램을 실행하는 것에 의해서 실현되어도 된다. 각 구성 요소는 CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 독출하여 실행하는 것에 의해서 실현되어도 된다.여기서, 본 실시의 형태의 수신기(200)또는 표시 장치(10) 등을 실현하는 소프트웨어는, 도 239, 도 246, 도 250, 도 256, 도 259, 및 도 262A~도 263A에 나타내는 플로우 차트에 포함되는 각 단계를 컴퓨터에 실행시키는 프로그램이다.
［실시의 형태 23의 변형예 1］
이하, 실시의 형태 23의 변형예 1, 즉, 광 ID를 이용한 AR을 실현하는 표시 방법의 변형예 1에 대해 설명한다.
도 264는, 실시의 형태 23의 변형예 1에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도면이다.
수신기(200)는, 그 이미지 센서에 의한 피사체의 촬상에 의해서, 전술의 통상 촬영 화상인 촬상 표시 화상 Pk과 전술의 가시광 통신 화상 또는 휘선 화상인 복호용 화상을 취득한다.
구체적으로는, 수신기(200)의 이미지 센서는, 로봇으로서 구성되어 있는 송신기(100c)와, 송신기(100c)의 근처에 있는 인물(21)을 촬상한다. 송신기(100c)는, 상기 실시의 형태 1~22 중 어느 하나의 실시의 형태에 있어서의 송신기로서, 1개 또는 복수의 발광 소자(예를 들면 LED)(131)를 구비한다. 이 송신기(100c)는, 그 1개 또는 복수의 발광 소자(131)를 점멸시키는 것에 의해서 휘도 변화하고, 그 휘도 변화에 의해서 광 ID(광식별 정보)를 송신한다. 이 광 ID는, 전술의 가시광 신호이다.
수신기(200)는, 송신기(100c) 및 인물(21)을 통상 노광 시간으로 촬상하는 것에 의해서, 그들이 비추어진 촬상 표시 화상 Pk을 취득한다. 또한, 수신기(200)는 그 통상 노광 시간보다도 짧은 통신용 노광 시간으로 송신기(100c) 및 인물(21)을 촬상하는 것에 의해서, 복호용 화상을 취득한다.
수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는 송신기(100c)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는 그 광 ID에 대응하는 AR 화상(P10)과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pk 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 송신기(100c)인 로봇이 비추어지고 있는 영역의 우측에 있는 영역을 대상 영역으로서 인식한다. 구체적으로는, 수신기(200)는, 촬상 표시 화상 Pk에 비추어지고 있는 송신기(100c)의 2개의 마커(132a 및 132b)의 사이의 거리를 특정한다. 그리고, 수신기(200)는 그 거리에 따른 폭 및 높이를 가지는 영역을 대상 영역으로서 인식한다. 즉, 인식 정보는 마커(132a 및 132b)의 형상과 그러한 마커(132a 및 132b)를 기준으로 하는 대상 영역의 위치 및 크기를 나타내고 있다.
그리고, 수신기(200)는 그 대상 영역에 AR 화상(P10)을 중첩하고, AR 화상(P10)이 중첩된 촬상 표시 화상 Pk을 디스플레이(201)에 표시한다. 예를 들면, 수신기(200)는 송신기(100c)와는 상이한 다른 로봇을 나타내는 AR 화상(P10)을 취득한다. 이 경우, 촬상 표시 화상 Pk의 대상 영역에 그 AR 화상(P10)이 중첩되기 때문에, 송신기(100c)의 근처에 다른 로봇이 현실에 존재하듯이 촬상 표시 화상 Pk을 표시할 수 있다. 그 결과, 인물(21)은, 다른 로봇이 실재하고 있지 않아도, 송신기(100c)와 함께 다른 로봇과 함께 사진에 찍힐 수 있다.
도 265는, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 265에 나타내는 바와 같이, 표시 패널을 가지는 화상 표시 장치로서 구성되고, 그 표시 패널에 정지 화상 PS을 표시하면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다. 또한, 표시 패널은, 예를 들면 액정 디스플레이 또는 유기 EL(electroluminescence) 디스플레이이다.
수신기(200)는, 송신기(100)를 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상 Pm과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는 그 광 ID에 대응하는 AR 화상(P11)과 인식 정보를 서버로부터 취득한다. 수신기(200)는 촬상 표시 화상 Pm 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는 송신기(100)에 있어서의 표시 패널이 비추어지고 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상(P11)을 중첩하고, AR 화상(P11)이 중첩된 촬상 표시 화상 Pm을 디스플레이(201)에 표시한다. 예를 들면, AR 화상(P11)은, 송신기(100)의 표시 패널에 표시되고 있는 정지 화상 PS과 동일 또는 실질적으로 동일한 픽쳐를 표시순서로 선두의 픽쳐로서 가지는 동영상이다. 즉, AR 화상(P11)은 정지 화상 PS으로부터 움직이기 시작하는 동영상이다.
이 경우, 촬상 표시 화상 Pm의 대상 영역에 그 AR 화상(P11)이 중첩되기 때문에, 수신기(200)는 동영상을 표시하는 화상 표시 장치가 현실에 존재하듯이 촬상 표시 화상 Pm를 표시할 수 있다.
도 266은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는 예를 들면 도 266에 나타내는 바와 같이 역명표로서 구성되고, 휘도 변화하는 것에 의해서 광 ID를 송신하고 있다.
수신기(200)는, 도 266의 (a)에 나타내는 바와 같이, 송신기(100)로부터 떨어진 위치로부터 송신기(100)를 촬상한다. 이것에 의해, 수신기(200)는, 전술과 동일하게, 촬상 표시 화상 Pn과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상(P12~P14)과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pn 중, 그 인식 정보에 따른 2개의 영역을 제1 및 제2 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 송신기(100)의 주위의 영역을 제1 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 제1 대상 영역에 AR 화상 P12을 중첩하고, AR 화상 P12이 중첩된 촬상 표시 화상 Pn를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P12은 수신기(200)의 사용자에 대해서 송신기(100)로의 접근을 재촉하는 화살표이다.
이 경우, 촬상 표시 화상 Pn의 제1 대상 영역에 그 AR 화상 P12이 중첩되어 표시되기 때문에, 사용자는 수신기(200)를 송신기(100)를 향한 상태로 송신기(100)에 가까워진다. 이러한 수신기(200)의 송신기(100)로의 접근에 의해서, 촬상 표시 화상 Pn에 비추어지고 있는 송신기(100)의 영역(전술의 기준 영역에 상당)은 커진다. 그 영역의 크기가 제1 임계값 이상이 되면, 수신기(200)는, 예를 들면 도 266의 (b)에 나타내는 바와 같이, 한층 더, 송신기(100)가 비추어지고 있는 영역인 제2 대상 영역에 AR 화상 P13을 중첩한다. 즉, 수신기(200)는, AR 화상(P12 및 P13)이 중첩된 촬상 표시 화상 Pn을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P13은, 사용자에 대해서, 역명표에 표시되는 역 주변의 개요를 알리는 메시지이다. 또, AR 화상 P13은 촬상 표시 화상 Pn에 비추어지고 있는 송신기(100)의 영역의 크기와 동일하다.
또, 이 경우에도, 촬상 표시 화상 Pn의 제1 대상 영역에 화살표인 AR 화상 P12이 중첩되어 표시되기 때문에, 사용자는, 수신기(200)를 송신기(100)를 향한 상태로 송신기(100)에 가까워진다. 이러한 수신기(200)의 송신기(100)로의 접근에 의해서, 촬상 표시 화상 Pn에 비추어지고 있는 송신기(100)의 영역(전술의 기준 영역에 상당)은 한층 더 커진다. 그 영역의 크기가 제2 임계값 이상이 되면, 수신기(200)는, 예를 들면 도 266의 (c)에 나타내는 바와 같이, 제2 대상 영역에 중첩되고 있는 AR 화상 P13을 AR 화상 P14로 변경한다. 또한, 수신기(200)는, 제1 대상 영역에 중첩되고 있는 AR 화상 P12를 삭제한다.
즉, 수신기(200)는, AR 화상 P14가 중첩된 촬상 표시 화상 Pn을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P14는, 사용자에 대해서, 역명표에 표시되는 역 주변의 상세를 알리는 메시지이다. 또, AR 화상 P14는 촬상 표시 화상 Pn에 비추어지고 있는 송신기(100)의 영역의 크기와 동일하다. 이 송신기(100)의 영역은, 수신기(200)가 송신기(100)에 가까울수록 크다. 따라서, AR 화상 P14는, AR 화상 P13보다 크다.
이와 같이, 수신기(200)는, 송신기(100)에 가까워질수록 AR 화상을 크게 하고, 많은 정보를 표시한다. 또, AR 화상 P12과 같은 사용자에게 접근을 재촉하는 화살표가 표시되기 때문에, 송신기(100)에 가까워지면 많은 정보가 표시되는 것을 사용자에게 용이하게 파악시킬 수 있다.
도 267은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 266에 나타내는 예에서는, 수신기(200)는, 송신기(100)에 가까워지면 많은 정보를 표시시키지만, 송신기(100)와의 사이의 거리에 상관없이, 많은 정보를 예를 들면 송풍의 형태로 표시해도 된다.
구체적으로는, 수신기(200)는, 도 267에 나타내는 바와 같이, 송신기(100)를 촬상함으로써, 전술과 동일하게, 촬상 표시 화상 Po과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P15와 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Po 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 송신기(100)의 주위의 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P15를 중첩하고, AR 화상 P15가 중첩된 촬상 표시 화상 Po을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P15는 사용자에 대해서, 역명표에 표시되는 역 주변의 상세를 말풍선의 형태로 알리는 메시지이다.
이 경우, 촬상 표시 화상 Po의 대상 영역에 그 AR 화상 P15가 중첩되기 때문에, 수신기(200)의 사용자는 송신기(100)에 가까워지지 않아도 많은 정보를 수신기(200)에 표시시킬 수 있다.
도 268은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)의 다른 예를 나타내는 도면이다.
수신기(200)는, 전술의 예에서는 스마트 폰으로서 구성되어 있지만, 도 19~도 21 및 도 258에 나타내는 예와 동일하게, 이미지 센서를 구비한 헤드 마운트 디스플레이(안경이라고도 함)로서 구성되어 있어도 된다.
이러한 수신기(200)는, 복호용 화상의 일부의 복호 대상 영역에 대해서만 복호를 행하는 것에 의해서 광 ID를 취득한다. 예를 들면, 수신기(200)는, 도 268의 (a)에 나타내는 바와 같이, 시선 검출 카메라(203)를 구비하고 있다. 시선 검출 카메라(203)는 수신기(200)인 헤드 마운트 디스플레이를 장착하고 있는 사용자의 눈을 촬상한다. 수신기(200)는, 이 시선 검출 카메라(203)에 의한 촬상에 의해서 얻어진 눈의 화상에 근거하여 그 사용자의 시선을 검출한다.
수신기(200)는, 도 268의 (b)에 나타내는 바와 같이, 예를 들면, 사용자의 시야 중, 검출된 시선이 향해져 있는 영역에 시선 테두리(204)가 나타나도록, 그 시선 테두리(204)를 표시한다. 따라서, 이 시선 테두리(204)는, 사용자의 시선의 움직임에 따라 이동한다. 수신기(200)는, 복호용 화상 중, 그 시선 테두리(204) 내에 상당하는 영역을 복호 대상 영역으로서 취급한다. 즉, 수신기(200)는, 복호용 화상 중 복호 대상 영역 외에 휘선 패턴 영역이 있어도, 그 휘선 패턴 영역에 대한 복호를 행하지 않고, 복호 대상 영역 내의 휘선 패턴 영역에 대해서만 복호를 행한다. 이것에 의해, 복호용 화상에 복수의 휘선 패턴 영역이 있는 경우라도, 그러한 모든 휘선 패턴 영역에 대한 복호를 행하지 않기 때문에, 처리 부하를 경감시킬 수 있음과 함께, 불필요한 AR 화상의 표시를 억제할 수 있다.
또, 수신기(200)는, 각각 음성을 출력하기 위한 복수의 휘선 패턴 영역이 복호용 화상에 포함되어 있는 경우에는, 복호 대상 영역 내의 휘선 패턴 영역만을 복호하여, 그 휘선 패턴 영역에 대응하는 음성만을 출력해도 된다. 혹은, 수신기(200)는, 복호용 화상에 포함되는 복수의 휘선 패턴 영역의 각각을 복호하고, 복호 대상 영역 내의 휘선 패턴 영역에 대응하는 음성을 크게 출력하며, 복호 대상 영역 외의 휘선 패턴 영역에 대응하는 음성을 작게 출력해도 된다. 또, 복호 대상 영역 외에 복수의 휘선 패턴 영역이 있는 경우에는, 수신기(200)는 복호 대상 영역에 가까운 휘선 패턴 영역일수록 그 휘선 패턴 영역에 대응하는 음성을 크게 출력해도 된다.
도 269는, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 269에 나타내는 바와 같이, 표시 패널을 가지는 화상 표시 장치로서 구성되고, 그 표시 패널에 화상을 표시하면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다.
수신기(200)는, 송신기(100)를 촬상하는 것에 의해서, 전술과 동일하게 촬상 표시 화상 Pp과 복호용 화상을 취득한다.
이 때, 수신기(200)는, 복호용 화상에 있어서의 휘선 패턴 영역과 동일한 위치에 있고 그 휘선 패턴 영역과 동일한 크기의 영역을, 촬상 표시 화상 Pp 중에서 특정한다. 그리고, 수신기(200)는 그 영역의 일단으로부터 타단을 향해서 반복 이동하는 주사선 P100을 표시해도 된다.
이 주사선 P100이 표시되고 있는 동안, 수신기(200)는 복호용 화상에 대한 복호에 의해서 광 ID를 취득하고, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pp 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다.
이러한 대상 영역을 인식하면, 수신기(200)는, 주사선 P100의 표시를 종료하고, 그 대상 영역에 AR 화상을 중첩하며, 그 AR 화상이 중첩된 촬상 표시 화상 Pp을 디스플레이(201)에 표시한다.
이것에 의해, 송신기(100)의 촬상이 행해지고 나서 AR 화상이 표시될 때까지의 사이, 이동하는 주사선 P100이 표시되기 때문에, 광 ID 및 AR 화상의 판독 등의 처리가 행해지고 있는 것을 사용자에 대해서 알릴 수 있다.
도 270은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
2개의 송신기(100)는 각각, 예를 들면 도 270에 나타내는 바와 같이, 표시 패널을 가지는 화상 표시 장치로서 구성되고, 그 표시 패널에 동일한 정지 화상 PS을 표시하면서 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다. 여기서, 2개의 송신기(100)는 각각, 서로 상이한 양태로 휘도 변화하는 것에 의해서, 서로 상이한 광 ID(예를 들면 광 ID 「01」 및 「02」)를 송신하고 있다.
수신기(200)는, 도 265에 나타내는 예와 동일하게, 2개의 송신기(100)를 촬상하는 것에 의해서, 촬상 표시 화상 Pq과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID 「01」 및 「02 」를 취득한다.즉, 수신기(200)는 2개의 송신기(100) 중 한쪽으로부터 광 ID 「01」을 수신하고, 다른쪽으로부터 광 ID 「02」를 수신한다. 수신기(200)는, 그러한 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID 「01」에 대응하는 AR 화상(P16)과 인식 정보를 서버로부터 취득한다. 또한, 수신기(200)는, 광 ID 「02」에 대응하는 AR 화상(P17)과 인식 정보를 서버로부터 취득한다.
수신기(200)는, 촬상 표시 화상 Pq 중, 그러한 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 2개의 송신기(100)의 각각의 표시 패널이 비추어지고 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 광 ID 「01」에 대응하는 대상 영역에 AR 화상(P16)을 중첩하고, 광 ID 「02」에 대응하는 대상 영역에 AR 화상(P17)을 중첩한다. 그리고, 수신기(200)는 AR 화상(P16 및 P17)이 중첩된 촬상 표시 화상 Pq를 디스플레이(201)에 표시한다. 예를 들면, AR 화상(P16)은, 광 ID 「01」에 대응하는 송신기(100)의 표시 패널에 표시되고 있는 정지 화상 PS과 동일 또는 실질적으로 동일한 픽쳐를 표시순서로 선두의 픽쳐로서 가지는 동영상이다. 또, AR 화상(P17)은 광 ID 「02」에 대응하는 송신기(100)의 표시 패널에 표시되고 있는 정지 화상 PS과 동일 또는 실질적으로 동일한 픽쳐를 표시순서로 선두의 픽쳐로서 가지는 동영상이다. 즉, 각각 동영상인 AR 화상(P16) 및 AR 화상(P17)의 선두의 픽쳐는 동일하다. 그러나, AR 화상(P16) 및 AR 화상 P17은 서로 상이한 동영상으로서, 각각의 선두 이외의 픽쳐는 상이하다.
따라서, 이러한 AR 화상(P16) 및 AR 화상(P17)이 촬상 표시 화상 Pq에 중첩되기 때문에, 수신기(200)는, 동일한 픽쳐로부터 재생되는 서로 상이한 동영상을 표시하는 화상 표시 장치가 현실에 존재하듯이 촬상 표시 화상 Pq를 표시할 수 있다.
도 271은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)의 처리 동작의 일례를 나타내는 플로우 차트이다. 이 도 271의 플로우 차트에 의해서 표시되는 처리 동작은, 구체적으로는, 도 265에 나타내는 송신기(100)가 2개 있는 경우에, 그러한 송신기(100)를 개별적으로 촬상하는 수신기(200)의 처리 동작의 일례이다.
우선, 수신기(200)는, 제1 송신기(100)를 제1 피사체로서 촬상하는 것에 의해서 제1 광 ID를 취득한다(단계 S201). 다음에, 수신기(200)는, 촬상 표시 화상 중에서, 그 제1 피사체를 인식한다(단계 S202). 즉, 수신기(200)는, 제1 광 ID에 대응하는 제1 AR 화상 및 제1 인식 정보를 서버로부터 취득하고, 그 제1 인식 정보에 근거하여 제1 피사체를 인식한다. 그리고, 수신기(200)는, 그 제1 AR 화상인 제1 동영상의 재생을 최초부터 개시한다(단계 S203). 즉, 수신기(200)는, 제1 동영상의 선두의 픽쳐로부터 재생을 개시한다.
여기서, 수신기(200)는, 제1 피사체가 촬상 표시 화상으로부터 빗나갔는지 아닌지를 판정한다(단계 S204). 즉, 수신기(200)는, 촬상 표시 화상으로부터 제1 피사체를 인식할 수 없게 되었는지 아닌지를 판정한다. 여기서, 제1 피사체가 촬상 표시 화상으로부터 빗나갔다고 판정하면(단계 S204의 Y), 수신기(200)는, 제1 AR 화상인 제1 동영상의 재생을 중단한다(단계 S205).
다음에, 수신기(200)는, 제1 송신기(100)와는 상이한 제2 송신기(100)를 제2 피사체로서 촬상하는 것에 의해서, 단계 S201에서 취득된 제1 광 ID와는 상이한 제2 광 ID를 취득했는지 아닌지를 판정한다(단계 S206). 여기서, 수신기(200)는, 제2 광 ID를 취득했다고 판정하면(단계 S206의 Y), 제1 광 ID를 취득했을 때 이후의 단계 S202~S203와 동일한 처리를 행한다. 즉, 수신기(200)는, 촬상 표시 화상 중에서, 제2 피사체를 인식한다(단계 S207). 그리고, 수신기(200)는, 제2 광 ID에 대응하는 제2 AR 화상인 제2 동영상의 재생을 최초부터 개시한다(단계 S208). 즉, 수신기(200)는, 제2 동영상의 선두의 픽쳐로부터 재생을 개시한다.
한편, 수신기(200)는, 단계 S206에 있어서, 제2 광 ID를 취득하고 있지 않다고 판정하면(단계 S206의 N), 제1 피사체가 재차 촬상 표시 화상에 들어갔는지 아닌지를 판정한다(단계 S209). 즉, 수신기(200)는, 촬상 표시 화상으로부터 제1 피사체를 다시 인식했는지 아닌지를 판정한다. 여기서, 수신기(200)는, 제1 피사체가 촬상 표시 화상에 들어갔다고 판정하면(단계 S209의 Y), 추가로 미리 정해진 시간(즉 소정 시간)이 경과했는지 아닌지를 판정한다(단계 S210). 즉, 수신기(200)는, 제1 피사체가 촬상 표시 화상으로부터 빗나가고 나서 재차 들어가기까지에 있어서, 소정 시간이 경과했는지 아닌지를 판정한다. 여기서, 소정 시간이 경과하고 있지 않다고 판정하면(단계 S210의 Y), 수신기(200)는, 중단된 제1 동영상의 도중으로부터의 재생을 개시한다(단계 S211). 또한, 이 도중으로부터의 재생 개시시에 최초로 표시되는 제1 동영상의 픽쳐인 재생 재개 선두 픽쳐는, 제1 동영상의 재생이 중단되었을 때의 마지막에 표시된 픽쳐의 다음의 표시순서의 픽쳐라도 된다. 혹은, 재생 재개 선두 픽쳐는 마지막에 표시된 픽쳐로부터 n(n는 1이상의 정수)장만큼 표시순서로 앞인 픽쳐라도 된다.
한편, 소정 시간이 경과했다고 판정하면(단계 S210의 N), 수신기(200)는 중단된 제1 동영상의 최초로부터의 재생을 개시한다(단계 S212).
또, 전술의 예에서는, 수신기(200)는, 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하지만, 이 때에, AR 화상의 밝기를 조정해도 된다. 즉, 수신기(200)는, 서버로부터 취득한 AR 화상의 밝기가, 촬상 표시 화상의 대상 영역의 밝기와 일치하는지 아닌지를 판정한다. 그리고, 수신기(200)는, 일치하지 않는다고 판정하면, AR 화상의 밝기를 조정하는 것에 의해서, 그 AR 화상의 밝기를 대상 영역의 밝기에 일치시킨다. 그리고, 수신기(200)는 밝기가 조정된 AR 화상을 촬상 표시 화상의 대상 영역에 중첩한다. 이것에 의해, 중첩되는 AR 화상을, 보다 실재하는 오브젝트의 화상에 접근할 수 있어 사용자의 AR 화상에 대한 위화감을 억제할 수 있다. 또한, AR 화상의 밝기는, 그 AR 화상의 공간적인 평균의 밝기이며, 대상 영역의 밝기도, 그 대상 영역의 공간적인 평균의 밝기이다.
또, 수신기(200)는, 도 247에 나타내는 바와 같이, AR 화상을 탭하면, 그 AR 화상을 확대하여 디스플레이(201)의 전체에 표시해도 된다. 또, 도 247에 나타내는 예에서는, 수신기(200)는, AR 화상이 탭되는 그 AR 화상을 다른 AR 화상으로 전환하지만, 탭에 상관없이 자동적으로 AR 화상을 전환해도 된다. 예를 들면, 수신기(200)는 AR 화상이 표시되고 있는 시간이 미리 정해진 시간만큼 경과하면, 그 AR 화상을 다른 AR 화상으로 전환하여 표시한다. 또, 수신기(200)는, 현재 시각이 미리 정해진 시각이 되면, 그것까지 표시되고 있던 AR 화상을, 다른 AR 화상으로 전환하여 표시한다. 이것에 의해, 사용자는 조작을 행하지 않고 간단하게 새로운 AR 화상을 볼 수 있다.
［실시의 형태 23의 변형예 2］
이하, 실시의 형태 23의 변형예 2, 즉, 광 ID를 이용한 AR을 실현하는 표시 방법의 변형예 2에 대해 설명한다.
도 272는, 실시의 형태 23 또는 그 변형예 1에 있어서의 수신기(200)에 있어서 상정되는 AR 화상을 표시할 때의 과제의 일례를 나타내는 도면이다.
예를 들면, 실시의 형태 23 또는 그 변형예 1에 있어서의 수신기(200)는, 시각 t1에 피사체를 촬상한다. 또한, 전술의 피사체는, 휘도 변화에 의해서 광 ID를 송신하는 텔레비전 등의 송신기, 또는, 그 송신기로부터의 광에 의해서 비추어지는 포스터, 안내판, 혹은 간판 등이다. 그 결과, 수신기(200)는, 이미지 센서의 유효 화소 영역에 의해서 얻어지는 화상의 전체(이하, 전체 촬상 화상이라고 함)를, 디스플레이(201)에 촬상 표시 화상으로서 표시한다. 이 때, 수신기(200)는, 그 촬상 표시 화상 중, 광 ID에 근거하여 취득된 인식 정보에 따른 영역을, AR 화상이 중첩되는 대상 영역으로서 인식한다. 대상 영역은, 예를 들면 텔레비전 등의 송신기의 상 또는 포스터 등의 상을 나타내는 영역이다. 그리고, 수신기(200)는, 그 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, AR 화상이 중첩된 촬상 표시 화상을 디스플레이(201)에 표시한다. 또한, AR 화상은 정지 화면 또는 동영상이라도 좋고, 1개 이상의 문자 또는 기호로 이루어지는 문자열이어도 된다.
여기서, 수신기(200)의 사용자는, AR 화상을 크게 표시시키기 위해서 피사체에 가까워지면, 시각 t2에 있어서, 이미지 센서에 있어서의 대상 영역에 대응하는 영역(이하, 인식 영역이라고 함)이 유효 화소 영역으로부터 밀려나온다. 또한, 인식 영역은 이미지 센서의 유효 화소 영역 중, 촬상 표시 화상에 있어서의 대상 영역의 화상이 투영되는 영역이다. 즉, 이미지 센서에 있어서의 유효 화소 영역과 인식 영역은 각각, 디스플레이(201)에 있어서의 촬상 표시 화상 및 대상 영역에 상당한다.
인식 영역이 유효 화소 영역으로부터 밀려나오는 것에 의해서, 수신기(200)는 촬상 표시 화상으로부터 대상 영역을 인식할 수 없고, AR 화상을 표시할 수 없는 상태가 된다.
따라서, 본 변형예에 있어서의 수신기(200)는, 디스플레이(201)의 전체에 표시되는 촬상 표시 화상보다도 화각이 넓은 화상을 전체 촬상 화상으로서 취득한다.
도 273은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 예를 나타내는 도면이다.
본 변형예에 따른 수신기(200)의 전체 촬상 화상의 화각, 즉 이미지 센서의 유효 화소 영역의 화각은, 디스플레이(201)의 전체에 표시되는 촬상 표시 화상의 화각보다도 넓다. 또한, 이미지 센서에 있어서, 디스플레이(201)에 표시되는 화상 범위에 상당하는 영역을, 이하, 표시 영역이라고 한다.
예를 들면, 수신기(200)는, 시각 t1에, 피사체를 촬상한다. 그 결과, 수신기(200)는, 이미지 센서의 유효 화소 영역에 의해서 얻어지는 전체 촬상 화상 중, 유효 화소 영역보다도 좁은 표시 영역에 의해서 얻어지는 화상만을, 촬상 표시 화상으로서 디스플레이(201)에 표시한다. 이 때, 수신기(200)는, 전술과 동일하게, 그 전체 촬상 화상 중, 광 ID에 근거하여 취득된 인식 정보에 따른 영역을, AR 화상이 중첩되는 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, AR 화상이 중첩된 촬상 표시 화상을 디스플레이(201)에 표시한다.
여기서, 수신기(200)의 사용자는, AR 화상을 크게 표시시키기 위해서 피사체에 가까워지면, 이미지 센서에 있어서의 인식 영역이 확대된다. 그리고, 시각 t2 에 있어서, 그 인식 영역은 이미지 센서에 있어서의 표시 영역으로부터 밀려나온다. 즉, 디스플레이(201)에 표시되어 있는 촬상 표시 화상으로부터, 대상 영역의 화상(예를 들면, 포스터의 상 등)이 밀려나와 버린다. 그러나, 이미지 센서에 있어서의 인식 영역은, 유효 화소 영역으로부터는 밀려나오고 있지 않다. 즉, 수신기(200)는 시각 t2에 있어서도, 대상 영역을 포함한 전체 촬상 화상을 취득하고 있다. 그 결과, 수신기(200)는, 전체 촬상 화상으로부터 대상 영역을 인식할 수 있고, 대상 영역 중 촬상 표시 화상 내에 있는 일부의 영역에만, 그 영역에 대응하는 AR 화상의 일부를 중첩하여 디스플레이(201)에 표시한다.
이것에 의해, 사용자가 AR 화상을 크게 표시시키기 위해서 피사체에 가까워지고, 대상 영역이 촬상 표시 화상로부터 밀려나와도 AR 화상의 표시를 계속할 수 있다.
도 274는, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)의 처리 동작의 일례를 나타내는 플로우 차트이다.
수신기(200)는, 이미지 센서가 피사체를 촬상하는 것에 의해서 전체 촬상 화상 및 복호용 화상을 취득한다(단계 S301). 다음에, 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다(단계 S302). 다음에, 수신기(200)는, 그 광 ID를 서버에 송신한다(단계 S303). 다음에, 수신기(200)는, 그 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다(단계 S304). 다음에, 수신기(200)는 전체 촬상 화상 중, 인식 정보에 따른 영역을 대상 영역으로서 인식한다(단계 S305).
여기서, 수신기(200)는, 이미지 센서의 유효 화소 영역 중의, 그 대상 영역의 화상에 대응하는 영역인 인식 영역이, 표시 영역으로부터 밀려나오고 있는지 아닌지를 판정한다(단계 S306). 여기서, 밀려나오고 있다고 판정하면(단계 S306의 Yes), 수신기(200)는, 대상 영역 중, 촬상 표시 화상 내에 있는 일부의 영역에만, 그 영역에 대응하는 AR 화상의 일부를 표시한다(단계 S307). 한편, 수신기(200)는 밀려나오고 있지 않다고 판정하면(단계 S306의 No), 수신기(200)는, 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상을 표시한다(단계 S308).
그리고, 수신기(200)는 AR 화상의 표시 처리를 종료해야 할지 아닌지를 판정하고(단계 S309), 종료해서는 안된다고 판정하면(단계 S309의 No), 단계 S305로부터의 처리를 반복해 실행한다.
도 275는, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
수신기(200)는, 전술의 표시 영역에 대한 인식 영역의 크기의 비율에 따라서 AR 화상의 화면 표시를 전환해도 된다.
이미지 센서의 표시 영역의 수평 방향의 폭을 w1, 수직 방향의 폭을 h1로 하고, 인식 영역의 수평 방향의 폭을 w2, 수직 방향의 폭을 h2로 하는 경우, 수신기는 비율(h2/h1) 및 (w2/w1) 중의 큰 쪽의 비율을 임계값과 비교한다.
예를 들면, 수신기(200)는, 도 275의 (화면 표시 1)과 같이, AR 화상이 대상 영역에 중첩된 촬상 표시 화상을 표시하고 있을 때에는, 그 큰 쪽의 비율을, 제1 임계값(예를 들면, 0.9)과 비교한다. 그리고, 큰 쪽의 비율이 0.9 이상이 되었을 때에는, 수신기(200)는 도 275의 (화면 표시 2)와 같이, 디스플레이(201)의 전체에 AR 화상을 확대하여 표시한다. 또한, 인식 영역이 표시 영역보다 커졌을 때, 또한, 유효 화소 영역보다 커졌을 때에도, 수신기(200)는, 디스플레이(201)의 전체에 AR 화상을 확대하여 계속 표시한다.
또, 수신기(200)는, 예를 들면, 도 275의 (화면 표시 2)와 같이, 디스플레이(201)의 전체에 AR 화상을 확대하여 표시하고 있을 때에는, 그 큰 쪽의 비율을, 제2 임계값(예를 들면, 0.7)과 비교한다. 제2 임계값은 제1 임계값보다도 작다. 그리고, 큰 쪽의 비율이 0.7 이하가 되었을 때에는, 수신기(200)는, 도 275의 (화면 표시 1)과 같이, AR 화상이 대상 영역에 중첩된 촬상 표시 화상을 표시한다.
도 276은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우 차트이다.
수신기(200)는, 우선, 광 ID 처리를 행한다(단계 S301a). 이 광 ID 처리는, 도 274에 나타내는 단계 S301~S304를 포함한 처리이다. 다음에, 수신기(200)는, 촬상 표시 화상 중, 인식 정보에 따른 영역을 대상 영역으로서 인식한다(단계 S311). 그리고, 수신기(200)는 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상을 표시한다(단계 S312).
다음에, 수신기(200)는, 인식 영역의 비율, 즉 비율(h2/h1) 및 (w2/w1) 중의 큰 쪽의 비율이 제1 임계값 K(예를 들면 K=0.9) 이상인지 아닌지를 판정한다(단계 S313). 여기서, 제1 임계값 K 이상이 아니라고 판정하면(단계 S313의 No), 수신기(200)는 단계 S311로부터의 처리를 반복하여 실행한다. 한편, 제1 임계값 K 이상이라고 판정하면(단계 S313의 Yes), 수신기(200)는 AR 화상을 디스플레이(201)의 전체로 확대하여 표시한다(단계 S314). 이 때, 수신기(200)는, 이미지 센서의 전원을 온과 오프로 주기적으로 전환한다. 이미지 센서의 전원을 주기적으로 오프로 하는 것에 의해서, 수신기(200)의 전력 절약화를 도모할 수 있다.
다음에, 수신기(200)는, 이미지 센서의 전원이 주기적으로 온으로 되어 있을 때, 인식 영역의 비율이 제2 임계값 L(예를 들면 L=0.7) 이하인지 아닌지를 판정한다. 여기서, 제2 임계값 L 이하가 아니라고 판정하면(단계 S315의 No), 수신기(200)는 단계 S314로부터의 처리를 반복하여 실행한다. 한편, 제2 임계값 L 이하라고 판정하면(단계 S315의 Yes), 수신기(200)는, 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상을 표시한다(단계 S31 6).
그리고, 수신기(200)는, AR 화상의 표시 처리를 종료해야 할지 아닌지를 판정하고(단계 S317), 종료해서는 안된다고 판정하면(단계 S317의 No), 단계 S313로부터의 처리를 반복해 실행한다.
이와 같이, 제2 임계값 L를 제1 임계값 K보다도 작은 값으로 해 두는 것에 의해서, 수신기(200)의 화면 표시가 (화면 표시 1)과 (화면 표시 2)로 빈번하게 전환되는 것을 막아, 화면 표시 상태를 안정화시킬 수 있다.
또한, 도 275 및 도 276에 나타내는 예에서는, 표시 영역과 유효 화소 영역은 동일해도 되고, 상이해도 된다. 또, 그 예에서는, 표시 영역에 대한 인식 영역의 크기의 비율을 이용했지만, 표시 영역과 유효 화소 영역이 상이한 경우에는, 표시 영역 대신에, 유효 화소 영역에 대한 인식 영역의 크기의 비율을 이용해도 된다.
도 277은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 277에 나타내는 예에서는, 도 273에 나타내는 예와 동일하게, 수신기(200)의 이미지 센서는, 표시 영역보다도 넓은 유효 화소 영역을 가진다.
예를 들면, 수신기(200)는, 시각 t1에, 피사체를 촬상한다. 그 결과, 수신기(200)는, 이미지 센서의 유효 화소 영역에 의해서 얻어지는 전체 촬상 화상 중, 유효 화소 영역보다도 좁은 표시 영역에 의해서 얻어지는 화상만을, 촬상 표시 화상으로서 디스플레이(201)에 표시한다. 이 때, 수신기(200)는, 전술과 동일하게, 그 전체 촬상 화상 중, 광 ID에 근거하여 취득된 인식 정보에 따른 영역을, AR 화상이 중첩되는 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, AR 화상이 중첩된 촬상 표시 화상을 디스플레이(201)에 표시한다.
여기서, 사용자는, 수신기(200)(구체적으로는 이미지 센서)의 방향을 바꾸면, 이미지 센서에 있어서의 인식 영역이, 예를 들면 도 277 중 좌상 방향으로 이동하고, 시각 t2에서는, 표시 영역으로부터 밀려나온다. 즉, 디스플레이(201)에 표시되고 있는 촬상 표시 화상으로부터, 대상 영역의 화상(예를 들면, 포스터의 상 등)이 밀려나와 버린다. 그러나, 이미지 센서에 있어서의 인식 영역은, 유효 화소 영역으로부터는 밀려나오지 않았다. 즉, 수신기(200)는, 시각 t2에 있어서도, 대상 영역을 포함한 전체 촬상 화상을 취득하고 있다. 그 결과, 수신기(200)는, 전체 촬상 화상으로부터 대상 영역을 인식할 수 있고, 대상 영역 중 촬상 표시 화상 내에 있는 일부의 영역에만, 그 영역에 대응하는 AR 화상의 일부를 중첩하여 디스플레이(201)에 표시한다. 또한, 수신기(200)는, 이미지 센서에 있어서의 인식 영역의 움직임, 즉 전체 촬상 화상에 있어서의 대상 영역의 움직임에 따라 표시되는 AR 화상의 일부의 크기 및 위치를 변경한다.
또, 전술과 같이 인식 영역이 표시 영역으로부터 밀려나왔을 때에는, 수신기(200)는, 유효 화소 영역의 가장자리와, 표시 영역의 가장자리와의 사이의 거리(이하, 영역간 거리라고 함)에 대응하는 픽셀수를 임계값과 비교한다.
예를 들면, 유효 화소 영역의 상변과 표시 영역의 상변과의 사이와 거리와, 유효 화소 영역의 하변과 표시 영역의 하변과의 사이와 거리 중, 짧은 쪽의 거리(이하, 제1 거리라고 함)에 대응하는 픽셀수를 dh로 한다. 또, 유효 화소 영역의 좌변과 표시 영역의 좌변과의 사이와 거리와, 유효 화소 영역의 우변과 표시 영역의 우변과의 사이와 거리 중, 짧은 쪽의 거리(이하, 제2 거리라고 함)에 대응하는 픽셀수를 dw로 한다. 이 때, 전술의 영역간 거리는 제1 및 제2 거리 중의 짧은 쪽의 거리이다.
즉, 수신기(200)는, 픽셀수 dw, dh 중의 작은 분의 픽셀수를, 임계값 N과 비교한다. 그리고, 수신기(200)는, 예를 들면 시각 t2에 있어서, 그 작은 쪽의 픽셀수가 임계값 N 이하가 되면, 그 이미지 센서에 있어서의 인식 영역의 위치에 따라 AR 화상의 일부의 크기 및 위치를 변경하지 않고 고정한다. 즉, 수신기(200)는, AR 화상의 화면 표시를 전환한다. 예를 들면, 수신기(200)는, 표시되는 AR 화상의 일부의 크기 및 위치를, 그 작은 쪽의 픽셀수가 임계값 N이 되었을 때에 디스플레이(201)에 표시되고 있던 AR 화상의 일부의 크기 및 위치에 고정한다.
따라서, 시각 t3에 있어서, 인식 영역이 더욱 이동하여, 유효 화소 영역으로부터 밀려나오게 되어도, 수신기(200)는, 시각 t2와 동일하게 AR 화상의 일부를 계속 표시한다. 즉, 수신기(200)는 픽셀수 dw, dh 중의 작은 쪽의 픽셀수가 임계값 N 이하인 한, 시각 t2일 때와 동일하게, 크기 및 위치가 고정된 AR 화상의 일부를 촬상 표시 화상에 중첩하여 계속 표시한다.
도 277에 나타내는 예에서는, 수신기(200)는, 이미지 센서에 있어서의 인식 영역의 이동에 따라, 표시되는 AR 화상의 일부의 크기 및 위치를 변경했지만, AR 화상 전체의 표시 배율 및 위치를 변경해도 된다.
도 278은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다. 구체적으로는, 도 278은, AR 화상의 표시 배율이 변경되는 예를 나타낸다.
예를 들면, 도 277에 나타내는 예와 동일하게, 시각 t1의 상태로부터, 사용자는, 수신기(200)(구체적으로는 이미지 센서)의 방향을 바꾸면, 이미지 센서에 있어서의 인식 영역이, 예를 들면 도 278 중 좌상 방향으로 이동하고, 시각 t2에서는, 표시 영역으로부터 밀려나온다. 즉, 디스플레이(201)에 표시되고 있는 촬상 표시 화상으로부터, 대상 영역의 화상(예를 들면, 포스터의 상 등)이 밀려나와 버린다. 그러나, 이미지 센서에 있어서의 인식 영역은, 유효 화소 영역으로부터는 밀려나오지 않는다. 즉, 수신기(200)는, 시각 t2에 있어서도, 대상 영역을 포함한 전체 촬상 화상을 취득하고 있다. 그 결과, 수신기(200)는, 전체 촬상 화상으로부터 대상 영역을 인식할 수 있다.
따라서, 도 278에 나타내는 예에서는, 수신기(200)는, 대상 영역 중 촬상 표시 화상 내에 있는 일부의 영역의 사이즈에, AR 화상 전체의 사이즈가 일치하도록, 그 AR 화상의 표시 배율을 변경한다. 즉, 수신기(200)는 AR 화상을 축소한다. 그리고, 수신기(200)는, 표시 배율이 변경된(즉 축소된) AR 화상을 그 영역에 중첩하여 디스플레이(201)에 표시한다. 또한, 수신기(200)는, 이미지 센서에 있어서의 인식 영역의 움직임, 즉 전체 촬상 화상에 있어서의 대상 영역의 움직임에 따라서 표시되는 AR 화상의 표시 배율 및 위치를 변경한다.
또, 전술과 같이 인식 영역이 표시 영역으로부터 밀려나왔을 때에는, 수신기(200)는, 픽셀수 dw, dh 중의 작은 쪽의 픽셀수를, 임계값 N과 비교한다. 그리고, 수신기(200)는, 예를 들면 시각 t2에 있어서, 그 작은 쪽의 픽셀수가 임계값 N 이하가 되면, 그 이미지 센서에 있어서의 인식 영역의 위치에 따라 AR 화상의 표시 배율 및 위치를 변경하지 않고 고정한다. 즉, 수신기(200)는, AR 화상의 화면 표시를 전환한다. 예를 들면, 수신기(200)는, 표시되는 AR 화상의 표시 배율 및 위치를, 그 작은 쪽의 픽셀수가 임계값 N이 되었을 때에 디스플레이(201)에 표시되고 있던 AR 화상의 표시 배율 및 위치에 고정한다.
따라서, 시각 t3에 있어서, 인식 영역이 더욱 이동하여, 유효 화소 영역으로부터 밀려나오게 되어도, 수신기(200)는, 시각 t2와 동일하게 AR 화상을 계속 표시한다. 즉, 수신기(200)는 픽셀수 dw, dh 중의 작은 쪽의 픽셀수가 임계값 N 이하인 한, 시각 t2일 때와 동일하게, 표시 배율 및 위치가 고정된 AR 화상을 촬상 표시 화상에 중첩하여 계속 표시한다.
또한, 전술의 예에서는, 픽셀수 dw, dh 중의 작은 쪽과 임계값을 비교했지만, 그 작은 쪽의 픽셀수의 비율과 임계값을 비교해도 된다. 그 픽셀수 dw의 비율은, 예를 들면, 유효 화소 영역의 수평 방향의 픽셀수 w0에 대한 픽셀수 dw의 비율(dw/w0)이다. 동일하게 픽셀수 dh의 비율은, 예를 들면, 유효 화소 영역의 수직 방향의 픽셀수 h0에 대한 픽셀수 dh의 비율(dh/h0)이다. 또는, 유효 화소 영역의 수평 방향 또는 수직 방향의 픽셀수 대신에, 표시 영역의 수평 방향 또는 수직 방향의 픽셀수를 이용하여, 픽셀수 dw, dh의 각각의 비율을 나타내도 된다. 픽셀수 dw, dh의 비율과 비교되는 임계값은, 예를 들면 0.05이다.
또, 픽셀수 dw, dh 중의 작은 쪽의 화각과 임계값을 비교해도 된다. 유효 화소 영역의 대각선의 픽셀수가 m으로서, 그 대각선에 대응하는 화각이 θ(예를 들면 55°)인 경우, 픽셀수 dw에 대응하는 화각은 θ×dw/m이며, 픽셀수 dh에 대응하는 화각은 θ×dh/m이다.
또, 도 277 및 도 278에 나타내는 예에서는, 수신기(200)는, 유효 화소 영역과 인식 영역의 사이의 영역간 거리에 근거하여, AR 화상의 화면 표시를 전환했지만, 표시 영역과 인식 영역의 관계에 근거하여 AR 화상의 화면 표시를 전환해도 된다.
도 279는, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다. 구체적으로는, 도 279는, 표시 영역과 인식 영역과의 관계에 근거하여 AR 화상의 화면 표시를 전환하는 예를 나타낸다. 또, 도 279에 나타내는 예에서는, 도 273에 나타내는 예와 동일하게, 수신기(200)의 이미지 센서는 표시 영역보다도 넓은 유효 화소 영역을 가진다.
예를 들면, 수신기(200)는, 시각 t1에, 피사체를 촬상한다. 그 결과, 수신기(200)는 이미지 센서의 유효 화소 영역에 의해서 얻어지는 전체 촬상 화상 중, 유효 화소 영역보다도 좁은 표시 영역에 의해서 얻어지는 화상만을, 촬상 표시 화상으로서 디스플레이(201)에 표시한다. 이 때, 수신기(200)는, 전술과 동일하게, 그 전체 촬상 화상 중, 광 ID에 근거하여 취득된 인식 정보에 따른 영역을, AR 화상이 중첩되는 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, AR 화상이 중첩된 촬상 표시 화상을 디스플레이(201)에 표시한다.
여기서, 사용자는, 수신기(200)의 방향을 바꾸면, 수신기(200)는, 이미지 센서에 있어서의 인식 영역의 움직임에 따라, 표시되는 AR 화상의 위치를 변경시킨다. 그리고, 예를 들면, 이미지 센서에 있어서의 인식 영역이, 예를 들면 도 279중 좌상 방향으로 이동하고, 시각 t2에서는, 인식 영역의 가장자리의 일부와 표시 영역의 가장자리의 일부가 일치한다. 즉, 디스플레이(201)에 표시되고 있는 촬상 표시 화상의 구석에, 대상 영역의 화상(예를 들면 포스터 등의 상)이 배치된다. 그 결과, 수신기(200)는, 촬상 표시 화상의 구석에 있는 대상 영역에 AR 화상을 중첩하여 디스플레이(201)에 표시한다.
그리고, 인식 영역이 한층 더 이동하여 표시 영역으로부터 밀려나올 때에는, 수신기(200)는, 시각 t2로 표시되고 있던 AR 화상의 크기 및 위치를 변경하지 않고 고정한다. 즉, 수신기(200)는 AR 화상의 화면 표시를 전환한다.
따라서, 시각 t3에 있어서, 인식 영역이 더욱 이동하여, 유효 화소 영역으로부터 밀려나오게 되어도, 수신기(200)는, 시각 t2와 동일하게 AR 화상을 계속 표시한다. 즉, 수신기(200)는, 인식 영역이 표시 영역으로부터 밀려나오고 있는 한, 수신기(200)는, 시각 t2일 때와 동일한 사이즈의 AR 화상을, 촬상 표시 화상에 있어서의 시각 t2일 때와 동일한 위치에 중첩하여 계속 표시한다.
이와 같이, 도 279에 나타내는 예에서는, 수신기(200)는, 인식 영역이 표시 영역으로부터 밀려나오는지 아닌지에 따라서 AR 화상의 화면 표시를 전환한다. 또, 수신기(200)는 표시 영역을 포함하고, 그 표시 영역보다도 크고 유효 화소 영역보다도 작은 판정 영역을, 표시 영역 대신에 이용해도 된다. 이 경우, 수신기(200)는, 인식 영역이 판정 영역으로부터 밀려나오는지 아닌지에 따라서 AR 화상의 화면 표시를 전환한다.
이상, 도 273~도 279를 이용하여 AR 화상의 화면 표시에 대해 설명했지만, 수신기(200)는, 전체 촬상 화상으로부터 대상 영역을 인식할 수 없게 되었을 때에, 그 직전까지 인식되고 있던 대상 영역의 크기의 AR 화상을 촬상 표시 화상에 중첩하여 표시해도 된다.
도 280은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
또한, 도 243에 나타내는 예에서는, 수신기(200)는, 송신기(100)에 의해서 비추어진 안내판(107)을 촬상하는 것에 의해서, 전술과 동일하게, 촬상 표시 화상 Pe과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 안내판(107)으로부터 광 ID를 수신한다. 그러나, 안내판(107)의 표면 전체가, 광을 흡수하는 색(예를 들면 암색)이면, 그 표면은 송신기(100)에 의해서 비추어져도 어둡기 때문에, 수신기(200)는, 광 ID를 올바르게 수신할 수 없는 경우가 있다. 또는, 안내판(107)의 표면 전체가, 복호용 화상(즉 휘선 화상)과 동일한 줄무늬라도, 수신기(200)는, 광 ID를 올바르게 수신할 수 없는 경우가 있다.
따라서, 도 280에 나타내는 바와 같이, 안내판(107)의 근처에 반사판(109)을 배치해 두어도 된다. 이것에 의해, 수신기(200)는, 송신기(100)로부터 반사판(109)에 의해서 반사된 광, 즉, 송신기(100)로부터 송신되는 가시광(구체적으로는 광 ID)을 받을 수 있다. 그 결과, 수신기(200)는, 적절하게 광 ID를 수신하여 AR 화상 P5을 표시할 수 있다.
［실시의 형태 23의 변형예 1 및 2의 정리］
도 281A는, 본 발명의 일 양태에 따른 표시 방법을 나타내는 플로우 차트이다.
본 발명의 일 양태에 따른 표시 방법은, 단계 S41~S43를 포함한다.
단계 S41에서는, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업 되고 있는 대상물을 피사체로서 촬상 센서에 의해 촬상하는 것에 의해서, 촬상 화상을 취득한다. 단계 S42에서는, 그 촬상 화상으로부터 신호를 복호한다. 단계 S43에서는, 복호된 신호에 대응하는 동영상을 메모리로부터 독출하고, 촬상 화상 중의 그 피사체에 대응하는 대상 영역에, 동영상을 중첩시켜 디스플레이에 표시한다. 여기서, 단계 S43에서는, 그 동영상에 포함되는 복수의 화상 중 어느 하나의 화상으로서, 그 대상물을 포함한 화상과, 상기 대상물을 포함한 화상의 표시 시간에서 전후에 있는 소정의 수의 복수의 화상 중의 어느 하나의 화상으로부터, 그 동영상을 표시한다. 예를 들면, 그 소정의 수는 10 프레임이다. 혹은, 대상물은 정지 화면이며, 단계 S43에서는, 정지 화면과 동일한 화상으로부터 그 동영상을 표시한다. 또한, 동영상의 표시가 개시되는 화상은, 정지 화면과 동일한 화상에 한정하지 않고, 그 정지 화면과 동일한 화상, 즉 대상물을 포함한 화상으로부터, 표시순서로 소정의 프레임수만큼 전후에 있는 화상이어도 된다. 또, 대상물은, 정지 화면에 한정하지 않고, 인형 등이어도 된다.
또한, 촬상 센서 및 촬상 화상은, 예를 들면, 실시의 형태 23에 있어서의 이미지 센서 및 전체 촬상 화상이다. 또, 라이트 업 되는 정지 화면은, 화상 표시 장치의 표시 패널에 표시되는 정지 화상이어도 되고, 송신기로부터의 광에 의해서 비추어지는 포스터, 안내판, 혹은 간판 등이어도 된다.
또, 이러한 표시 방법은, 또한, 신호를 서버에 송신하는 송신 단계와, 그 신호에 대응하는 동영상을 서버로부터 수신하는 수신 단계를 포함해도 된다.
이것에 의해, 예를 들면 도 265에 나타내는 바와 같이, 정지 화면이 움직이기 시작하도록 가상 현실적으로 동영상을 표시할 수 있고, 사용자에게 유익한 화상을 표시할 수 있다.
또, 정지 화면은, 소정의 색의 외부 테두리을 갖고, 본 발명의 일 양태에 따른 표시 방법은, 또한, 그 소정의 색에 의해 촬상 화상으로부터 대상 영역을 인식하는 인식 단계를 포함해도 된다. 이 경우, 단계 S43에서는, 인식된 대상 영역의 사이즈와 동일해지도록 동영상을 리사이즈하고, 촬상 화상 중의 대상 영역에 리사이즈된 동영상을 중첩시켜 디스플레이에 표시해도 된다. 예를 들면, 소정의 색의 외부 테두리는, 정지 화면을 둘러싸는 백색 또는 흑색의 직사각형 테두리이며, 실시의 형태 23에 있어서의 인식 정보에 의해서 나타난다. 그리고, 실시의 형태 23에 있어서의 AR 화상이 동영상으로서 리사이즈되어 중첩된다.
이것에 의해, 동영상이 피사체로서 실재하도록 보다 현실적으로 그 동영상을 표시할 수 있다.
또, 촬상 센서의 촬상 영역 중, 그 촬상 영역보다 작은 영역인 표시 영역에 투영되는 화상만이 디스플레이에 표시된다. 이 경우, 단계 S43에서는, 그 촬상 영역에 있어서 피사체가 투영되고 있는 투영 영역이, 표시 영역보다도 큰 경우에는, 투영 영역 중, 표시 영역을 넘은 부분에 의해서 얻어지는 화상을, 디스플레이에 표시하지 않아도 된다. 여기서, 예를 들면 도 273에 나타내는 바와 같이, 촬상 영역 및 투영 영역은 이미지 센서의 유효 화소 영역 및 인식 영역이다.
이것에 의해, 예를 들면 도 273에 나타내는 바와 같이, 피사체인 정지 화면에 촬상 센서가 가까워지는 것에 의해서, 투영 영역(도 273의 인식 영역)에 의해서 얻어지는 화상의 일부가 디스플레이에 표시되지 않아도, 피사체인 정지 화면의 전체가 촬상 영역에 투영되고 있는 경우가 있다. 따라서, 이 경우에는, 피사체인 정지 화면을 적절하게 인식할 수 있고 촬상 화상 중의 피사체에 대응하는 대상 영역에, 동영상을 적절하게 중첩시킬 수 있다.
또, 예를 들면, 표시 영역의 수평 방향 및 수직 방향의 각각의 폭이, w1 및 h1이며, 투영 영역의 수평 방향 및 수직 방향의 각각의 폭이 w2 및 h2이다. 이 경우, 단계 S43에서는 h2/h1 또는 w2/w1 중 어느 하나의 큰 값이 소정의 값 이상인 경우에는, 동영상을 디스플레이의 전체 화면에 표시하고, h2/h1 또는 w2/w1 중 어느 하나의 큰 값이 소정의 값보다도 작은 경우에는, 촬상 화상 중의 대상 영역에 동영상을 중첩시켜 디스플레이에 표시해도 된다.
이것에 의해, 예를 들면 도 275에 나타내는 바와 같이, 피사체인 정지 화면에 촬상 센서가 가까워지면, 동영상이 전체 화면에 표시되기 때문에, 사용자는, 촬상 센서를 한층 더 정지 화면에 접근시켜 동영상을 크게 표시시킬 필요가 없다. 그 때문에, 촬상 센서를 정지 화면에 너무 접근시켜, 투영 영역(도 275의 인식 영역)이 촬상 영역(유효 화소 영역)으로부터 밀려나와 버리는 것에 의해서, 신호를 복호할 수 없게 되는 것을 억제할 수 있다.
또, 본 발명의 일 양태에 따른 표시 방법은, 또한, 동영상을 디스플레이의 전체 화면에 표시하는 경우에는, 촬상 센서의 동작을 오프로 하는 제어 단계를 포함하고 있어도 된다.
이것에 의해, 예를 들면 도 276의 단계 S314에 나타내는 바와 같이, 촬상 센서의 동작을 오프로 하는 것에 의해서, 촬상 센서의 소비 전력을 억제할 수 있다.
또, 단계 S43에서는, 촬상 센서가 이동함으로써, 촬상 화상으로부터 대상 영역을 인식할 수 없게 된 경우에는, 인식할 수 없게 되기 직전에 인식하고 있던 대상 영역의 사이즈와 동일한 사이즈로 동영상을 표시해도 된다. 또한, 촬상 화상으로부터 대상 영역을 인식할 수 없다는 것은, 예를 들면, 피사체인 정지 화면에 대응하는 대상 영역의 적어도 일부가 촬상 화상에 포함되어 있지 않은 상황이다. 이와 같이, 대상 영역을 인식할 수 없는 경우에는, 예를 들면 도 279의 시각 t3일 때와 같이, 직전에 인식하고 있던 대상 영역의 사이즈와 동일한 사이즈의 동영상이 표시된다. 따라서, 촬상 센서를 이동시켜 버렸기 때문에, 동영상의 적어도 일부가 표시되지 않게 되는 것을 억제할 수 있다.
또, 단계 S43에서는, 촬상 센서가 이동함으로써, 대상 영역 중 일부만이, 촬상 화상 중 디스플레이에 표시되는 영역에 포함되는 경우에는, 그 대상 영역의 일부에 대응하는 동영상의 공간 영역의 일부를, 대상 영역의 일부에 중첩시켜 디스플레이에 표시해도 된다. 또한, 동영상의 공간 영역의 일부란, 동영상을 구성하는 각 픽쳐 중 일부이다.
이것에 의해, 예를 들면 도 277의 시각 t2일 때와 같이, 동영상(도 277의 AR 화상)의 공간 영역의 일부만이 디스플레이에 표시된다. 그 결과, 촬상 센서가 피사체가 되는 정지 화면에 적절하게 향해져 있지 않은 것을 사용자에게 알릴 수 있다.
또, 단계 S43에서는, 촬상 센서가 이동함으로써, 촬상 화상으로부터 대상 영역을 인식할 수 없게 된 경우에는, 인식할 수 없게 되기 직전에 표시되고 있던, 대상 영역의 일부에 대응하는 동영상의 공간 영역의 일부를, 계속하여 표시해도 된다.
이것에 의해, 예를 들면 도 277의 시각 t3일 때와 같이, 사용자가, 피사체가 되는 정지 화면과 상이한 방향으로 촬상 센서를 향했을 때에도, 동영상(도 277의 AR 화상)의 공간 영역의 일부가 계속하여 표시된다. 그 결과, 촬상 센서를 어떻게 향하면 동영상의 전체가 표시될지를, 사용자가 파악하기 쉽게 할 수 있다.
또, 단계 S43에서는, 촬상 센서의 촬상 영역에 있어서의 수평 방향 및 수직 방향의 각각의 폭이 w0 및 h0이며, 촬상 영역에 있어서 피사체가 투영되고 있는 투영 영역과, 그 촬상 영역과의 사이의 수평 방향 및 수직 방향의 각각의 거리가, dh 및 dw인 경우, dw/w0 또는 dh/h0의 어느 하나의 작은 쪽의 값이, 소정값 이하인 경우에, 대상 영역을 인식할 수 없다고 판단해도 된다. 또한, 투영 영역은, 예를 들면 도 277에 나타내는 인식 영역이다. 또는, 단계 S43에서는, 촬상 센서의 촬상 영역에 있어서 피사체가 투영되고 있는 투영 영역과, 그 촬상 영역과의 사이의 수평 방향 및 수직 방향의 각각의 거리 중의 짧은 쪽에 대응하는 화각이 소정값 이하인 경우에, 대상 영역을 인식할 수 없다고 판단해도 된다.
이것에 의해, 대상 영역을 인식할 수 있는지 아닌지를 적절하게 판단할 수 있다.
도 281B는, 본 발명의 일 양태에 따른 표시 장치의 구성을 나타내는 블럭도이다.
본 발명의 일 양태에 따른 표시 장치(A10)는, 촬상 센서(A11)와 복호부(A12)와 표시 제어부(A13)를 구비한다.
촬상 센서(A11)는, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업 되고 있는 정지 화면을 피사체로서 촬상하는 것에 의해서, 촬상 화상을 취득한다.
복호부(A12)는, 그 촬상 화상으로부터 신호를 복호하는 복호부이다.
표시 제어부(A13)는, 복호된 신호에 대응하는 동영상을 메모리로부터 독출하고, 그 촬상 화상 중의 피사체에 대응하는 대상 영역에, 그 동영상을 중첩시켜 디스플레이에 표시한다. 여기서, 표시 제어부(A13)는 그 동영상에 포함되는 복수의 화상 중, 정지 화면과 동일한 화상인 선두 화상으로부터 그 복수의 화상을 순서대로 표시한다.
이것에 의해, 전술의 표시 방법과 동일한 효과를 나타낼 수 있다.
또, 촬상 센서(A11)는, 복수의 마이크로 미러와 포토 센서를 갖고, 표시 장치(A10)는, 또한, 촬상 센서를 제어하는 촬상 제어부를 구비해도 된다. 이 경우, 촬상 제어부는, 촬상 화상 중, 신호를 포함한 영역을 신호 영역으로서 특정하고, 복수의 마이크로 미러 중, 특정한 신호 영역에 대응하는 마이크로 미러의 각도를 제어한다. 그리고, 촬상 제어부는 복수의 마이크로 미러 중, 각도가 제어된 마이크로 미러에 의한 반사광만을, 전술의 포토 센서에 수광시킨다.
이것에 의해, 예를 들면 도 232A에 나타내는 바와 같이, 광의 휘도 변화에 의해서 표시되는 신호인 가시광 신호에 고주파 성분이 포함되어 있어도, 그 고주파 성분을 올바르게 복호할 수 있다.
또한, 상기 각 실시의 형태 및 각 변형예에 있어서, 각 구성 요소는, 전용의 하드웨어로 구성되거나, 각 구성 요소에 적합한 소프트웨어 프로그램을 실행하는 것에 의해서 실현되어도 된다. 각 구성 요소는 CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 독출하여 실행하는 것에 의해서 실현되어도 된다. 예를 들면 프로그램은 도 271, 도 274, 도 276 및 도 281A의 플로우 차트에 의해서 표시되는 표시 방법을 컴퓨터에 실행시킨다.
이상, 하나 또는 복수의 양태에 따른 표시 방법에 대해서, 상기 각 실시의 형태 및 각 변형예에 근거하여 설명했지만, 본 발명은, 이 실시의 형태에 한정되는 것은 아니다. 본 발명의 취지를 일탈하지 않는 한, 당업자가 생각하는 각종 변형을 본 실시의 형태에 실시한 것이나, 상이한 실시의 형태 및 변형예에 있어서의 구성요소를 조합하여 구축되는 형태도, 본 발명의 범위 내에 포함되어도 된다.
［실시의 형태 23의 변형예 3］
이하, 실시의 형태 23의 변형예 3, 즉, 광 ID를 이용한 AR을 실현하는 표시 방법의 변형예 3에 대해 설명한다.
도 282는, AR 화상의 확대 및 이동의 일례를 나타내는 도면이다.
수신기(200)는, 도 282의 (a)에 나타내는 바와 같이, 상기 실시의 형태 23 혹은 그 변형예 1 또는 2와 동일하게, 촬상 표시 화상 Ppre의 대상 영역에 AR 화상 P21을 중첩한다. 그리고, 수신기(200)는, 그 AR 화상 P21이 중첩된 촬상 표시 화상 Ppre을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P21은 동영상이다.
여기서, 수신기(200)는, 도 282의 (b)에 나타내는 바와 같이, 사이즈 변경의 지시를 접수하면, 그 지시에 따라 AR 화상 P21의 사이즈를 변경한다. 예를 들면, 수신기(200)는, 확대의 지시를 접수하면, 그 지시에 따라 AR 화상 P21을 확대한다. 사이즈 변경의 지시는, 사용자에 의한 AR 화상 P21에 대한 예를 들면 핀치 조작, 더블 탭 또는 길게 누름에 의해서 행해진다. 구체적으로는, 수신기(200)는, 핀치 아웃에 의해서 행해지는 확대의 지시를 접수하면, 그 지시에 따라 AR 화상 P21을 확대한다. 반대로, 수신기(200)는, 핀치 인에 의해서 행해지는 축소의 지시를 접수하면, 그 지시에 따라 AR 화상 P21을 축소한다.
또, 수신기(200)는, 도 282의 (c)에 나타내는 바와 같이, 위치 변경의 지시를 접수하면, 그 지시에 따라 AR 화상 P21의 위치를 변경한다. 위치 변경의 지시는, 사용자에 의한 AR 화상에 대한 예를 들면 스와이프 등에 의해서 행해진다. 구체적으로는, 수신기(200)는, 스와이프에 의해서 행해지는 위치 변경의 지시를 접수하면, 그 지시에 따라 AR 화상 P21의 위치를 변경한다. 즉, AR 화상 P21이 이동한다.
이것에 의해, 동영상인 AR 화상의 확대에 의해서, 그 AR 화상을 보다 보기 쉽게 할 수 있음과 함께, 동영상인 AR 화상의 축소 또는 이동에 의해서, AR 화상에 숨어 있는 촬상 표시 화상 Ppre의 영역을 사용자에게 표시할 수 있다.
도 283은, AR 화상의 확대의 일례를 나타내는 도면이다.
수신기(200)는, 도 283의 (a)에 나타내는 바와 같이, 상기 실시의 형태 23 혹은 그 변형예 1 또는 2와 동일하게, 촬상 표시 화상 Ppre의 대상 영역에 AR 화상 P22을 중첩한다. 그리고, 수신기(200)는, 그 AR 화상 P22이 중첩된 촬상 표시 화상 Ppre을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P22은, 문자열이 기재되어 있는 정지 화상이다.
여기서, 수신기(200)는, 도 283의 (b)에 나타내는 바와 같이, 사이즈 변경의 지시를 접수하면, 그 지시에 따라 AR 화상 P22의 사이즈를 변경한다. 예를 들면, 수신기(200)는, 확대의 지시를 접수하면, 그 지시에 따라 AR 화상 P22를 확대한다. 사이즈 변경의 지시는, 전술과 동일하게, 사용자에 의한 AR 화상 P22에 대한 예를 들면 핀치 조작, 더블 탭 또는 길게 누름에 의해서 행해진다. 구체적으로는, 수신기(200)는 핀치 아웃에 의해서 행해지는 확대의 지시를 접수하면, 그 지시에 따라 AR 화상 P22를 확대한다. 이 AR 화상 P22의 확대에 의해서, AR 화상 P22에 기재되어 있는 문자열을 사용자에 대해서 읽기 쉽게 할 수 있다.
또, 수신기(200)는, 도 283의 (c)에 나타내는 바와 같이, 추가로, 사이즈 변경의 지시를 접수하면, 그 지시에 따라 AR 화상 P22의 사이즈를 변경한다. 예를 들면, 수신기(200)는, 새로운 확대의 지시를 접수하면, 그 지시에 따라 AR 화상 P22을 한층 더 확대한다. 이 AR 화상 P22의 확대에 의해서, AR 화상 P22에 기재되어 있는 문자열을 사용자에 대해서 한층 더 읽기 쉽게 할 수 있다.
또한, 수신기(200)는, 확대의 지시를 접수했을 때에, 그 지시에 따른 AR 화상의 확대율이 임계값 이상이 되는 경우에는, 고해상도의 AR 화상을 취득해도 된다. 이 경우, 수신기(200)는, 이미 표시되고 있는 원래의 AR 화상 대신에, 그 고해상도의 AR 화상을 전술의 확대율까지 확대해 표시해도 된다. 예를 들면, 수신기(200)는 640×480 화소의 AR 화상 대신에, 1920×1080 화소의 AR 화상을 표시한다. 이것에 의해, AR 화상이 현실에 피사체로서 촬상되어 있듯이 그 AR 화상을 확대할 수 있음과 함께, 광학 줌으로는 얻어지지 않는 고해상도의 화상을 표시할 수 있다.
도 284는, 수신기(200)에 의한 AR 화상의 확대 및 이동에 관한 처리 동작의 일례를 나타내는 플로우 차트이다.
우선, 수신기(200)는, 도 239의 플로우 차트에 나타내는 단계 S101과 동일하게, 통상 노광 시간 및 통신용 노광 시간에 의한 촬상을 개시한다(단계 S401). 이 촬상이 개시되면, 통상 노광 시간에 의한 촬상 표시 화상 Ppre과 통신용 노광 시간에 의한 복호용 화상(즉 휘선 화상) Pdec이 각각 주기적으로 얻어진다. 그리고, 수신기(200)는, 그 복호용 화상 Pdec을 복호하는 것에 의해서 광 ID를 취득한다.
다음에, 수신기(200)는, 도 239의 플로우 차트에 나타내는 단계 S102~S106의 처리를 포함한 AR 화상 중첩 처리를 행한다(단계 S402). 이 AR 화상 중첩 처리가 행해지면, AR 화상이 촬상 표시 화상 Ppre에 중첩되어 표시된다. 이 때, 수신기(200)는, 광 ID 취득 레이트를 낮춘다(단계 S403). 광 ID 취득 레이트란, 단계 S401에 있어서 개시되는 촬상에 의해서 얻어지는 단위 시간 당의 촬상 화상의 매수 중, 복호용 화상(즉 휘선 화상) Pdec의 매수의 비율이다. 예를 들면, 광 ID 취득 레이트가 낮아지는 것에 의해서, 단위 시간 당 얻어지는 복호용 화상 Pdec의 매수는, 단위 시간 당 얻어지는 촬상 표시 화상 Ppre의 매수보다 적게 된다.
다음에, 수신기(200)는, 사이즈 변경의 지시를 접수했는지 아닌지를 판정한다(단계 S404). 여기서, 사이즈 변경의 지시를 접수했다고 판정하면(단계 S404의 Yes), 수신기(200)는, 또한, 그 사이즈 변경의 지시가 확대의 지시인지 아닌지를 판정한다(단계 S405). 사이즈 변경의 지시가 확대의 지시라고 판정하면(단계 S405의 Yes), 수신기(200)는 또한, AR 화상의 재취득이 필요한지 아닌지를 판정한다(단계 S406). 예를 들면, 수신기(200)는, 확대의 지시에 따른 AR 화상의 확대율이 임계값 이상이 된다고 판단한 경우에, AR 화상의 재취득이 필요하다고 판정한다. 여기서, 수신기(200)는, 재취득이 필요로 판정하면(단계 S406의 Yes), 고해상도의 AR 화상을 예를 들면 서버로부터 취득하고, 중첩하여 표시되고 있는 AR 화상을, 그 고해상도의 AR 화상으로 치환한다(단계 S407).
그리고, 수신기(200)는, 접수된 사이즈 변경의 지시에 따라 AR 화상의 사이즈를 변경한다(단계 S408). 즉, 단계 S407에서 고해상도의 AR 화상을 취득한 경우에는, 수신기(200)는, 그 고해상도의 AR 화상을 확대한다. 또, 단계 S406에서, AR 화상의 재취득이 불필요로 판정된 경우에는(단계 S406의 No), 수신기(200)는, 중첩되고 있는 AR 화상을 확대한다. 또, 단계 S405에서, 사이즈 변경의 지시가 축소의 지시라고 판정하면(단계 S405의 No), 수신기(200)는 접수된 사이즈 변경의 지시, 즉 축소의 지시에 따라 중첩하여 표시되고 있는 AR 화상을 축소한다.
한편, 수신기(200)는, 단계 S404에서, 사이즈 변경의 지시를 접수하고 있지 않다고 판정하면(단계 S404의 No), 위치 변경의 지시를 접수했는지 아닌지를 판정한다(단계 S409). 여기서, 위치 변경의 지시를 접수했다고 판정하면(단계 S409의 Yes), 수신기(200)는 그 위치 변경의 지시에 따라, 중첩하여 표시되고 있는 AR 화상의 위치를 변경한다(단계 S410). 즉, 수신기(200)는, AR 화상을 이동시킨다. 또, 위치 변경의 지시를 접수하고 있지 않다고 판정하면(단계 S409의 No), 수신기(200)는 단계 S404로부터의 처리를 반복하여 실행한다.
단계 S408에서 AR 화상의 사이즈가 변경되면, 또는, 단계 S410에서 AR 화상의 위치가 변경되면, 수신기(200)는, 단계 S401로부터 주기적으로 취득되고 있는 광 ID가, 취득되지 않게 되었는지 아닌지를 판정한다(단계 S411). 여기서, 광 ID가 취득되지 않게 되었다고 판정하면(단계 S411의 Yes), 수신기(200)는, AR 화상의 확대 및 이동에 관한 처리 동작을 종료한다. 한편, 현재도 광 ID가 취득되고 있다고 판정하면(단계 S411의 No), 수신기(200)는, 단계 S404로부터의 처리를 반복하여 실행한다.
도 285는, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
수신기(200)는, 전술과 같이, 촬상 표시 화상 Ppre 중의 대상 영역에 AR 화상 P23을 중첩한다. 여기서, 도 285에 나타내는 바와 같이, AR 화상 P23은, AR 화상 P23의 각 부위가 AR 화상 P23의 끝에 가까울수록 그 부위에 있어서의 투과율이 높아지도록 구성되어 있다. 투과율은, 중첩되는 화상이 비쳐 표시되는 정도이다. 예를 들면, AR 화상의 전체의 투과율이 100%란, 촬상 표시 화상의 대상 영역에 AR 화상이 중첩되어 있어도, 디스플레이(201)에는 그 AR 화상이 표시되지 않고 대상 영역만이 표시되는 것을 의미한다. 반대로, AR 화상의 전체의 투과율이 0%란, 디스플레이(201)에는 촬상 표시 화상의 대상 영역은 표시되지 않고, 그 대상 영역에 중첩되고 있는 AR 화상만이 표시되는 것을 의미한다.
예를 들면, AR 화상 P23이 직사각형상인 경우, AR 화상 P23에 있어서의 각 부위의 투과율은, 그 부위가 직사각형의 상단, 하단, 좌단 또는 우단에 가까울수록 높다. 보다 구체적으로는, 그러한 끝에 있어서의 투과율은 100%이다. 또, AR 화상 P23의 중앙 부분에는, AR 화상 P23보다 작은 투과율 0%의 직사각형 영역이 있고, 그 직사각형 영역에는, 예를 들면 「Kyoto Station」이라고 영어로 기재되어 있다. 즉, AR 화상 P23의 둘레 가장자리부에서는, 투과율이 그라데이션과 같이 0%에서 100%까지 단계적으로 변화하고 있다.
수신기(200)는, 이러한 AR 화상 P23을, 도 285에 나타내는 바와 같이, 촬상 표시 화상 Ppre 중의 대상 영역에 중첩한다. 이 때, 수신기(200)는, AR 화상 P23의 사이즈를 대상 영역의 사이즈에 맞추어, 그 리사이즈된 AR 화상 P23을 대상 영역에 중첩한다. 예를 들면, 대상 영역에는, AR 화상 P23의 중앙부에 있는 직사각형 영역과 동일한 배경색의 역명표의 상이 표시되어 있다. 또한, 역명표에는 일본어로 「쿄토」라고 기재되어 있다.
여기서, 전술과 같이, AR 화상 P23의 각 부위의 투과율은, 그 부위가 AR 화상 P23의 끝 가까울수록 높다. 따라서, 대상 영역에 AR 화상 P23이 중첩되면, AR 화상 P23의 중앙 부분의 직사각형 영역은 표시되어도, 그 AR 화상 P23의 끝은 표시되지 않고, 대상 영역의 끝, 즉, 역명표의 상의 끝이 표시된다.
이것에 의해, AR 화상 P23과 대상 영역과의 어긋남을 눈에 띄기 어렵게 할 수 있다. 즉, AR 화상 P23이 대상 영역에 중첩되어도, 수신기(200)의 움직임 등에 의해서, AR 화상 P23과 대상 영역과의 사이에 어긋남이 생기는 일이 있다. 이 경우, 만일 AR 화상 P23의 전체의 투과율이 0%이면, AR 화상 P23의 끝과 대상 영역의 끝이 표시되고 그 어긋남이 눈에 띄어 버린다. 그러나, 본 변형예에 있어서의 AR 화상 P23에서는, 끝에 가까운 부위일수록 그 부위의 투과율이 높기 때문에, AR 화상 P23의 끝이 표시되기 어렵게 할 수 있고, 그 결과, AR 화상 P23과 대상 영역과의 사이의 어긋남을 눈에 띄기 어렵게 할 수 있다. 또한, AR 화상 P23의 둘레 가장자리부에서는, 그라데이션과 같이 투과율이 변화하고 있기 때문에, AR 화상 P23이 대상 영역에 중첩되어 있는 것을 눈에 띄기 어렵게 할 수 있다.
도 286은, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
수신기(200)는, 전술과 같이, 촬상 표시 화상 Ppre 중의 대상 영역에 AR 화상 P24을 중첩한다. 여기서, 도 286에 나타내는 바와 같이, 촬상되는 피사체는, 예를 들면 음식점의 메뉴이다. 이 메뉴는 흰 테두리에 둘러싸이고, 또한, 그 흰 테두리는 검은 테두리에 둘러싸여져 있다. 즉, 피사체는, 메뉴와 그 메뉴를 둘러싸는 흰 테두리와 그 흰 테두리를 둘러싸는 검은 테두리를 포함한다.
수신기(200)는, 촬상 표시 화상 Ppre 중의, 흰 테두리의 상보다도 크고, 검은 테두리의 상보다도 작은 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, AR 화상 P24의 사이즈를 그 대상 영역의 사이즈에 맞추어, 그 리사이즈된 AR 화상 P24을 대상 영역에 중첩한다.
이것에 의해, 중첩되어 있는 AR 화상 P24이, 수신기(200)의 움직임 등에 의해서, 대상 영역으로부터 어긋나 버린 경우라도, 그 AR 화상 P24을, 검은 테두리에 둘러싸인 상태로 계속 표시시킬 수 있다. 따라서, AR 화상 P24과 대상 영역과의 사이의 어긋남을 눈에 띄기 어렵게 할 수 있다.
또한, 도 286에 나타내는 예에서는, 테두리의 색은 검은색 또는 흰색이지만, 이러한 색에 한정되지 않고, 어떠한 색이어도 된다.
도 287은, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
예를 들면, 수신기(200)는, 밤하늘에 라이트 업된 성이 그려진 포스터를 피사체로서 촬상한다. 예를 들면, 이 포스터는, 백 라이트로서 구성된 전술의 송신기(100)에 의해서 비추어지고, 그 백 라이트에 의해서 가시광 신호(즉 광 ID)를 송신하고 있다. 수신기(200)는, 그 촬상에 의해서, 그 포스터인 피사체의 상을 포함한 촬상 표시 화상 Ppre과, 그 광 ID에 대응하는 AR 화상 P25을 취득한다. 여기서, AR 화상 P25은 잔술의 성이 그려져 있는 영역이 골라내어진 포스터의 상과 동일한 형상을 가진다. 즉, AR 화상 P25에 있어서의, 포스터의 상의 성에 대응하는 영역은, 마스킹되어 있다. 또한, AR 화상 P25은, 전술의 AR 화상 P23과 동일하게, AR 화상 P25의 각 부위가 AR 화상 P25의 끝에 가까울수록 그 부위에 있어서의 투과율이 높아지도록 구성되어 있다. 또, AR 화상 P25에 있어서 투과율이 0%인 중앙 부분에는, 밤하늘에 쏘아 올려지는 불꽃이 동영상으로서 표시된다.
수신기(200)는, 이러한 AR 화상 P25의 사이즈를, 피사체의 상인 대상 영역의 사이즈에 맞추어, 그 리사이즈된 AR 화상 P25을 대상 영역에 중첩한다. 그 결과, 포스터에 그려져 있는 성은, AR 화상이 아니라, 피사체의 상으로서 표시되고 또한, 불꽃의 동영상이 AR 화상으로서 표시된다.
이것에 의해, 포스터 안에서 현실로 불꽃이 쏘아 올려지고 있듯이 촬상 표시 화상 Ppre을 표시할 수 있다. 또, AR 화상 P25의 각 부위의 투과율은, 그 부위가 AR 화상 P25의 끝에 가까울수록 높다. 따라서, 대상 영역에 AR 화상 P25이 중첩되면, AR 화상 P25의 중앙 부분은 표시되어도, 그 AR 화상 P25의 구석은 표시되지 않고, 대상 영역의 끝이 표시된다. 그 결과, AR 화상 P25과 대상 영역과의 어긋남을 눈에 띄기 어렵게 할 수 있다. 또한, AR 화상 P25의 둘레 가장자리부에서는, 그라데이션과 같이 투과율이 변화하고 있기 때문에, AR 화상 P25이 대상 영역에 중첩되고 있는 것을 눈에 띄기 어렵게 할 수 있다.
도 288은, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
예를 들면, 수신기(200)는, 텔레비전으로서 구성되어 있는 송신기(100)를 피사체로서 촬상한다. 구체적으로는, 이 송신기(100)는, 밤하늘에 라이트 업된 성을 디스플레이에 표시함과 함께, 가시광 신호(즉 광 ID)를 송신하고 있다. 수신기(200)는, 그 촬상에 의해서, 송신기(100)가 비추어진 촬상 표시 화상 Ppre과 그 광 ID에 대응하는 AR 화상 P26을 취득한다. 여기서, 수신기(200)는, 우선, 촬상 표시 화상 Ppre을 디스플레이(201)에 표시한다. 이 때, 수신기(200)는, 디스플레이(201)에, 사용자에게 소등을 재촉하는 메시지 m도 표시한다. 구체적으로는, 그 메시지 m는, 예를 들면 「방의 조명을 오프로 하고, 방을 어둡게 해 주세요」이다.
이 메시지 m의 표시에 의해서, 사용자가 소등하고, 송신기(100)가 설치되어 있는 방이 어두워지면, 수신기(200)는, AR 화상 P26을 촬상 표시 화상 Ppre에 중첩하여 표시한다. 여기서, AR 화상 P26은 촬상 표시 화상 Ppre과 동일한 사이즈로서, 그 AR 화상 P26에 있어서의, 촬상 표시 화상 Ppre의 성에 대응하는 영역은 도려내어져 있다. 즉, AR 화상 P26에 있어서의, 촬상 표시 화상 Ppre의 성에 대응하는 영역은 마스킹되어 있다. 따라서, 그 영역으로부터 촬상 표시 화상 Ppre의 성을 사용자에게 보이게 할 수 있다. 또, AR 화상 P26에 있어서의 그 영역의 둘레 가장자리부에서는, 전술과 동일하게, 투과율이 그라데이션과 같이 0%에서 100%까지 단계적으로 변화하고 있어도 된다. 이 경우에는, 촬상 표시 화상 Ppre과 AR 화상 P26과의 사이의 어긋남을 눈에 띄기 어렵게 할 수 있다.
전술의 예에서는, 둘레 가장자리부의 투과율이 높은 AR 화상을, 촬상 표시 화상 Ppre의 대상 영역에 중첩하는 것에 의해서, AR 화상과 대상 영역과의 어긋남을 눈에 띄기 어렵게 하고 있다. 그러나, 이러한 AR 화상 대신에, 촬상 표시 화상 Ppre과 동일한 사이즈로서, 전체가 반투명(즉 투과율이 50%)인 AR 화상을 촬상 표시 화상 Ppre에 중첩해도 된다. 이 경우라도, AR 화상과 대상 영역과의 어긋남을 눈에 띄기 어렵게 할 수 있다. 또, 촬상 표시 화상 Ppre이 전체적으로 밝은 경우에는, 균일하게 투명도가 낮은 AR 화상을 촬상 표시 화상 Ppre에 중첩하고, 반대로, 촬상 표시 화상 Ppre이 전체적으로 어두운 경우에는 균일하게 투명도가 높은 AR 화상을 촬상 표시 화상 Ppre에 중첩해도 된다.
또한, AR 화상 P25 및 AR 화상 P26의 불꽃 등의 오브젝트는, CG(computer graphics)에 의해서 표현되어도 된다. 이 경우에는, 마스킹을 불필요하게 할 수 있다. 또, 도 288에 나타내는 예에서는, 수신기(200)는, 사용자에게 소등을 재촉하는 메시지 m를 표시하지만, 이러한 표시를 행하지 않고, 자동적으로 소등해도 된다. 예를 들면, 수신기(200)는 Bluetooth(등록상표), ZigBee, 또는 특정 소전력 무선국 등에 의해서, 텔레비전인 송신기(100)가 설정되어 있는 조명 장치에 대해서 소등 신호를 출력한다. 이것에 의해서, 자동적으로 조명 장치의 소등이 행해진다.
도 289A는, 수신기(200)에 의한 촬상에 의해서 얻어지는 촬상 표시 화상 Ppre의 일례를 나타내는 도면이다.
예를 들면, 송신기(100)는, 스타디움에 설치되어 있는 대형 디스플레이로서 구성되어 있다. 그리고, 송신기(100)는, 예를 들면 패스트 푸드 및 드링크의 주문이 광 ID로 가능한 것을 나타내는 메시지를 표시함과 함께, 가시광 신호(즉 광 ID)를 송신한다. 이러한 메시지가 표시되면, 사용자는 수신기(200)를 송신기(100)를 향하여 촬상을 행한다. 즉, 수신기(200)는, 스타디움에 설치되어 있는 대형 디스플레이로서 구성되어 있는 송신기(100)를 피사체로서 촬상한다.
수신기(200)는, 그 촬상에 의해서 촬상 표시 화상 Ppre와 복호용 화상 Pdec을 취득한다. 그리고, 수신기(200)는, 그 복호용 화상 Pdec을 복호하는 것에 의해서 광 ID를 취득하고, 그 광 ID와 촬상 표시 화상 Ppre을 서버에 송신한다.
서버는, 광 ID 마다, 그 광 ID에 대응시켜진 설치 정보 중에서, 수신기(200)로부터 송신된 광 ID에 대응시켜진, 촬상된 대형 디스플레이의 설치 정보를 특정한다. 예를 들면, 설치 정보는, 대형 디스플레이가 설치되어 있는 위치 및 방향과 그 대형 디스플레이의 크기와 등을 나타낸다. 또한, 서버는, 그 촬상 표시 화상 Ppre에 비추어져 있는 대형 디스플레이의 크기 및 방향과 그 설치 정보에 근거하여, 스타디움에 있어서 그 촬상 표시 화상 Ppre의 촬상이 행해진 좌석의 번호를 특정한다. 그리고, 서버는, 그 좌석의 번호를 포함한 메뉴 화면을 수신기(200)에 표시시킨다.
도 289B는, 수신기(200)의 디스플레이(201)에 표시되는 메뉴 화면의 일례를 나타내는 도면이다.
메뉴 화면(m1)은, 예를 들면 상품마다, 그 상품의 주문수가 입력되는 입력란(ma1)과 서버에 의해서 특정된 스타디움의 좌석의 번호가 기재되어 있는 좌석란(mb1)과, 주문 버튼(mc1)을 포함한다. 사용자는, 수신기(200)를 조작하는 것에 의해서, 원하는 상품에 대응하는 입력란(ma1)에 그 상품의 주문수를 입력하고, 주문 버튼(mc1)을 선택한다. 이것에 의해, 주문이 확정되고 수신기(200)는, 그 입력 결과에 따른 주문 내용을 서버에 송신한다.
서버는, 그 주문 내용을 수신하면, 그 주문 내용에 따른 주문수의 상품을 전술과 같이 특정된 번호의 좌석에 닿게 하도록 스타디움의 스탭에게 지시한다.
도 290은, 수신기(200)와 서버와의 처리 동작의 일례를 나타내는 플로우 차트이다.
수신기(200)는, 우선, 스타디움의 대형 디스플레이로서 구성되어 있는 송신기(100)를 촬상한다(단계 S421). 수신기(200)는, 그 촬상에 의해서 얻어지는 복호용 화상 Pdec을 복호하는 것에 의해서, 송신기(100)로부터 송신되는 광 ID를 취득한다(단계 S422). 수신기(200)는 단계 S422에서 취득된 광 ID와, 단계 S421의 촬상에 의해서 얻어진 촬상 표시 화상 Ppre를 서버에 송신한다(단계 S423).
서버는, 그 광 ID 및 촬상 표시 화상 Ppre를 수신하면(단계 S424), 그 광 ID에 근거하여, 스타디움에 설치되어 있는 대형 디스플레이의 설치 정보를 특정한다(단계 S425). 예를 들면, 서버는, 광 ID 마다, 그 광 ID에 대응시켜진 대형 디스플레이의 설치 정보를 나타내는 테이블을 보관 유지하고, 수신기(200)로부터 송신된 광 ID에 대응시켜진 설치 정보를 그 테이블로부터 검색하는 것에 의해서, 그 설치 정보를 특정한다.
다음에, 서버는, 그 특정된 설치 정보와 촬상 표시 화상 Ppre에 비쳐 있는 대형 디스플레이의 크기 및 방향에 근거하여, 스타디움에 있어서, 그 촬상 표시 화상 Ppre의 취득(즉 촬상)이 행해진 좌석의 번호를 특정한다(단계 S426). 그리고, 서버는, 특정된 좌석의 번호를 포함한 메뉴 화면(m1)의 URL(Uniform Resource Locator)을 수신기(200)에 송신한다(단계 S427).
수신기(200)는, 서버로부터 송신된 메뉴 화면(m1)의 URL를 수신하면(단계 S428), 그 URL에 액세스하고, 메뉴 화면(m1)을 표시한다(단계 S429). 여기서, 사용자는, 수신기(200)를 조작하는 것에 의해서, 주문 내용을 메뉴 화면(m1)에 입력하고, 주문 버튼 mc1을 선택하는 것에 의해서 주문을 확정한다. 이것에 의해, 수신기(200)는 주문 내용을 서버에 송신한다(단계 S430).
서버는, 그 수신기(200)로부터 송신된 주문 내용을 수신하면, 그 주문 내용에 따른 수주 처리를 행한다(단계 S431). 이 때, 서버는, 예를 들면, 그 주문 내용에 따른 주문수의 상품을, 단계 S426에서 특정된 번호의 좌석에 닿도록 스타디움의 스탭에게 지시한다.
이와 같이, 수신기(200)에 의한 촬상에 의해서 얻어진 촬상 표시 화상 Ppre에 근거하여, 좌석의 번호가 특정되기 때문에, 수신기(200)의 사용자는, 상품의 주문 시에 일부러 좌석의 번호를 입력할 필요가 없다. 따라서, 사용자는, 좌석의 번호의 입력을 생략해 간단하게 상품의 주문을 행할 수 있다.
또한, 전술의 예에서는, 서버가 좌석의 번호를 특정했지만, 수신기(200)가 좌석의 번호를 특정해도 된다. 이 경우에는, 수신기(200)는, 서버로부터 설치 정보를 취득하여, 그 설치 정보와 촬상 표시 화상 Ppre에 비쳐 있는 대형 디스플레이의 크기 및 방향에 근거하여 좌석의 번호를 특정한다.
도 291은, 수신기(1800a)에 의해서 재생되는 음성의 음량을 설명하기 위한 도면이다.
수신기(1800a)는, 도 123에 나타내는 예와 동일하게, 예를 들면 가두 디지털 사이니지로서 구성되는 송신기(1800b)로부터 송신된 광 ID(가시광 신호)를 수신한다. 그리고, 수신기(1800a)는, 송신기(1800b)에 의한 화상 재생과 동일한 타이밍으로, 음성을 재생한다. 즉, 수신기(1800a)는, 송신기(1800b)에 의해서 재생되는 화상과 동기하도록 음성을 재생한다. 또한, 수신기(1800a)는 송신기(1800b)에 의해서 재생되는 화상(재생 화상)과 동일한 화상, 또는, 그 재생 화상에 관련된 AR 화상(AR의 동영상)을, 음성과 함께 재생해도 된다.
여기서, 수신기(1800a)는, 전술과 같이 음성을 재생할 때에는, 송신기(1800b)까지의 거리에 따라 그 음성의 음량을 조정한다. 구체적으로는, 수신기(1800a)는 송신기(1800b)까지의 거리가 길수록 음량을 작게 조정하고, 반대로, 송신기(1800b)까지의 거리가 짧을수록 음량을 크게 조정한다.
수신기(1800a)는, 송신기(1800b)까지의 거리를, GPS(Global Positioning System) 등을 이용해 특정해도 된다. 구체적으로는, 수신기(1800a)는 광 ID에 대응시켜진 송신기(1800b)의 위치 정보를 서버 등으로부터 취득하고, 또한, GPS에 의해서 수신기(1800a)의 위치를 특정한다. 그리고, 수신기(1800a)는 서버로부터 취득된 위치 정보에 의해서 표시되는 송신기(1800b)의 위치와, 특정된 수신기(1800a)의 위치와의 사이의 거리를, 전술의 송신기(1800b)까지의 거리로서 특정한다. 또한, 수신기(1800a)는 GPS 대신에 Bluetooth(등록상표) 등을 이용하여, 송신기(1800b)까지의 거리를 특정해도 된다.
또, 수신기(1800a)는, 촬상에 의해서 얻어지는 전술의 복호용 화상 Pdec의 휘선 패턴 영역의 크기에 근거하여, 송신기(1800b)까지의 거리를 특정해도 된다. 휘선 패턴 영역은, 도 245 및 도 246에 나타내는 예와 동일하게, 수신기(1800a)의 이미지 센서가 가지는 복수의 노광 라인의 통신용 노광 시간에서의 노광에 의해서 표시되는 복수의 휘선의 패턴으로 이루어지는 영역이다. 이 휘선 패턴 영역은, 촬상 표시 화상 Ppre에 비추어지고 있는 송신기(1800b)의 디스플레이의 영역에 상당한다. 구체적으로는, 수신기(1800a)는, 휘선 패턴 영역이 클수록 짧은 거리를 송신기(1800b)까지의 거리로서 특정하고, 반대로, 휘선 패턴 영역이 작을수록 긴 거리를 송신기(1800b)까지의 거리로서 특정한다. 또, 수신기(1800a)는, 휘선 패턴 영역의 크기와 거리와의 관계를 나타내는 거리 데이터를 이용하여 그 거리 데이터에 있어서, 촬상 표시 화상 Ppre 중의 휘선 패턴 영역의 크기에 대응시켜져 있는 거리를, 송신기(1800b)까지의 거리로서 특정해도 된다. 또한, 수신기(1800a)는, 전술과 같이 수신된 광 ID를 서버에 송신하고, 그 광 ID에 대응시켜진 거리 데이터를 그 서버로부터 취득해도 된다.
이와 같이, 송신기(1800b)까지의 거리에 따라 음량이 조정되기 때문에, 수신기(1800a)의 사용자는 수신기(1800a)에 의해서 재생되는 음성을, 현실에 송신기(1800b)에 의해서 재생되고 있는 음성과 같이 알아들을 수 있다.
도 292는, 수신기(1800a)로부터 송신기(1800b)까지의 거리와 음량과의 관계를 나타내는 도면이다.
예를 들면, 송신기(1800b)까지의 거리가 L1~L2［m］의 사이에서는, 음량은, Vmin~Vmax［dB］까지의 범위에 있어서, 그 거리에 비례하여 증가 또는 감소한다. 구체적으로는, 수신기(1800a)는 송신기(1800b)까지의 거리가 L1［m］로부터 L2［m］까지 길어지면, 음량을 Vmax［dB］로부터 Vmin［dB］까지 직선적으로 감소시킨다. 또, 송신기(1800b)까지의 거리가 L1［m］보다 짧아져도, 수신기(1800a)는, 음량을 Vmax［dB］로 유지하고, 송신기(1800b)까지의 거리가 L2［m］ 보다 길어져도, 음량을 Vmin［dB］로 유지한다.
이와 같이, 수신기(1800a)는, 최대 음량 Vmax과 그 최대 음량 Vmax의 음성이 출력되는 최장 거리 L1와, 최소 음량 Vmin과, 그 최소 음량 Vmin의 음성이 출력되는 최단 거리 L2를 기억하고 있다. 또, 수신기(1800a)는, 스스로 설정되어 있는 속성에 따라서, 그 최대 음량 Vmax, 최소 음량 Vmin, 최장 거리 L1 및 최단 거리 L2를 변경해도 된다. 예를 들면, 속성이 사용자의 연령으로서, 그 연령이 고령을 나타내는 경우에는 수신기(1800a)는, 최대 음량 Vmax을 기준 최대 음량보다도 크게 하고, 최소 음량 Vmin을 기준 최소 음량보다도 크게 해도 된다. 또, 속성은, 음성의 출력이 스피커로부터 행해지는지 이어 폰으로 행해지는지를 나타내는 정보라도 된다.
이와 같이, 수신기(1800a)에는 최소 음량 Vmin이 설정되어 있기 때문에, 수신기(1800a)가 송신기(1800b)로부터 너무 멀기 때문에, 음성이 들리지 않는 것을 억제할 수 있다. 또한, 수신기(1800a)에는 최대 음량 Vmax이 설정되어 있기 때문에, 수신기(1800a)가 송신기(1800b)로부터 너무 가깝기 때문에, 필요 이상으로 대음량의 음성이 출력되어 버리는 것을 억제할 수 있다.
도 293은, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
수신기(200)는, 라이트 업된 간판을 촬상한다. 여기서, 간판은 광 ID를 송신하는 전술의 송신기(100)인 조명 장치에 의해서 라이트 업되고 있다. 따라서, 수신기(200)는 그 촬상에 의해서 촬상 표시 화상 Ppre과 복호용 화상 Pdec을 취득한다. 그리고, 수신기(200)는 복호용 화상 Pdec을 복호하는 것에 의해서 광 ID를 취득하고, 그 광 ID에 대응시켜진 복수의 AR 화상 P27a~P27c과 인식 정보를 서버로부터 취득한다. 수신기(200)는 인식 정보에 근거하여, 촬상 표시 화상 Ppre 중 간판이 비추어지고 있는 영역 m2의 주변을 대상 영역으로서 인식한다.
구체적으로는, 수신기(200)는, 도 293의 (a)에 나타내는 바와 같이, 영역 m2 의 좌측에 접하는 영역을 제1 대상 영역으로서 인식하고, 그 제1 대상 영역에 AR 화상 P27a을 중첩한다.
다음에, 수신기(200)는, 도 293의 (b)에 나타내는 바와 같이, 영역 m2의 하측을 포함한 영역을 제2 대상 영역으로서 인식하고, 그 제2 대상 영역에 AR 화상 P27b을 중첩한다.
다음에, 수신기(200)는, 도 293의 (c)에 나타내는 바와 같이, 영역 m2의 상측에 접하는 영역을 제3 대상 영역으로서 인식하고, 그 제3 대상 영역에 AR 화상 P27c을 중첩한다.
여기서, AR 화상 P27a~P27c의 각각은, 예를 들면 설인의 캐릭터의 화상으로서, 동영상이어도 된다.
또, 수신기(200)는, 광 ID를 계속해서 반복 취득하고 있는 동안, 미리 정해진 순서 및 타이밍으로, 인식되는 대상 영역을 제1~ 제3 대상 영역 중 어느 하나로 전환해도 된다. 즉, 수신기(200)는, 인식되는 대상 영역을, 제1 대상 영역, 제2 대상 영역, 제3 대상 영역의 순서로 전환해도 된다. 혹은, 수신기(200)는, 전술의 광 ID를 취득할 때마다, 미리 정해진 순서로, 인식되는 대상 영역을 제1~ 제3 대상 영역 중 어느 하나로 전환해도 된다. 즉, 수신기(200)는 최초로 광 ID를 취득하고, 그 광 ID를 계속해서 반복 취득하고 있는 동안에는, 도 293의 (a)에 나타내는 바와 같이, 제1 대상 영역을 인식하여, 그 제1 대상 영역에 AR 화상 P27a을 중첩한다. 그리고, 수신기(200)는 그 광 ID를 취득할 수 없게 된 경우에는, AR 화상 P27a을 비표시로 한다. 다음에, 수신기(200)는 재차 광 ID를 취득한 경우에는, 그 광 ID를 계속해서 반복 취득하고 있는 동안, 도 293의 (b)에 나타내는 바와 같이, 제2 대상 영역을 인식하고, 그 제2 대상 영역에 AR 화상 P27b을 중첩한다. 그리고, 수신기(200)는, 재차 그 광 ID를 취득할 수 없게 된 경우에는, AR 화상 P27b을 비표시로 한다. 다음에, 수신기(200)는, 재차 광 ID를 취득한 경우에는, 그 광 ID를 계속해서 반복 취득하고 있는 동안, 도 293의 (c)에 나타내는 바와 같이, 제3 대상 영역을 인식하여, 그 제3 대상 영역에 AR 화상 P27c을 중첩한다.
이와 같이 광 ID를 취득할 때마다, 인식되는 대상 영역을 전환하는 경우에는, 수신기(200)는 N(N는 2이상의 정수)회에 1회의 빈도로, 표시되는 AR 화상의 색을 변경해도 된다. N회는, AR 화상이 표시되는 횟수로서, 예를 들면 200회라도 된다. 즉, AR 화상 P27a~P27c은, 모두 동일한 백색의 캐릭터의 화상이지만, 200회에 1회의 빈도로, 예를 들면 핑크색의 캐릭터의 AR 화상이 표시된다. 수신기(200)는, 그 핑크색의 캐릭터의 AR 화상이 표시되고 있을 때, 사용자에 의한 그 AR 화상에 대한 조작을 접수하면, 그 사용자에 대해서 포인트를 부여해도 된다.
이와 같이, AR 화상이 중첩되는 대상 영역을 전환하거나, AR 화상의 색을 소정의 빈도로 변경하는 것에 의해서, 송신기(100)에 의해서 라이트 업된 간판의 촬상에 사용자의 흥미를 향할 수 있어 사용자에게 광 ID를 반복하여 취득시킬 수 있다.
도 294는, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
수신기(200)는, 예를 들면 건물 내에 있어서의 복수의 통로가 교차하는 위치의 마루면에 그려진 마크 M4를 촬상하는 것에 의해서, 사용자가 진행해야 할 진로를 제시하는, 이른바 웨이 파인더(Way Finder)로서의 기능을 가진다. 건물은, 예를 들면 호텔 등으로서, 제시되는 진로는, 체크인을 행한 사용자가 스스로의 방으로 향하는 진로이다.
마크 M4는, 휘도 변화에 의해서 광 ID를 송신하는 전술의 송신기(100)인 조명 장치에 의해서 라이트 업 되고 있다. 따라서, 수신기(200)는, 그 마크 M4의 촬상에 의해서 촬상 표시 화상 Ppre과 복호용 화상 Pdec을 취득한다. 그리고, 수신기(200)는 복호용 화상 Pdec을 복호하는 것에 의해서 광 ID를 취득하고, 그 광 ID와 수신기(200)의 단말 정보를 서버에 송신한다. 수신기(200)는, 그 광 ID 및 단말 정보에 대응시켜진 복수의 AR 화상 P28과 인식 정보를 서버로부터 취득한다. 또한, 광 ID 및 단말 정보는, 사용자의 체크인 때에 복수의 AR 화상 P28 및 인식 정보에 대응시켜 서버에 저장되어 있다.
수신기(200)는, 인식 정보에 근거하여, 촬상 표시 화상 Ppre 중 마크 M4가 비추어지고 있는 영역 m4의 주변에 있어서 복수의 대상 영역을 인식한다. 그리고, 수신기(200)는, 도 294에 나타내는 바와 같이, 그 복수의 대상 영역의 각각에, 예를 들면 동물의 발자국과 같은 AR 화상 P28을 중첩하여 표시한다.
구체적으로는, 인식 정보는, 마크 M4의 위치에서 오른쪽으로 도는 진로를 나타낸다. 수신기(200)는, 이러한 인식 정보에 근거하여, 촬상 표시 화상 Ppre에 있어서의 경로를 특정하고, 그 경로를 따라서 배열되는 복수의 대상 영역을 인식한다. 이 경로는, 디스플레이(201)의 하측으로부터 영역 m4을 향하고, 영역 m4에서 오른쪽으로 도는 경로이다. 수신기(200)는 마치 동물이 그 경로를 따라서 걸었던 듯이, 인식된 복수의 대상 영역의 각각에 AR 화상 P28을 배치한다.
여기서, 수신기(200)는, 촬상 표시 화상 Ppre에 있어서의 경로를 특정하는 경우에는, 스스로에 구비되어 있는 9축 센서에 의해서 검출되는 지자기를 이용해도 된다. 이 경우, 인식 정보는, 마크 M4의 위치에서 나아가야 할 방위를 지자기의 방향을 기준으로 하여 나타낸다. 예를 들면, 인식 정보는, 마크 M4의 위치에서 나아가야 할 방향으로서 서쪽을 나타낸다. 수신기(200)는, 이러한 인식 정보에 근거하여, 촬상 표시 화상 Ppre에 있어서, 디스플레이(201)의 하측으로부터 영역 m4를 향하고, 영역 m4에서 서쪽을 향하는 경로를 특정한다. 그리고, 수신기(200)는, 그 경로를 따라서 배열되는 복수의 대상 영역을 인식한다. 또한, 수신기(200)는, 9축 센서에 의한 중력 가속도의 검출에 의해서, 디스플레이(201)의 하측을 특정한다.
이와 같이, 수신기(200)에 의해서 사용자의 진로가 제시되기 때문에, 사용자는 그 진로에 따라서 나아가면, 간단하게 목적지에 겨우 도착할 수 있다. 또, 그 진로는, 촬상 표시 화상 Ppre에 있어서의 AR 화상으로서 표시되기 때문에, 사용자에게 알기 쉽게 그 진로를 제시할 수 있다.
또한, 송신기(100)인 조명 장치는, 단펄스의 광으로 마크 M4를 비추는 것에 의해서, 밝기를 억제하면서 광 ID를 적절하게 송신할 수 있다. 또, 수신기(200)는, 마크 M4를 촬상했지만, 디스플레이(201)측에 배치되어 있는 카메라(이른바 셀프 촬영 카메라)를 이용하여 조명 장치를 촬상해도 된다. 또, 수신기(200)는, 마크 M4 및 조명 장치의 양쪽 모두를 촬상해도 된다.
도 295는, 수신기(200)에 의한 라인 스캔 시간을 구하는 방법의 일례를 설명하기 위한 도면이다.
수신기(200)는, 복호용 화상 Pdec를 복호하는 경우에는, 라인 스캔 시간을 이용하여 복호를 행한다. 이 라인 스캔 시간은, 이미지 센서에 포함되는 1개의 노광 라인의 노광이 개시되고 나서, 다음의 노광 라인의 노광이 개시될 때까지의 시간이다. 수신기(200)는, 이 라인 스캔 시간이 판명되어 있으면, 그 판명되어 있는 라인 스캔 시간을 이용해 복호용 화상 Pdec을 복호한다. 그러나, 그 라인 스캔 시간이 판명되어 있지 않은 경우에는, 수신기(200)는 라인 스캔 시간을 복호용 화상 Pdec으로부터 구한다.
예를 들면, 수신기(200)는, 도 295에 나타내는 바와 같이, 복호용 화상 Pdec에 있어서 휘선 패턴을 구성하는 복수의 명선과 복수의 암선 중에서, 최소폭의 선을 찾아낸다. 또한, 명선은 송신기(100)의 휘도가 높을 때에, 1개 또는 복수의 연속하는 노광 라인의 각각이 노광하는 것에 의해서 생기는 복호용 화상 Pdec 상의 선이다. 또, 암선은, 송신기(100)의 휘도가 낮을 때에, 1개 또는 복수의 연속하는 노광 라인의 각각이 노광하는 것에 의해서 생기는 복호용 화상 Pdec 상의 선이다.
수신기(200)는, 그 최소폭의 선을 찾아내면, 그 최소폭의 선에 대응하는 노광 라인의 라인수, 즉 픽셀수를 특정한다. 송신기(100)가 광 ID를 송신하기 위해서 휘도 변화하는 캐리어 주파수가 9.6 kHz인 경우, 송신기(100)의 휘도가 높은 시간 또는 낮은 시간은 최단으로 104μs이다. 따라서, 수신기(200)는, 104μs를, 특정된 최소폭의 픽셀수로 제산하는 것에 의해서 라인 스캔 시간을 산출한다.
도 296은, 수신기(200)에 의한 라인 스캔 시간을 구하는 방법의 일례를 설명하기 위한 도면이다.
수신기(200)는, 복호용 화상 Pdec의 휘선 패턴에 대해서 푸리에 변환을 행하고, 그 푸리에 변환에 의해서 얻어지는 공간 주파수에 근거해 라인 스캔 시간을 구해도 된다.
예를 들면 도 296에 나타내는 바와 같이, 수신기(200)는, 전술의 푸리에 변환에 의해서, 공간 주파수와 복호용 화상 Pdec에 있어서의 그 공간 주파수의 성분의 강도와의 관계를 나타내는 스펙트럼을 도출한다. 다음에, 수신기(200)는, 그 스펙트럼에 나타나는 복수의 피크의 각각을 순서대로 선택한다. 그리고, 수신기(200)는 피크를 선택할 때마다, 그 선택된 피크의 공간 주파수(예를 들면 도 296에 있어서의 공간 주파수 f2)가, 9.6 kHz의 시간 주파수에 의해서 얻어지는 라인 스캔 시간을, 라인 스캔 시간 후보로서 산출한다. 9.6 kHz는, 전술과 같이 송신기(100)의 휘도 변화의 캐리어 주파수이다. 이것에 의해, 복수의 라인 스캔 시간 후보가 산출된다. 수신기(200)는 이러한 복수의 라인 스캔 시간 후보 중 최우의 후보를, 라인 스캔 시간으로서 선택한다.
최우의 후보를 선택하기 위해서는, 수신기(200)는, 촬상에 있어서의 프레임 레이트와 이미지 센서에 포함되는 노광 라인의 수에 근거하여, 라인 스캔 시간의 허용 범위를 산출한다. 즉, 수신기(200)는 1×106［μs］/｛(프레임 레이트)×(노광 라인수)｝에 의해서, 라인 스캔 시간의 최대값을 산출한다. 그리고, 수신기(200)는 그 최대값×상수 K(K＜1)~최대값까지를, 라인 스캔 시간의 허용 범위로서 결정한다. 상수 K는, 예를 들면 0.9 또는 0.8 등이다.
수신기(200)는, 복수의 라인 스캔 시간 후보 중, 이 허용 범위에 있는 후보를 최우의 후보, 즉 라인 스캔 시간으로서 선택한다.
또한, 수신기(200)는, 도 295에 나타내는 예에 의해서 산출된 라인 스캔 시간이 전술의 허용 범위에 있는지 아닌지에 따라서, 그 산출된 라인 스캔 시간의 신뢰성을 평가해도 된다.
도 297은, 수신기(200)에 의한 라인 스캔 시간을 구하는 방법의 일례를 나타내는 플로우 차트이다.
수신기(200)는, 복호용 화상 Pdec의 복호를 시도하는 것에 의해서, 라인 스캔 시간을 구해도 된다. 구체적으로는, 우선, 수신기(200)는, 촬상을 개시한다(단계 S441). 다음에, 수신기(200)는, 라인 스캔 시간이 판명되어 있는지 아닌지를 판정한다(단계 S442). 예를 들면, 수신기(200)는, 스스로의 종류 및 형식을 서버에 통지하고, 그 종류 및 형식에 따른 라인 스캔 시간을 문의하는 것에 의해서, 그 라인 스캔 시간이 판명되어 있는지 아닌지를 판정해도 된다. 여기서, 판명되어 있다고 판정하면(단계 S442의 Yes), 수신기(200)는, 광 ID의 기준 취득 횟수를 n(n는 2이상의 정수이며, 예를 들면 4)으로 설정한다(단계 S443). 다음에, 수신기(200)는, 그 판명되어 있는 라인 스캔 시간을 이용해 복호용 화상 Pdec을 복호하는 것에 의해서, 광 ID를 취득한다 (단계 S444). 이 때, 수신기(200)는, 단계 S441에서 개시된 촬상에 의해서 차례로 얻어지는 복수의 복호용 화상 Pdec의 각각에 대하여 복호를 행하는 것에 의해서, 복수의 광 ID를 취득한다. 여기서, 수신기(200)는, 동일한 광 ID를 기준 취득 횟수(즉 n회)만큼 취득했는지 아닌지를 판정한다(단계 S445). n회 취득했다고 판정하면(단계 S445의 Yes), 수신기(200)는, 그 광 ID를 신용하고, 그 광 ID를 이용한 처리(예를 들면 AR 화상의 중첩)를 개시한다(단계 S446). 한편, n회 취득하고 있지 않다고 판정하면(단계 S445의 No), 수신기(200)는, 그 광 ID를 신용하지 않고 처리를 종료한다.
단계 S442에 있어서, 라인 스캔 시간이 판명되어 있지 않다고 판정하면(단계 S442의 No), 수신기(200)는 광 ID의 기준 취득 횟수를 n＋k(k는 1이상의 정수)로 설정한다(단계 S447). 즉, 수신기(200)는, 라인 스캔 시간이 판명되어 있지 않을 때에는, 라인 스캔 시간이 판명되어 있을 때보다도 많은 기준 취득 횟수를 설정한다. 다음에, 수신기(200)는, 임시의 라인 스캔 시간을 결정한다(단계 S448). 그리고, 수신기(200)는, 임시 결정의 라인 스캔 시간을 이용하여 복호용 화상 Pdec을 복호하는 것에 의해서, 광 ID를 취득한다(단계 S449). 이 때, 수신기(200)는, 상술과 동일하게, 단계 S441에서 개시된 촬상에 의해서 차례로 얻어지는 복수의 복호용 화상 Pdec의 각각에 대하여 복호를 행하는 것에 의해서, 복수의 광 ID를 취득한다. 여기서, 수신기(200)는 동일한 광 ID를 기준 취득 횟수(즉(n＋k)회)만큼 취득했는지 아닌지를 판정한다(단계 S450).
(n＋k)회 취득했다고 판정하면(단계 S450의 Yes), 수신기(200)는, 임시 결정의 라인 스캔 시간이 올바른 라인 스캔 시간이라고 판단한다. 그리고, 수신기(200)는 수신기(200)의 종류 및 형식과, 그 라인 스캔 시간을 서버에 통지한다(단계 S451). 이것에 의해, 서버에서는, 수신기의 종류 및 형식과, 그 수신기에 적합한 라인 스캔 시간이 대응시켜 기억된다. 따라서, 동일한 종류 및 형식의 다른 수신기가 촬상을 개시한 경우에는, 다른 수신기는 서버에 문의하는 것에 의해서, 스스로의 라인 스캔 시간을 특정할 수 있다. 즉, 다른 수신기는, 단계 S442의 판정에 있어서, 라인 스캔 시간이 판명되어 있다고 판정할 수 있다.
그리고, 수신기(200)는 (n＋k)회 취득된 광 ID를 신용하고, 그 광 ID를 이용한 처리(예를 들면 AR 화상의 중첩)를 개시한다(단계 S446).
또, 단계 S450에 있어서, 동일한 광 ID를 (n＋k)회 취득하고 있지 않다고 판정하면(단계 S450의 No), 수신기(200)는, 추가로, 종료 조건이 만족되었는지 아닌지를 판정한다(단계 S452). 종료 조건은, 예를 들면, 촬상 개시부터 미리 정해진 시간이 경과한 것, 혹은, 광 ID의 취득이 최대 취득 횟수 이상 행해진 것 등이다. 이러한 종료 조건이 만족되었다고 판정하면(단계 S452의 Yes), 수신기(200)는 처리를 종료한다. 한편, 종료 조건이 만족되어 있지 않다고 판정하면(단계 S452의 No), 수신기(200)는 임시 결정의 라인 스캔 시간을 변경한다(단계 S453). 그리고, 수신기(200)는 그 변경된 임시 결정의 라인 스캔 시간을 이용해 단계 S449로부터의 처리를 반복하여 실행한다.
이와 같이, 수신기(200)는, 라인 스캔 시간이 판명되어 있지 않아도, 도 295~도 297에 나타내는 예와 같이, 그 라인 스캔 시간을 구할 수 있다. 이것에 의해, 수신기(200)의 종류 및 형식이 어떠한 것이라도, 수신기(200)는 복호용 화상 Pdec을 적절하게 복호하여 광 ID를 취득할 수 있다.
도 298은, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
수신기(200)는, 텔레비전으로서 구성되어 있는 송신기(100)를 촬상한다. 이 송신기(100)는, 예를 들면 TV 프로그램을 표시하면서 휘도 변화하는 것에 의해서, 광 ID와 타임 코드를 주기적으로 송신하고 있다. 타임 코드는, 송신될 때마다, 그 송신 시의 시각을 나타내는 정보로서, 예를 들면 도 126에 나타내는 시간 패킷이어도 된다.
수신기(200)는, 전술의 촬상에 의해서, 촬상 표시 화상 Ppre와 복호용 화상 Pdec을 주기적으로 취득한다. 그리고, 수신기(200)는, 주기적으로 취득되는 촬상 표시 화상 Ppre을 디스플레이(201)에 표시하면서, 복호용 화상 Pdec를 복호하는 것에 의해서, 전술의 광 ID와 타임 코드를 취득한다. 다음에, 수신기(200)는, 그 광 ID를 서버(300)에 송신한다. 서버(300)는 그 광 ID를 수신하면, 그 광 ID에 대응시켜진 음성 데이터와 AR 개시 시각 정보와 AR 화상 P29과 인식 정보를 수신기(200)에 송신한다.
수신기(200)는, 음성 데이터를 취득하면, 그 음성 데이터를 송신기(100)에 비추어지고 있는 TV 프로그램의 영상과 동기시켜 재생한다. 즉, 음성 데이터는, 복수의 음성 단위 데이터로 이루어지고, 그러한 복수의 음성 단위 데이터에는 타임 코드가 포함되어 있다. 수신기(200)는 음성 데이터 가운데, 광 ID와 함께 송신기(100)로부터 취득되는 타임 코드와 동일한 시각을 나타내는 타임 코드를 포함한 음성 단위 데이터로부터, 복수의 음성 단위 데이터의 재생을 개시한다. 이것에 의해, 음성 데이터의 재생이 TV 프로그램의 영상과 동기된다. 또한, 이러한 음성과 영상과의 동기는, 도 123 이후의 각 도면에 의해서 나타나는 음성 동기 재생과 동일한 방법에 따라 행해져도 된다.
수신기(200)는, AR 화상 P29 및 인식 정보를 취득하면, 촬상 표시 화상 Ppre 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식하고, 그 대상 영역에 AR 화상 P29를 중첩한다. 예들 들면, AR 화상 P29은 수신기(200)의 디스플레이(201)의 균열을 나타내는 화상으로서, 대상 영역은, 촬상 표시 화상 Ppre 중 송신기(100)의 상을 횡단하는 영역이다.
여기서, 수신기(200)는, 전술과 같은 AR 화상 P29이 중첩된 촬상 표시 화상 Ppre을, AR 개시 시각 정보에 따른 타이밍에 표시한다. AR 개시 시각 정보는, AR 화상 P29이 표시되는 시각을 나타내는 정보이다. 즉, 수신기(200)는, 송신기(100)로부터 수시 송신되는 타임 코드 중, AR 개시 시각 정보와 동일한 시각을 나타내는 타임 코드를 수신한 타이밍에, 전술의 AR 화상 P29이 중첩된 촬상 표시 화상 Ppre을 표시한다. 예를 들면, AR 개시 시각 정보에 의해서 표시되는 시각은, TV 프로그램에 있어서, 마법사 소녀가 얼음의 마법을 거는 씬이 등장하는 시각이다. 또, 이 시각에는, 수신기(200)는 음성 데이터의 재생에 의해서, 그 AR 화상 P29의 균열이 생기는 소리를 수신기(200)의 스피커로부터 출력해도 된다.
이것에 의해, 사용자는, TV 프로그램의 씬을, 보다 실제감을 갖고 시청할 수 있다.
또, 수신기(200)는, AR 개시 시각 정보에 의해서 나타나는 시각에, 수신기(200)에 구비되어 있는 바이브레이터를 진동시켜도 되고, 광원을 플래시와 같이 발광시켜도 되며, 디스플레이(201)를 순간적으로 밝게 하거나 점멸시키거나 해도 된다. 또, AR 화상 P29은 균열을 나타내는 화상뿐만이 아니라, 디스플레이(201)의 결로가 얼어붙은 상태를 나타내는 화상을 포함하고 있어도 된다.
도 299는, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
수신기(200)는, 예를 들면 완구의 지팡이로서 구성되어 있는 송신기(100)를 촬상한다. 이 송신기(100)는, 광원을 구비하고, 그 광원이 휘도 변화하는 것에 의해서, 광 ID를 송신하고 있다.
수신기(200)는, 전술의 촬상에 의해서, 촬상 표시 화상 Ppre과 복호용 화상 Pdec을 주기적으로 취득한다. 그리고, 수신기(200)는 주기적으로 취득되는 촬상 표시 화상 Ppre을 디스플레이(201)에 표시하면서, 복호용 화상 Pdec을 복호하는 것에 의해서, 전술의 광 ID를 취득한다. 다음에, 수신기(200)는 그 광 ID를 서버(300)에 송신한다. 서버(300)는 그 광 ID를 수신하면, 그 광 ID에 대응시켜진 AR 화상 P30과 인식 정보를 수신기(200)에 송신한다.
여기서, 인식 정보는, 또한, 송신기(100)를 파지하는 인물에 의한 제스처(즉 동작)를 나타내는 제스처 정보를 포함한다. 제스처 정보는, 예를 들면, 인물이 송신기(100)를 오른쪽에서 왼쪽으로 작동시키는 제스처를 나타낸다. 수신기(200)는, 각 촬상 표시 화상 Ppre에 비추어지고 있는, 송신기(100)를 파지하는 인물에 의한 제스처와, 제스처 정보에 의해서 나타나는 제스처를 비교한다. 그리고, 수신기(200)는, 그러한 제스처가 일치하면, 예를 들면, 많은 별모양의 AR 화상 P30이, 그 제스처에 의해서 이동하는 송신기(100)의 궤적을 따라서 배열되도록, 그러한 AR 화상 P30을 촬상 표시 화상 Ppre에 중첩한다.
도 300은, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
수신기(200)는, 전술과 동일하게, 예를 들면 완구의 지팡이로서 구성되어 있는 송신기(100)를 촬상한다.
수신기(200)는, 그 촬상에 의해서, 촬상 표시 화상 Ppre과 복호용 화상 Pdec을 주기적으로 취득한다. 그리고, 수신기(200)는, 주기적으로 취득되는 촬상 표시 화상 Ppre을 디스플레이(201)에 표시하면서, 복호용 화상 Pdec을 복호하는 것에 의해서, 전술의 광 ID를 취득한다. 다음에, 수신기(200)는, 그 광 ID를 서버(300)에 송신한다. 서버(300)는, 그 광 ID를 수신하면, 그 광 ID에 대응시켜진 AR 화상 P31과 인식 정보를 수신기(200)에 송신한다.
여기서, 인식 정보는, 전술과 동일하게, 송신기(100)를 파지하는 인물에 의한 제스처를 나타내는 제스처 정보를 포함한다. 제스처 정보는, 예를 들면, 인물이 송신기(100)를 오른쪽에서 왼쪽으로 작동시키는 제스처를 나타낸다. 수신기(200)는, 각 촬상 표시 화상 Ppre에 비추어지고 있는, 송신기(100)를 파지하는 인물에 의한 제스처와, 제스처 정보에 의해서 나타나는 제스처를 비교한다. 그리고, 수신기(200)는, 그러한 제스처가 일치하면, 예를 들면, 촬상 표시 화상 Ppre 에 있어서, 그 송신기(100)를 파지하는 인물이 비추어지고 있는 영역인 대상 영역에, 드레스의 의상을 나타내는 AR 화상 P30을 중첩한다.
이와 같이, 본 변형예에 있어서의 표시 방법에서는, 광 ID에 대응하는 제스처 정보를 서버로부터 취득한다. 다음에, 주기적으로 취득되는 촬상 표시 화상에 의해서 표시되는 피사체의 움직임이, 서버로부터 취득된 제스처 정보에 의해서 표시되는 움직임과 일치하는지 아닌지를 판정한다. 그리고, 일치한다고 판정되었을 때에, AR 화상이 중첩된 촬상 표시 화상 Ppre을 표시한다.
이것에 의해, 예를 들면 인물 등의 피사체의 움직임에 따라 AR 화상을 표시할 수 있다. 즉, 적절한 타이밍에 AR 화상을 표시할 수 있다.
도 301은, 수신기(200)의 자세에 따라 취득되는 복호용 화상 Pdec의 일례를 나타내는 도면이다.
예를 들면, 도 301의 (a)에 나타내는 바와 같이, 수신기(200)는, 가로 방향의 자세로, 휘도 변화에 의해서 광 ID를 송신하는 송신기(100)을 촬상한다. 또한, 가로 방향의 자세는, 수신기(200)의 디스플레이(201)의 길이 방향이 수평 방향을 따르는 자세이다. 또, 수신기(200)에 구비되어 있는 이미지 센서의 각 노광 라인은, 디스플레이(201)의 길이 방향에 대해서 직교하고 있다. 전술과 같은 촬상에 의해서, 휘선의 수가 적은 휘선 패턴 영역 X를 포함한 복호용 화상 Pdec이 취득된다. 이 복호용 화상 Pdec의 휘선 패턴 영역 X에서는, 휘선의 수가 적다. 즉, 휘도가 High 또는 Low로 변화하는 부위가 적다. 따라서, 수신기(200)는 그 복호용 화상 Pdec에 대한 복호에 의해서 적절하게 광 ID를 취득할 수 없는 경우가 있다.
따라서, 예를 들면, 도 301의 (b)에 나타내는 바와 같이, 사용자는, 수신기(200)의 자세를 가로 방향으로부터 세로 방향으로 바꾼다. 또한, 세로 방향의 자세는, 수신기(200)의 디스플레이(201)의 길이 방향이 수직 방향을 따르는 자세이다. 이러한 자세의 수신기(200)는, 광 ID를 송신하는 송신기(100)를 촬상하면, 휘선의 수가 많은 휘선 패턴 영역 Y을 포함한 복호용 화상 Pdec을 취득할 수 있다.
이와 같이, 수신기(200)의 자세에 따라, 광 ID를 적절하게 취득할 수 없는 경우가 있기 때문에, 수신기(200)에 광 ID를 취득시킬 때에는, 촬상하고 있는 수신기(200)의 자세를 적절하게 변경하면 된다. 자세가 변경되고 있을 때에는, 수신기(200)는 광 ID를 취득하기 쉬운 자세가 된 타이밍에서, 광 ID를 적절하게 취득할 수 있다.
도 302는, 수신기(200)의 자세에 따라 취득되는 복호용 화상 Pdec의 다른 예를 나타내는 도면이다.
예를 들면, 송신기(100)는, 찻집의 디지털 사이니지로서 구성되고, 영상 표시 기간에 찻집의 광고에 관한 영상을 표시하고, 광 ID 송신 기간에, 휘도 변화에 의해서 광 ID를 송신한다. 즉, 송신기(100)는 영상 표시 기간에 있어서의 영상의 표시와 광 ID 송신 기간에 있어서의 광 ID의 송신을 교대로 반복해 실행한다.
수신기(200)는, 송신기(100)의 촬상에 의해서, 촬상 표시 화상 Ppre과 복호용 화상 Pdec을 주기적으로 취득한다. 이 때, 송신기(100)의 영상 표시 기간 및 광 ID 송신 기간의 반복 주기와, 수신기(200)에 의한 촬상 표시 화상 Ppre 및 복호용 화상 Pdec의 취득의 반복 주기와의 동기에 의해서, 휘선 패턴 영역을 포함한 복호용 화상 Pdec을 취득할 수 없는 경우가 있다. 또한, 수신기(200)의 자세에 따라서, 휘선 패턴 영역을 포함한 복호용 화상 Pdec를 취득할 수 없는 경우가 있다.
예를 들면, 수신기(200)는, 도 302의 (a)에 나타내는 자세로, 송신기(100)를 촬상한다. 즉, 수신기(200)는, 송신기(100)에 접근하여, 수신기(200)의 이미지 센서의 전체에 송신기(100)의 상이 투영되도록 그 송신기(100)를 촬상한다.
여기서, 수신기(200)가 촬상 표시 화상 Ppre를 취득하는 타이밍이, 송신기(100)의 영상 표시 기간 내에 있으면, 수신기(200)는 송신기(100)가 비추어진 촬상 표시 화상 Ppre을 적절하게 취득한다.
그리고, 수신기(200)가 복호용 화상 Pdec을 취득하는 타이밍이, 송신기(100)의 영상 표시 기간과 광 ID 송신 기간에 걸치는 경우라도, 수신기(200)는, 휘선 패턴 영역 Z1을 포함한 복호용 화상 Pdec을 취득할 수 있다.
즉, 이미지 센서에 포함되는 각 노광 라인의 노광은, 수직 방향의 상단에 있는 노광 라인으로부터 하측에 순서대로 개시된다. 따라서, 영상 표시 기간에 있어서, 수신기(200)가 복호용 화상 Pdec을 취득하기 때문에 이미지 센서의 노광을 개시해도, 휘선 패턴 영역을 얻을 수 없다. 그러나, 그 영상 표시 기간이 광 ID 송신 기간으로 전환되면, 그 광 ID 송신 기간에 노광이 행해지는 각 노광 라인에 대응한 휘선 패턴 영역을 얻을 수 있다.
여기서, 수신기(200)는, 도 302의 (b)에 나타내는 자세로, 송신기(100)를 촬상한다. 즉, 수신기(200)는, 송신기(100)로부터 떨어져 수신기(200)의 이미지 센서의 상측의 영역에만 송신기(100)의 상이 투영되도록 그 송신기(100)를 촬상한다.이 때에는, 전술과 동일하게, 수신기(200)가 촬상 표시 화상 Ppre를 취득하는 타이밍이, 송신기(100)의 영상 표시 기간 내에 있으면, 수신기(200)는, 송신기(100)가 비추어진 촬상 표시 화상 Ppre을 적절하게 취득한다. 그러나, 수신기(200)가 복호용 화상 Pdec을 취득하는 타이밍이, 송신기(100)의 영상 표시 기간과 광 ID 송신 기간에 걸치는 경우에는, 수신기(200)가 휘선 패턴 영역을 포함한 복호용 화상 Pdec을 취득하지 못하는 경우가 있다. 즉, 송신기(100)의 영상 표시 기간이 광 ID 송신 기간으로 전환되어도, 그 광 ID 송신 기간에 노광이 행해지는 이미지 센서의 하측에 있는 각 노광 라인에는, 휘도 변화하는 송신기(100)의 상이 투영되지 않는 일이 있다. 따라서, 휘선 패턴 영역을 가지는 복호용 화상 Pdec을 취득할 수 없다.
한편, 수신기(200)는, 도 302의 (c)에 나타내는 바와 같이, 송신기(100)로부터 떨어진 상태로, 수신기(200)의 이미지 센서의 하측의 영역에만 송신기(100)의 상이 투영되도록 그 송신기(100)를 촬상한다. 이 때에는, 전술과 동일하게, 수신기(200)가 촬상 표시 화상 Ppre을 취득하는 타이밍이, 송신기(100)의 영상 표시 기간 내에 있으면, 수신기(200)는 송신기(100)가 비추어진 촬상 표시 화상 Ppre을 적절하게 취득한다. 또한, 수신기(200)가 복호용 화상 Pdec을 취득하는 타이밍이, 송신기(100)의 영상 표시 기간과 광 ID 송신 기간에 걸치는 경우라도, 수신기(200)가 휘선 패턴 영역을 포함한 복호용 화상 Pdec을 취득할 수 있는 경우가 있다. 즉, 송신기(100)의 영상 표시 기간이 광 ID 송신 기간으로 전환되면, 그 광 ID 송신 기간에 노광이 행해지는 이미지 센서의 하측에 있는 각 노광 라인에는, 휘도 변화하는 송신기(100)의 상이 투영된다. 따라서, 휘선 패턴 영역 Z2을 가지는 복호용 화상 Pdec을 취득할 수 있다.
이와 같이, 수신기(200)의 자세에 따라, 광 ID를 적절하게 취득할 수 없는 경우가 있기 때문에, 수신기(200)는, 광 ID를 취득할 때에는, 수신기(200)의 자세를 바꾸도록 사용자에게 재촉해도 된다. 즉, 수신기(200)는, 촬상이 개시되면, 수신기(200)의 자세가 바뀌도록, 예를 들면 「움직여 주세요」또는 「흔들어 주세요」라고 하는 메시지의 표시 또는 음성 출력을 행한다. 이것에 의해, 수신기(200)는, 자세를 바꾸면서 촬상을 행하기 때문에 광 ID를 적절하게 취득할 수 있다.
도 303은, 수신기(200)의 처리 동작의 일례를 나타내는 플로우 차트이다
예를 들면, 수신기(200)는, 촬상하고 있을 때, 수신기(200)가 흔들리고 있는지 아닌지를 판정한다(단계 S461). 구체적으로는, 수신기(200)는 수신기(200)에 구비된 9축 센서의 출력에 근거하여, 흔들리고 있는지 아닌지를 판정한다. 여기서, 수신기(200)는 촬상 중에 흔들리고 있다고 판정하면(단계 S461의 Yes), 전술의 광 ID 취득 레이트를 올린다(단계 S462). 구체적으로는, 수신기(200)는 촬상 중에 얻어지는 단위 시간 당의 모든 촬상 화상을 복호용 화상(즉 휘선 화상) Pdec으로서 취득하고, 취득된 모든 복호용 화상의 각각을 디코드한다. 또는, 수신기(200)는 모든 촬상 화상이 촬상 표시 화상 Ppre로서 취득되고 있을 때에는, 즉, 복호용 화상 Pdec의 취득 및 디코드가 정지되고 있을 때에는 그 취득 및 디코드를 개시한다.
한편, 수신기(200)는, 촬상 중에 흔들리지 않다고 판정하면(단계 S461의 No), 낮은 광 ID 취득 레이트로 복호용 화상 Pdec을 취득한다(단계 S463). 구체적으로는, 광 ID 취득 레이트가 단계 S462에서 올려져 현재도 높은 광 ID 취득 레이트가 되고 있으면, 수신기(200)는, 현재의 광 ID 취득 레이트가 높기 때문에, 그 광 ID 취득 레이트를 낮춘다. 이것에 의해, 수신기(200)에 의한 복호용 화상 Pdec의 복호 처리가 행해지는 빈도가 적어지기 때문에, 소비 전력을 억제할 수 있다.
그리고, 수신기(200)는, 광 ID 취득 레이트의 조정 처리를 종료하기 위한 종료 조건이 만족되는지 아닌지를 판정하고(단계 S464), 만족되지 않는다고 판정하면(단계 S464의 No), 단계 S461로부터의 처리를 반복하여 실행한다. 한편, 수신기(200)는 종료 조건이 만족되었다고 판정하면(단계 S464의 Yes), 광 ID 취득 레이트의 조정 처리를 종료한다.
도 304는, 수신기(200)에 의한 카메라 렌즈의 변환 처리의 일례를 나타내는 도면이다.
수신기(200)는, 광각 렌즈(211)와 망원 렌즈(212)를 각각 카메라 렌즈로서 구비하고 있어도 된다. 광각 렌즈(211)를 이용한 촬상에 의해서 얻어지는 촬상 화상은, 화각의 넓은 화상으로서, 그 화상에는 피사체가 작게 비추어진다. 한편, 망원 렌즈(212)를 이용한 촬상에 의해서 얻어지는 촬상 화상은, 화각이 좁은 화상으로서, 그 화상에는 피사체가 크게 비추어진다.
전술과 같은 수신기(200)는, 촬상을 행할 때에는, 도 304에 나타내는 방법 A~E의 어느 하나의 방법에 의해서, 촬상에 이용되는 카메라 렌즈를 전환해도 된다.
방법 A에서는, 수신기(200)는, 통상 촬상의 경우라도, 광 ID를 수신하는 경우라도, 촬상할 때에는 항상 망원 렌즈(212)를 이용한다. 여기서, 통상 촬상의 경우란, 촬상에 의해서 모든 촬상 화상을 촬상 표시 화상 Ppre으로서 취득하는 경우이다. 또, 광 ID를 수신하는 경우란, 촬상에 의해서 촬상 표시 화상 Ppre과 복호용 화상 Pdec을 주기적으로 취득하는 경우이다.
방법 B에서는, 수신기(200)는, 통상 촬상의 경우에는, 광각 렌즈(211)를 이용한다. 한편, 광 ID를 수신하는 경우에는, 수신기(200)는, 우선, 광각 렌즈(211)를 이용한다. 그리고, 수신기(200)는, 그 광각 렌즈(211)를 이용하고 있을 때 취득된 복호용 화상 Pdec에 휘선 패턴 영역이 포함되어 있으면, 카메라 렌즈를 광각 렌즈(211)로부터 망원 렌즈(212)로 전환한다. 이 전환 후에는, 수신기(200)는, 화각이 좁은, 즉 휘선 패턴 영역이 크게 표시된 복호용 화상 Pdec을 취득할 수 있다.
방법 C에서는, 수신기(200)는, 통상 촬상의 경우에는, 광각 렌즈(211)를 이용한다. 한편, 광 ID를 수신하는 경우에는, 수신기(200)는, 카메라 렌즈를 광각 렌즈(211)와 망원 렌즈(212)로 전환한다. 즉, 수신기(200)는 광각 렌즈(211)를 이용해 촬상 표시 화상 Ppre을 취득하고, 망원 렌즈(212)를 이용해 복호용 화상 Pdec을 취득한다.
방법 D에서는, 수신기(200)는, 통상 촬상의 경우라도, 광 ID를 수신하는 경우라도, 사용자에 의한 조작에 따라 카메라 렌즈를 광각 렌즈(211)와 망원 렌즈(212)로 전환한다.
방법 E에서는, 수신기(200)는, 광 ID를 수신하는 경우, 광각 렌즈(211)를 이용하여 취득된 복호용 화상 Pdec을 복호하고, 올바르게 복호할 수 없으면, 카메라 렌즈를 광각 렌즈(211)로부터 망원 렌즈(212)로 전환한다. 또는, 수신기(200)는, 망원 렌즈(212)를 이용해 취득된 복호용 화상 Pdec을 복호하고, 올바르게 복호할 수 없으면, 카메라 렌즈를 망원 렌즈(212)로부터 광각 렌즈(211)로 전환한다. 또한, 수신기(200)는 복호용 화상 Pdec을 올바르게 복호할 수 있는지 아닌지를 판정할 때에는, 우선, 그 복호용 화상 Pdec에 대한 복호에 의해서 얻어지는 광 ID를 서버에 송신한다. 서버는, 그 광 ID가 스스로 등록되어 있는 광 ID에 일치하고 있으면, 일치하고 있는 것을 나타내는 일치 정보를 수신기(200)에 통지하고, 일치하고 있지 않으면, 일치하고 있지 않은 것을 나타내는 불일치 정보를 수신기(200)에 통지한다. 수신기(200)는, 서버로부터 통지된 정보가 일치 정보이면, 복호용 화상 Pdec이 올바르게 복호할 수 있었다고 판정하고, 서버로부터 통지된 정보가 불일치 정보이면, 복호용 화상 Pdec이 올바르게 복호할 수 없었다고 판정한다. 또는, 수신기(200)는, 복호용 화상 Pdec의 복호에 의해서 얻어지는 광 ID가, 미리 정해진 조건을 만족하는 경우에는, 복호용 화상 Pdec이 올바르게 복호할 수 있었다고 판정한다. 한편, 그 조건을 만족하지 않는 경우에는, 수신기(200)는 복호용 화상 Pdec이 올바르게 복호할 수 없었다고 판정한다.
이와 같이 카메라 렌즈를 전환하는 것에 의해서, 적절한 복호용 화상 Pdec을 취득할 수 있다.
도 305는, 수신기(200)에 의한 카메라의 변환 처리의 일례를 나타내는 도면이다.
예를 들면, 수신기(200)는, 카메라로서 인 카메라(213)와 아웃 카메라(도 305에서는 도시하지 않음)를 구비한다. 인 카메라(213)는 페이스 카메라 또는 셀프 촬영 카메라라고도 하고, 수신기(200)에 있어서의 디스플레이(201)와 동일한 면에 배치되어 있는 카메라이다. 아웃 카메라는 수신기(200)에 있어서의 디스플레이(201)의 면과 반대측의 면에 배치되어 있는 카메라이다.
이러한 수신기(200)는, 인카메라(213)를 위로 향한 상태로, 조명 장치로서 구성된 송신기(100)를 인카메라(213)에 의해서 촬상한다. 이 촬상에 의해서, 수신기(200)는, 복호용 화상 Pdec을 취득하고, 그 복호용 화상 Pdec에 대한 복호에 의해서, 송신기(100)로부터 송신되는 광 ID를 취득한다.
다음에, 수신기(200)는, 그 취득된 광 ID를 서버에 송신하는 것에 의해서, 그 광 ID에 대응시켜진 AR 화상 및 인식 정보를 서버로부터 취득한다. 수신기(200)는, 아웃 카메라 및 인 카메라(213)의 각각에 의해서 얻어지는 각 촬상 표시 화상 Ppre 중에서, 그 인식 정보에 따른 대상 영역을 인식하는 처리를 개시한다. 여기서, 수신기(200)는, 아웃 카메라 및 인 카메라(213)의 각각에 의해서 얻어진 촬상 표시 화상 Ppre의 어느 하나로부터도, 대상 영역을 인식할 수 없는 경우, 수신기(200)를 움직이도록 사용자에게 재촉한다. 수신기(200)에게 재촉받은 사용자는, 수신기(200)를 움직인다. 구체적으로는, 사용자는, 인 카메라(213) 및 아웃 카메라가 사용자의 전후 방향을 향하도록 수신기(200)를 움직인다. 그 결과, 수신기(200)는 아웃 카메라에 의해서 취득된 촬상 표시 화상 Ppre 중에서, 대상 영역을 인식한다. 즉, 수신기(200)는 사람이 비추어진 영역을 대상 영역으로서 인식하고, 촬상 표시 화상 Ppre 중 그 대상 영역에 AR 화상을 중첩하며, 그 AR 화상이 중첩된 촬상 표시 화상 Ppre을 표시한다.
도 306은, 수신기(200)와 서버와의 처리 동작의 일례를 나타내는 플로우 차트이다.
수신기(200)는, 조명 장치인 송신기(100)를 인 카메라(213)로 촬상하는 것에 의해서, 그 송신기(100)로부터 송신되는 광 ID를 취득하고, 그 광 ID를 서버에 송신한다(단계 S471). 서버는, 수신기(200)로부터 광 ID를 수신하고(단계 S472), 그 광 ID에 근거하여 수신기(200)의 위치를 추정한다(단계 S473). 예를 들면, 서버는, 광 ID 마다 그 광 ID를 송신하는 송신기(100)가 배치되어 있는 방, 건물 또는 스페이스 등을 나타내는 테이블을 기억하고 있다. 그리고, 서버는, 그 테이블에 있어서, 수신기(200)로부터 송신된 광 ID에 대응시켜진 방 등을, 수신기(200)의 위치로서 추정한다. 또한, 서버는, 그 추정된 위치에 대응시켜진 AR 화상 및 인식 정보를 수신기(200)에 송신한다(단계 S474).
수신기(200)는, 서버로부터 송신된 AR 화상 및 인식 정보를 취득한다(단계 S475). 여기서, 수신기(200)는 아웃 카메라 및 인 카메라(213)의 각각에 의해 얻어진 각 촬상 표시 화상 Ppre 중에서, 그 인식 정보에 따른 대상 영역을 인식하는 처리를 개시한다. 그리고, 수신기(200)는, 예를 들면 아웃 카메라에 의해서 취득된 촬상 표시 화상 Ppre 중에서 대상 영역을 인식한다(단계 S476). 수신기(200)는, 촬상 표시 화상 Ppre 중의 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상 Ppre을 표시한다(단계 S477).
또한, 전술의 예에서는, 수신기(200)는, 서버로부터 송신된 AR 화상 및 인식 정보를 취득하면, 단계 S476에 있어서, 아웃 카메라 및 인 카메라(213)의 각각에 의해서 얻어진 각 촬상 표시 화상 Ppre 중에서 대상 영역을 인식하는 처리를 개시했다. 그러나, 수신기(200)는, 단계 S476에 있어서, 아웃 카메라에만 의해 얻어진 촬상 표시 화상 Ppre 중에서 대상 영역을 인식하는 처리를 개시해도 된다. 즉, 광 ID 를 취득하기 위한 카메라(전술의 예에서는 인 카메라(213))와 AR 화상이 중첩되는 촬상 표시 화상 Ppre을 취득하기 위한 카메라(전술의 예에서는 아웃 카메라)를, 항상 상이하게 해도 된다.
또, 전술의 예에서는, 수신기(200)는, 조명 장치인 송신기(100)를 인 카메라(213)로 촬상했지만, 송신기(100)에 의해서 비추어진 마루의 면을 아웃 카메라로 촬영해도 된다. 이러한 아웃 카메라에 의한 촬상으로도, 수신기(200)는 송신기(100)로부터 송신되는 광 ID를 취득할 수 있다.
도 307은, 수신기(200)에 의한 AR 화상의 중첩의 일례를 나타내는 도면이다.
수신기(200)는, 예를 들면 편의점 등의 점포에 설치된 전자레인지로서 구성되어 있는 송신기(100)를 촬상한다. 이 송신기(100)는, 전자레인지의 안을 촬상하기 위한 카메라와 그 안을 비추는 조명 장치를 구비한다. 그리고, 송신기(100)는, 안에 수납된 음식물(즉 덥히는 대상물)을, 카메라에 의한 촬상에 의해서 인식한다. 또, 송신기(100)는 그 음식물을 데울 때에는, 전술의 조명 장치를 발광시키는 것과 함께, 그 조명 장치를 휘도 변화시키는 것에 의해서, 인식된 음식물을 나타내는 광 ID를 송신한다. 또한, 이 조명 장치는 전자레인지의 안을 비추지만, 그 조명 장치의 광은 전자레인지의 투과성을 가지는 창부에서 외부로 발해진다. 따라서, 광 ID는 조명 장치로부터 전자레인지의 창부를 개재하여 전자레인지의 외부에 송신된다.
여기서, 사용자는, 편의점에서 음식물을 구입하고, 그 음식물을 데우기 위해서 전자레인지인 송신기(100)에 그 음식물을 넣는다. 이 때, 송신기(100)는, 카메라에 의해서 그 음식물을 인식하고, 그 인식된 음식물을 나타내는 광 ID를 송신하면서 음식물의 데우기를 개시한다.
수신기(200)는, 그 데우기를 개시한 송신기(100)를 촬상하는 것에 의해서, 송신기(100)로부터 송신된 광 ID를 취득하고, 그 광 ID를 서버에 송신한다. 다음에, 수신기(200)는 그 광 ID에 대응시켜진 AR 화상, 음성 데이터 및 인식 정보를 서버로부터 취득한다.
전술의 AR 화상은, 송신기(100)의 내부의 가상적인 모습을 나타내는 동영상인 AR 화상 P32a과 안에 수납된 음식물을 상세하게 나타내는 AR 화상 P32b과 송신기(100)로부터 김이 나오고 있는 모습을 동영상에 의해서 나타내는 AR 화상 P32c과, 음식물의 데우기 완료까지의 남은 시간을 동영상에 의해서 나타내는 AR 화상 P32d을 포함한다.
예를 들면, AR 화상 P32a은, 전자레인지의 안에 수납된 음식물이 피자이면, 피자를 얹은 턴테이블이 회전하고 있고, 그 피자의 주위를 복수의 소인이 춤추고 있는 동영상이다. AR 화상 P32b은 예를 들면, 안에 수납된 음식물이 피자이면, 그 상품명 「피자」와, 그 피자의 재료를 나타내는 화상이다.
수신기(200)는, 인식 정보에 근거하여, 촬상 표시 화상 Ppre 중 송신기(100)의 창부가 비추어지고 있는 영역을, AR 화상 P32a의 대상 영역으로서 인식하고, 그 대상 영역에 AR 화상 P32a을 중첩한다. 또한, 수신기(200)는, 인식 정보에 근거하여 촬상 표시 화상 Ppre 중의, 송신기(100)가 비추어지고 있는 영역보다도 위에 있는 영역을, AR 화상 P32b의 대상 영역으로서 인식하고, 그 대상 영역에 AR 화상 P32b을 중첩한다. 또한, 수신기(200)는, 인식 정보에 근거하여, 촬상 표시 화상 Ppre 중, AR 화상 P32a의 대상 영역과 AR 화상 P32b의 대상 영역과의 사이에 있는 영역을, AR 화상 P32c의 대상 영역으로서 인식하고, 그 대상 영역에 AR 화상 P32c을 중첩한다. 또한, 수신기(200)는, 인식 정보에 근거하여, 촬상 표시 화상 Ppre 중, 송신기(100)가 비추어지고 있는 영역의 아래에 있는 영역을 AR 화상 P32d의 대상 영역으로서 인식하고, 그 대상 영역에 AR 화상 P32d을 중첩한다.
또한, 수신기(200)는, 음성 데이터를 재생하는 것에 의해서, 음식물이 가열될 때 생기는 소리를 출력한다.
수신기(200)에 의해서 전술과 같은 AR 화상 P32a~P32d이 표시되고 또한, 소리가 출력되는 것에 의해서, 음식물의 데우기가 완료할 때까지의 사이, 사용자의 흥미를 수신기(200)에게 끌어당길 수 있다. 그 결과, 데우기의 완료를 기다리고 있는 사용자의 부담을 경감시킬 수 있다. 또, 김 등을 나타내는 AR 화상 P32c이 표시되고 음식물이 가열될 때 생기는 소리가 출력되는 것에 의해서, 사용자에게 시즐감을 줄 수 있다. 또, AR 화상 P32d의 표시에 의해서, 사용자는, 음식물의 데우기 완료까지의 남은 시간을 용이하게 알 수 있다. 따라서, 사용자는, 데우기 완료까지의 사이, 예를 들면, 전자레인지인 송신기(100)로부터 떨어져 점포 내에 진열되어 있는 책 등을 읽을 수 있다. 또, 수신기(200)는 남은 시간이 0이 되었을 때에는, 데우기가 완료한 것을 사용자에게 통지해도 된다.
또한, 전술의 예에서는, AR 화상 P32a은, 피자를 얹은 턴테이블이 회전하고 있고, 그 피자의 주위를 복수의 소인이 춤추고 있는 동영상이었지만, 예를 들면, 안의 온도 분포를 가상적으로 나타내는 화상이어도 된다. 또, AR 화상 P32b은 안에 수납된 음식물의 상품명 및 재료를 나타내는 화상이었지만, 영양 성분 또는 칼로리를 나타내는 화상이어도 된다. 혹은, AR 화상 P32b은 할인권을 나타내는 화상이어도 된다.
이와 같이 본 변형예에 있어서의 표시 방법에서는, 피사체는, 조명 장치를 구비한 전자레인지로서, 조명 장치는 전자레인지의 안을 비추고, 또한 휘도 변화하는 것에 의해서 광 ID를 전자레인지의 외부에 송신한다. 그리고, 촬상 표시 화상 Ppre 및 복호용 화상 Pdec의 취득에서는, 광 ID를 송신하고 있는 전자레인지를 촬상하는 것에 의해서 촬상 표시 화상 Ppre 및 복호용 화상 Pdec을 취득한다. 대상 영역의 인식에서는, 촬상 표시 화상 Ppre에 비추어지고 있는 전자레인지의 창부분을 대상 영역으로서 인식한다. 촬상 표시 화상 Ppre의 표시에서는, 안의 상태 변화를 나타내는 AR 화상이 중첩된 촬상 표시 화상 Ppre을 표시한다.
이것에 의해, 전자레인지의 안의 상태 변화가 AR 화상으로서 표시되기 때문에, 전자레인지의 이용자에게 안의 모습을 알기 쉽게 전할 수 있다.
도 308은, 수신기(200), 전자레인지, 중계 서버 및 전자 결제용 서버를 포함한 시스템의 처리 동작을 나타내는 시퀀스도이다. 또한, 전자레인지는, 전술과 동일하게, 카메라 및 조명 장치를 구비하고, 그 조명 장치의 휘도를 변화시키는 것에 의해서 광 ID를 송신한다. 즉, 전자레인지는 송신기(100)로서의 기능을 가진다.
우선, 전자레인지는, 안에 수납된 음식물을 카메라에 의해서 인식한다(단계 S481). 다음에, 전자레인지는, 그 인식된 음식물을 나타내는 광 ID를 조명 장치의 휘도 변화에 의해서 수신기(200)에 송신한다.
수신기(200)는, 전자레인지를 촬상하는 것에 의해서, 그 전자레인지로부터 송신된 광 ID를 수신하고(단계 S483), 광 ID와 카드 정보를 중계 서버에 송신한다. 카드 정보는 수신기(200)에 미리 보존되어 있는 크레디트 카드 등의 정보로서, 전자결제에 필요한 정보이다.
중계 서버는, 광 ID 마다 그 광 ID에 대응하는 AR 화상, 인식 정보 및 상품 정보를 나타내는 테이블을 보관 유지하고 있다. 이 상품 정보는, 광 ID에 의해서 나타나는 음식물의 요금 등을 나타낸다. 이러한 중계 서버는 수신기(200)로부터 송신된 광 ID와 카드 정보를 수신하면(단계 S486), 그 광 ID에 대응시켜진 상품 정보를 전술의 테이블로부터 찾아낸다. 그리고, 중계 서버는, 그 상품 정보와 카드 정보를 전자 결제용 서버에 송신한다(단계 S486). 전자 결제용 서버는, 중계 서버로부터 송신된 상품 정보와 카드 정보를 수신하면(단계 S487), 그 상품 정보와 카드 정보에 근거해 전자 결제의 처리를 행한다(단계 S488). 그리고, 전자 결제용 서버는, 그 전자 결제의 처리가 완료하면, 그 완료를 중계 서버에 통지한다(단계 S489).
중계 서버는, 전자 결제용 서버로부터의 결제 완료의 통지를 확인하면(단계 S490), 음식물의 데우기 개시를 전자레인지에 지시한다(단계 S491). 또한, 중계 서버는, 전술의 테이블에 있어서, 단계 S485에서 수신한 광 ID에 대응시켜져 있는 AR 화상 및 인식 정보를 수신기(200)에 송신한다(단계 S493).
전자레인지는, 중계 서버로부터 데우기 개시의 지시를 받으면, 안에 수납된 음식물의 데우기를 개시한다(단계 S492). 또, 수신기(200)는, 중계 서버로부터 송신된 AR 화상 및 인식 정보를 수신하면, 단계 S483로부터 개시되고 있는 촬상에 의해서 주기적으로 취득되는 촬상 표시 화상 Ppre으로부터, 그 인식 정보에 따른 대상 영역을 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상을 중첩한다(단계 S494).
이것에 의해, 수신기(200)의 사용자는, 전자레인지의 안에 음식물을 넣고 촬상을 행하면, 간단하게 결제를 끝마치고 음식물의 데우기를 개시할 수 있다. 또, 결제를 할 수 없는 경우에는, 사용자에 의한 음식물의 데우기를 금지할 수 있다. 또한, 데우기가 개시되었을 때에는, 도 307에 나타내는 AR 화상 P32a 등의 표시를 행할 수 있고, 안의 모습을 사용자에게 알릴 수 있다.
도 309는, POS 단말, 서버, 수신기(200) 및 전자레인지를 포함하는 시스템의 처리 동작을 나타내는 시퀀스도이다. 또한, 전자레인지는, 전술과 동일하게, 카메라 및 조명 장치를 구비하고, 그 조명 장치의 휘도를 변화시키는 것에 의해서 광 ID를 송신한다. 즉, 전자레인지는 송신기(100)로서의 기능을 가진다. 또, POS(point－of－sale) 단말은, 전자렌지와 동일한 편의점 등의 점포에 설치된 단말이다.
우선, 수신기(200)의 사용자는, 점포에서, 상품인 음식물을 선택하고, 그 음식물을 구입하기 위해서 POS 단말이 설치된 장소로 향한다. 그 점포의 점원은, POS 단말을 조작하고, 음식물의 대금을 사용자로부터 수취한다. 이 점원에 의한 POS 단말의 조작에 의해서, POS 단말은, 조작 입력 데이터와 판매 정보를 취득한다(단계 S501). 판매 정보는, 예를 들면 상품의 명칭, 개수 및 가격과 판매 장소와 판매 일시를 나타낸다. 조작 입력 데이터는, 예를 들면, 점원에 의해서 입력된 사용자의 성별 및 나이대 등을 나타낸다. POS 단말은, 그 조작 입력 데이터와 판매 정보를 서버에 송신한다(단계 S502). 서버는, POS 단말로부터 송신된 조작 입력 데이터와 판매 정보를 수신한다(단계 S503).
한편, 수신기(200)의 사용자는, 점원에게 음식물의 대금을 지불하면, 그 음식물을 데우기 위해서 전자레인지의 안에 음식물을 넣는다. 전자레인지는, 안에 수납된 음식물을 카메라에 의해서 인식한다(단계 S504). 다음에, 전자레인지는, 그 인식된 음식물을 나타내는 광 ID를 조명 장치의 휘도 변화에 의해서 수신기(200)에 송신한다(단계 S505). 그리고, 전자레인지는, 음식물의 데우기를 개시한다(단계 S507).
수신기(200)는, 전자레인지를 촬상하는 것에 의해서, 그 전자레인지로부터 송신된 광 ID를 수신하고(단계 S508), 광 ID와 단말 정보를 서버에 송신한다(단계 S509). 단말 정보는, 수신기(200)에 미리 보존되어 있는 정보로서, 예를 들면, 수신기(200)의 디스플레이(201)에 표시되는 언어의 종별(예를 들면 영어 또는 일본어 등)을 나타낸다.
서버는, 수신기(200)로부터 액세스되고 수신기(200)로부터 송신된 광 ID와 단말 정보를 수신하면, 그 수신기(200)로부터의 액세스가, 최초의 액세스인지 아닌지를 판정한다(단계 S510). 최초의 액세스는, 단계 S503의 처리가 행해졌을 때로부터 소정 시간 내에 있어서 최초로 행해지는 액세스이다. 여기서, 서버는, 그 수신기(200)로부터의 액세스가 최초의 액세스라고 판정하면(단계 S510의 Yes), 조작 입력 데이터와 단말 정보를 관련지어 보존한다(단계 S511).
또한, 서버는, 수신기(200)로부터의 액세스가 최초의 액세스인지 아닌지를 판정했지만, 판매 정보에 의해서 나타나는 상품이, 광 ID에 의해서 나타나는 음식물에 일치하는지 아닌지를 판정해도 된다. 또, 서버는, 단계 S511에서는, 조작 입력 데이터와 단말 정보를 관련지을 뿐만 아니라, 판매 정보도 그들에 관련지어 보존해도 된다.
(실내에서의 이용)
도 310은, 지하상가 등의 실내에서의 이용의 모습을 나타내는 도면이다.
수신기(200)는, 조명 장치로서 구성된 송신기(100)의 송신하는 광 ID를 수신하고, 자신의 현재 위치를 추정한다. 또, 수신기(200)는, 지도상에 현재 위치를 표시해 길안내를 행하거나 부근의 점포의 정보를 표시하거나 한다.
긴급시에는 송신기(100)로부터 재해 정보나 피난 정보를 송신함으로써, 통신이 혼잡한 경우나, 통신 기지국이 고장난 경우나, 통신 기지국으로부터의 전파가 닿지 않는 장소에 있는 경우라도, 이러한 정보를 얻을 수 있다. 이것은, 긴급 방송을 흘려 들은 경우나, 긴급 방송을 들을 수 없는 청각 장애자에게 유효하다.
즉, 수신기(200)는, 촬상하는 것에 의해서, 송신기(100)로부터 송신된 광 ID를 취득하고, 또한, 그 광 ID에 대응시켜진 AR 화상 P33과 인식 정보를 서버로부터 취득한다. 그리고, 수신기(200)는, 전술의 촬상에 의해서 얻어진 촬상 표시 화상 Ppre으로부터, 인식 정보에 따른 대상 영역을 인식하고, 그 대상 영역에, 화살표의 형상을 한 AR 화상 P33을 중첩한다. 이것에 의해, 수신기(200)를 전술의 웨이 파인더(도 294 참조)로서 이용할 수 있다.
(확장 현실 오브젝트의 표시)
도 311은, 확장 현실 오브젝트를 표시하는 모습을 나타내는 도면이다.
확장 현실을 표시시키는 무대(2718e)는, 전술의 송신기(100)로서 구성되고, 발광부(2718a, 2718b, 2718c, 2718d)의 발광 패턴이나 위치 패턴으로, 확장 현실 오브젝트의 정보나, 확장 현실 오브젝트를 표시시키는 기준 위치를 송신한다.
수신기(200)는, 수신한 정보를 근거로, AR 화상인 확장 현실 오브젝트(2718f)를 촬상 화상에 중첩하여 표시시킨다.
또한, 이러한 포괄적 또는 구체적인 양태는 장치, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 CD-ROM 등의 기록 매체로 실현되어도 되고, 장치, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 기록 매체의 임의인 조합으로 실현되어도 된다. 또, 일 실시 형태에 따른 방법을 실행하는 컴퓨터 프로그램이 서버의 기록 매체에 보존되어 있고, 단말의 요구에 따라 서버로부터 단말에 전달하는 양태로 실현되어도 된다.
산업상의 이용 가능성
본 발명의 표시 방법은, 사용자에게 유익한 화상을 표시할 수 있다는 효과를 나타내고, 예를 들면, 스마트 폰, 안경 또는 태블릿 등의 표시 장치 등에 이용할 수 있다.
A10 : 표시 장치, A11 : 촬상 센서, A12 : 복호부, A13 : 표시 제어부

Claims (14)

  1. 표시 장치가 화상을 표시하는 표시 방법으로서,
    이미지 센서가 피사체를 촬상하는 것에 의해서 촬상 표시 화상 및 복호용 화상을 취득하고,
    상기 복호용 화상에 대한 복호에 의해서 광식별 정보를 취득하며,
    상기 광식별 정보를 서버에 송신하고,
    상기 광식별 정보에 대응하는 확장 현실 화상과 인식 정보를 서버로부터 취득하고,
    상기 촬상 표시 화상 중, 상기 인식 정보에 따른 영역을 대상 영역으로서 인식하며,
    상기 대상 영역에 상기 확장 현실 화상이 중첩된 상기 촬상 표시 화상을 표시하는, 표시 방법.
  2. 청구항 1에 있어서,
    상기 인식 정보는,
    상기 촬상 표시 화상 중 기준 영역을 특정하기 위한 기준 정보와, 상기 기준 영역에 대한 상기 대상 영역의 상대 위치를 나타내는 대상 정보를 포함하고,
    상기 대상 영역의 인식에서는,
    상기 기준 정보에 근거하여 상기 촬상 표시 화상으로부터 상기 기준 영역을 특정하고, 상기 촬상 표시 화상 중, 상기 기준 영역의 위치를 기준으로 하여 상기 대상 정보에 의해 나타나는 상기 상대 위치에 있는 영역을, 상기 대상 영역으로서 인식하는, 표시 방법.
  3. 청구항 2에 있어서,
    상기 기준 정보는,
    상기 촬상 표시 화상에 있어서의 상기 기준 영역의 위치가, 상기 복호용 화상에 있어서의, 상기 이미지 센서가 가지는 복수의 노광 라인의 노광에 의해서 나타나는 복수의 휘선의 패턴으로 이루어지는 휘선 패턴 영역의 위치와 동일한 것을 나타내는, 표시 방법.
  4. 청구항 2에 있어서,
    상기 기준 정보는, 상기 촬상 표시 화상에 있어서의 상기 기준 영역이, 상기 촬상 표시 화상 중 디스플레이가 비추어져 있는 영역인 것을 나타내는, 표시 방법.
  5. 청구항 4에 있어서,
    상기 기준 영역은, 상기 디스플레이에 표시되어 있는 화상에 있어서의 소정의 색의 외부 테두리 부분인, 표시 방법.
  6. 청구항 1에 있어서,
    상기 촬상 표시 화상의 표시에서는,
    상기 확장 현실 화상인 제1 확장 현실 화상과 상이한 제2 확장 현실 화상의 표시를 억제하면서, 미리 정해진 표시 기간만큼 상기 제1 확장 현실 화상을 표시하는, 표시 방법.
  7. 청구항 6에 있어서,
    상기 촬상 표시 화상의 표시에서는,
    상기 표시 기간에는, 새롭게 취득되는 복호용 화상에 대한 복호를 금지하는, 표시 방법.
  8. 청구항 7에 있어서,
    상기 촬상 표시 화상의 표시에서는, 추가로
    상기 표시 기간에 있어서, 상기 표시 장치의 가속도를 가속도 센서에 의해서 계측하고,
    계측된 상기 가속도가 임계값 이상인지 아닌지를 판정하며,
    상기 임계값 이상으로 판정했을 때에는, 상기 제2 확장 현실 화상의 표시의 억제를 해제하는 것에 의해서, 상기 제1 확장 현실 화상 대신에 상기 제2 확장 현실 화상을 표시하는, 표시 방법.
  9. 청구항 1에 있어서,
    상기 촬상 표시 화상의 표시에서는, 추가로
    상기 표시 장치에 구비된 페이스 카메라에 의한 촬상에 의해서, 상기 표시 장치에 사용자의 얼굴이 가까워지고 있는지 아닌지를 판정하고,
    상기 얼굴이 가까워지고 있다고 판정하면, 상기 확장 현실 화상인 제1 확장 현실 화상과 상이한 제2 확장 현실 화상의 표시를 억제하면서, 상기 제1 확장 현실 화상을 표시하는, 표시 방법.
  10. 청구항 1에 있어서,
    상기 촬상 표시 화상의 표시에서는, 추가로
    가속도 센서에 의해서 계측되는 상기 표시 장치의 가속도에 의해서, 상기 표시 장치에 사용자의 얼굴이 가까워지고 있는지 아닌지를 판정하고,
    상기 얼굴이 가까워지고 있다고 판정하면, 상기 확장 현실 화상인 제1 확장 현실 화상과 상이한 제2 확장 현실 화상의 표시를 억제하면서, 상기 제1 확장 현실 화상을 표시하는, 표시 방법.
  11. 청구항 1에 있어서,
    상기 촬상 표시 화상 및 상기 복호용 화상의 취득에서는,
    각각 화상을 표시하고 있는 복수의 디스플레이를 상기 피사체로서 촬상하는 것에 의해서, 상기 촬상 표시 화상 및 상기 복호용 화상을 취득하고,
    상기 대상 영역의 인식에서는,
    상기 촬상 표시 화상 중, 상기 복수의 디스플레이 중 상기 광식별 정보를 송신하고 있는 디스플레이인 송신 디스플레이가 나타나 있는 영역을 상기 대상 영역으로서 인식하고,
    상기 촬상 표시 화상의 표시에서는,
    상기 송신 디스플레이에 표시되어 있는 화상에 대응하는 제1 자막을 상기 확장 현실 화상으로서 상기 대상 영역에 중첩하고, 추가로
    상기 촬상 표시 화상 중 상기 대상 영역보다도 큰 영역에, 상기 제1 자막이 확대된 자막인 제2 자막을 중첩하는, 표시 방법.
  12. 청구항 11에 있어서,
    상기 촬상 표시 화상의 표시에서는, 추가로
    상기 서버로부터 취득되는 정보에, 음성 정보가 포함되어 있는지 아닌지를 판정하고,
    포함되어 있다고 판정했을 때에는, 상기 제1 및 제2 자막보다도, 상기 음성 정보가 나타내는 음성을 우선하여 출력하는, 표시 방법.
  13. 화상을 표시하는 표시 장치로서,
    피사체를 촬상하는 것에 의해서 촬상 표시 화상 및 복호용 화상을 취득하는 이미지 센서와,
    상기 복호용 화상에 대한 복호에 의해서 광식별 정보를 취득하는 복호부와,
    상기 광식별 정보를 서버에 송신하는 송신부와,
    상기 광식별 정보에 대응하는 확장 현실 화상과 인식 정보를 서버로부터 취득하는 취득부와,
    상기 촬상 표시 화상 중, 상기 인식 정보에 따른 영역을 대상 영역으로서 인식하는 인식부와,
    상기 대상 영역에 상기 확장 현실 화상이 중첩된 상기 촬상 표시 화상을 표시하는 표시부를 구비하는 표시 장치.
  14. 표시 장치가 화상을 표시하기 위한 프로그램으로서,
    이미지 센서에 피사체를 촬상시키는 것에 의해서 촬상 표시 화상 및 복호용 화상을 취득하고,
    상기 복호용 화상에 대한 복호에 의해서 광식별 정보를 취득하며,
    상기 광식별 정보를 서버에 송신하고,
    상기 광식별 정보에 대응하는 확장 현실 화상과 인식 정보를 서버로부터 취득하고,
    상기 촬상 표시 화상 중, 상기 인식 정보에 따른 영역을 대상 영역으로서 인식하고,
    상기 대상 영역에 상기 확장 현실 화상이 중첩된 상기 촬상 표시 화상을 디스플레이에 표시하는 것을 컴퓨터에 실행시키는 프로그램.
KR1020177021787A 2015-12-17 2016-12-13 표시 방법 및 표시 장치 KR20180097444A (ko)

Applications Claiming Priority (15)

Application Number Priority Date Filing Date Title
US201562268693P 2015-12-17 2015-12-17
JPJP-P-2015-245738 2015-12-17
US62/268,693 2015-12-17
JP2015245738 2015-12-17
US201662276454P 2016-01-08 2016-01-08
US62/276,454 2016-01-08
US201662338071P 2016-05-18 2016-05-18
JPJP-P-2016-100008 2016-05-18
JP2016100008 2016-05-18
US62/338,071 2016-05-18
JP2016123067 2016-06-21
JPJP-P-2016-123067 2016-06-21
JP2016145845 2016-07-25
JPJP-P-2016-145845 2016-07-25
PCT/JP2016/087072 WO2017104666A1 (ja) 2015-12-17 2016-12-13 表示方法および表示装置

Publications (1)

Publication Number Publication Date
KR20180097444A true KR20180097444A (ko) 2018-08-31

Family

ID=59056909

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177021787A KR20180097444A (ko) 2015-12-17 2016-12-13 표시 방법 및 표시 장치

Country Status (6)

Country Link
US (1) US10504584B2 (ko)
EP (1) EP3393132B1 (ko)
JP (1) JP6876617B2 (ko)
KR (1) KR20180097444A (ko)
CN (1) CN107343392B (ko)
WO (1) WO2017104666A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147222B2 (en) * 2010-06-23 2015-09-29 Digimarc Corporation Detecting encoded signals under adverse lighting conditions using adaptive signal detection
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
CN106993227B (zh) * 2016-01-20 2020-01-21 腾讯科技（北京）有限公司 一种进行信息展示的方法和装置
JP2018077606A (ja) * 2016-11-08 2018-05-17 セイコーエプソン株式会社 携帯型電子装置、表示方法、表示システム、プログラム、および記憶媒体
TWI655620B (zh) * 2016-12-06 2019-04-01 矽創電子股份有限公司 顯示系統及其視訊資料顯示方法
CN106683603B (zh) 2017-01-10 2019-08-06 Oppo广东移动通信有限公司 一种闪屏处理方法及终端
US10578869B2 (en) * 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
JP6897389B2 (ja) * 2017-07-25 2021-06-30 富士通株式会社 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム
EP3676823A4 (en) * 2017-09-01 2021-10-13 Georgetown University BODY PORTABLE VIBROTACTILE VOICE AID
CN107979418A (zh) * 2017-11-22 2018-05-01 吴东辉 基于手机闪光灯确定其客户端对应id的AR方法和系统
US10255794B1 (en) 2017-11-28 2019-04-09 Titan Health & Security Technologies, Inc. Systems and methods for providing augmented reality emergency response solutions
CN108038509B (zh) * 2017-12-21 2020-08-04 合肥美的智能科技有限公司 基于图像识别模型的图像识别方法和装置
JP6808896B2 (ja) * 2017-12-21 2021-01-06 株式会社コナミデジタルエンタテインメント 表示制御装置、表示制御システム、及びプログラム
CN108270974A (zh) * 2018-03-07 2018-07-10 华南理工大学 一种用于可见光动态环境下通信的高速摄像头及其通信方法
CZ309533B6 (cs) 2018-03-29 2023-03-29 PO LIGHTING CZECH s.r.o. Komunikační zařízení motorového vozidla, osvětlovací zařízení motorového vozidla pro komunikační zařízení motorového vozidla a způsob car2car nebo car2X komunikace motorového vozidla
JP6917340B2 (ja) * 2018-05-17 2021-08-11 グリー株式会社 データ処理プログラム、データ処理方法、および、データ処理装置
JP6705470B2 (ja) * 2018-06-06 2020-06-03 株式会社Ｊｖｃケンウッド 記録再生装置、記録再生方法、およびプログラム
KR20200039982A (ko) * 2018-10-08 2020-04-17 현대자동차주식회사 멀티 디바이스 시스템 및 그 제어방법
CN111291202A (zh) * 2018-12-07 2020-06-16 北京奇虎科技有限公司 一种基于ppt的高亮显示方法及装置
US10852815B2 (en) * 2019-04-30 2020-12-01 Valve Corporation Display system with dynamic light output adjustment for maintaining constant brightness
CN110223120B (zh) * 2019-06-13 2022-01-25 宁波奥克斯电气股份有限公司 一种设备运行的模拟方法及装置
US11366319B1 (en) * 2021-02-28 2022-06-21 Douglas Labs, Inc. Immersive viewing experience
US11430414B2 (en) 2019-10-17 2022-08-30 Microsoft Technology Licensing, Llc Eye gaze control of magnification user interface
CN111064933B (zh) * 2019-12-27 2021-04-06 成都英飞睿技术有限公司 一种红外全景监控系统
JP2022007458A (ja) * 2020-06-26 2022-01-13 株式会社バンダイナムコエンターテインメント エンターテインメントシステム及びプログラム
KR20220027576A (ko) * 2020-08-27 2022-03-08 엘지디스플레이 주식회사 표시 패널과 이를 포함하는 표시 장치
US11640599B2 (en) * 2020-10-01 2023-05-02 Bank Of America Corporation Smart card dependent transfer technology
CN113268400B (zh) * 2021-04-27 2022-07-12 新华三信息技术有限公司 一种指示灯同步闪烁方法、装置以及服务器
CN113359985A (zh) * 2021-06-03 2021-09-07 北京市商汤科技开发有限公司 数据展示方法、装置、计算机设备以及存储介质
WO2023130047A1 (en) * 2021-12-30 2023-07-06 Canon U.S.A., Inc. Systems and methods for virtual reality immersive calling

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807031A (en) 1987-10-20 1989-02-21 Interactive Systems, Incorporated Interactive video method and apparatus
JPH08509582A (ja) 1993-05-03 1996-10-08 ピンジャロー プロプライエタリー リミテッド サブリミナル・メッセージ表示システム
US20050169643A1 (en) 1997-01-02 2005-08-04 Franklin Philip G. Method and apparatus for the zonal transmission of data using building lighting fixtures
WO1999044336A1 (fr) 1998-02-26 1999-09-02 Sony Corporation Appareil de traitement de donnees et support lisible par ordinateur
JP3918813B2 (ja) 2001-10-23 2007-05-23 ソニー株式会社 データ通信システム、データ送信装置、並びにデータ受信装置
US6801719B1 (en) * 2003-03-14 2004-10-05 Eastman Kodak Company Camera using beam splitter with micro-lens image amplification
JP2004334269A (ja) 2003-04-30 2004-11-25 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
CN1989716B (zh) 2004-07-28 2010-05-05 松下电器产业株式会社 影像显示装置及影像显示系统
JP4506502B2 (ja) 2005-02-23 2010-07-21 パナソニック電工株式会社 照明光伝送システム
JP4692991B2 (ja) 2005-05-20 2011-06-01 株式会社中川研究所 データ送信装置及びデータ受信装置
JP4676494B2 (ja) 2005-06-30 2011-04-27 パイオニア株式会社 照明光通信装置、照明光通信方法及びコンピュータプログラム
JP4483744B2 (ja) 2005-08-26 2010-06-16 ソニー株式会社 撮像装置及び撮像制御方法
JP4600297B2 (ja) 2006-01-11 2010-12-15 ソニー株式会社 オブジェクトの関連情報の記録システム，オブジェクトの関連情報の記録方法，テレビジョン受像機及び表示制御方法
JP5045980B2 (ja) 2006-03-28 2012-10-10 カシオ計算機株式会社 情報伝送システム、移動体の制御装置、移動体の制御方法、及び、プログラム
JP4610511B2 (ja) 2006-03-30 2011-01-12 京セラ株式会社 可視光受信装置および可視光受信方法
JP4996175B2 (ja) 2006-08-29 2012-08-08 株式会社東芝 入室管理システムおよび入室管理方法
JP4265662B2 (ja) 2007-02-06 2009-05-20 株式会社デンソー 車両用通信装置
JP5031427B2 (ja) 2007-03-30 2012-09-19 三星電子株式会社 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP2009117892A (ja) 2007-11-01 2009-05-28 Toshiba Corp 可視光通信装置
JP5488457B2 (ja) 2008-03-10 2014-05-14 日本電気株式会社 通信システム及び受信装置
JP5541153B2 (ja) 2008-03-10 2014-07-09 日本電気株式会社 通信システム、送信装置及び受信装置
WO2009144853A1 (ja) 2008-05-30 2009-12-03 シャープ株式会社 照明装置、表示装置、並びに導光板
JP5282899B2 (ja) 2009-03-19 2013-09-04 カシオ計算機株式会社 情報復元装置及び情報復元方法
JP2010278573A (ja) 2009-05-26 2010-12-09 Panasonic Electric Works Co Ltd 点灯制御装置、盗撮防止システム、映写機
JP5515472B2 (ja) 2009-07-13 2014-06-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
US8879735B2 (en) 2012-01-20 2014-11-04 Digimarc Corporation Shared secret arrangements and optical data transfer
JP5414405B2 (ja) 2009-07-21 2014-02-12 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
US8731406B2 (en) 2009-09-16 2014-05-20 Samsung Electronics Co., Ltd. Apparatus and method for generating high resolution frames for dimming and visibility support in visible light communication
KR101621095B1 (ko) 2009-09-16 2016-05-16 삼성전자주식회사 디스플레이를 통한 부가 정보 제공 방법 및 장치
KR101615762B1 (ko) 2009-09-19 2016-04-27 삼성전자주식회사 다중 통신 모드를 제공하는 가시광 통신 시스템에서 가시 프레임을 출력하기 위한 방법 및 장치
US20110084983A1 (en) * 2009-09-29 2011-04-14 Wavelength & Resonance LLC Systems and Methods for Interaction With a Virtual Environment
US8798479B2 (en) 2009-12-03 2014-08-05 Samsung Electronics Co., Ltd. Controlling brightness of light sources used for data transmission
KR101653169B1 (ko) 2010-03-02 2016-09-02 삼성디스플레이 주식회사 가시광 통신 장치 및 그 방법
JP5436311B2 (ja) 2010-04-02 2014-03-05 三菱電機株式会社 情報表示システム、情報コンテンツ配信サーバおよびディスプレイ装置
US8682245B2 (en) 2010-09-23 2014-03-25 Blackberry Limited Communications system providing personnel access based upon near-field communication and related methods
JP5525401B2 (ja) 2010-09-29 2014-06-18 新日鉄住金ソリューションズ株式会社 拡張現実感提示装置、情報処理システム、拡張現実感提示方法及びプログラム
US8773577B2 (en) * 2010-10-27 2014-07-08 Qualcomm Incorporated Region of interest extraction
US8553146B2 (en) 2011-01-26 2013-10-08 Echostar Technologies L.L.C. Visually imperceptible matrix codes utilizing interlacing
US9571888B2 (en) 2011-02-15 2017-02-14 Echostar Technologies L.L.C. Selection graphics overlay of matrix code
JP2012169189A (ja) 2011-02-15 2012-09-06 Koito Mfg Co Ltd 発光モジュールおよび車両用灯具
JP2012195763A (ja) 2011-03-16 2012-10-11 Seiwa Electric Mfg Co Ltd 電子機器及びデータ収集システム
EP2503852A1 (en) 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
WO2012132183A1 (ja) * 2011-03-28 2012-10-04 パナソニック株式会社 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム及び記録媒体
EP2538584B1 (en) 2011-06-23 2018-12-05 Casio Computer Co., Ltd. Information Transmission System, and Information Transmission Method
US8334901B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias
US8866391B2 (en) 2011-07-26 2014-10-21 ByteLight, Inc. Self identifying modulated light source
US20130055072A1 (en) * 2011-08-24 2013-02-28 Robert Douglas Arnold Multi-Threaded Graphical Display System
KR101974366B1 (ko) 2012-02-10 2019-05-03 삼성전자주식회사 디지털 정보 디스플레이 장치에서 영상 내 각 객체에 대한 부가 정보를 제공하기 위한 방법 및 이를 위한 디지털 정보 디스플레이 장치 그리고 상기 부가 정보를 제공받는 가시광 통신 단말
JP2013223209A (ja) 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置
CN103426003B (zh) * 2012-05-22 2016-09-28 腾讯科技（深圳）有限公司 增强现实交互的实现方法和系统
SI2858269T1 (en) 2012-05-24 2018-06-29 Panasonic Intellectual Property Corporation Of America Procedure for transmitting information
CN102811284A (zh) 2012-06-26 2012-12-05 深圳市金立通信设备有限公司 一种语音输入自动翻译为目标语言的方法
JP5606653B1 (ja) * 2012-12-27 2014-10-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報通信方法
CN104885381B (zh) 2012-12-27 2017-12-19 松下电器（美国）知识产权公司 信息通信方法
JPWO2014103156A1 (ja) 2012-12-27 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報通信方法
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
JP6345697B2 (ja) * 2013-12-27 2018-06-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報処理プログラム、受信プログラムおよび情報処理装置
JP2015179392A (ja) 2014-03-19 2015-10-08 カシオ計算機株式会社 コードシンボル表示装置、情報処理装置及びプログラム
WO2015145541A1 (ja) * 2014-03-24 2015-10-01 日立マクセル株式会社 映像表示装置
JPWO2015145544A1 (ja) * 2014-03-24 2017-04-13 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
TWM506428U (zh) 2015-02-17 2015-08-01 Wonderwave Co Ltd 擴增實境式串流影音顯示系統
TWI736702B (zh) * 2016-11-10 2021-08-21 美商松下電器（美國）知識產權公司 資訊通訊方法、資訊通訊裝置及程式

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置

Also Published As

Publication number Publication date
CN107343392B (zh) 2020-10-30
US20180114566A1 (en) 2018-04-26
JPWO2017104666A1 (ja) 2018-10-04
EP3393132A1 (en) 2018-10-24
JP6876617B2 (ja) 2021-05-26
WO2017104666A1 (ja) 2017-06-22
EP3393132A4 (en) 2019-01-16
US10504584B2 (en) 2019-12-10
CN107343392A (zh) 2017-11-10
EP3393132B1 (en) 2022-11-02

Similar Documents

Publication Publication Date Title
JP6876617B2 (ja) 表示方法および表示装置
US10521668B2 (en) Display method and display apparatus
JP6876615B2 (ja) 表示方法、プログラムおよび表示装置
US10530486B2 (en) Transmitting method, transmitting apparatus, and program
CN110114988B (zh) 发送方法、发送装置及记录介质
JP7023239B2 (ja) 送信方法、送信装置、およびプログラム
JP6122233B1 (ja) 可視光信号の生成方法、信号生成装置およびプログラム
WO2017145207A1 (ja) 信号復号方法、信号復号装置およびプログラム
WO2016136256A1 (ja) 信号生成方法、信号生成装置およびプログラム
JP7134094B2 (ja) 送信方法、送信装置、およびプログラム
WO2016098355A1 (ja) 送信方法、送信装置およびプログラム
WO2018110373A1 (ja) 送信方法、送信装置、およびプログラム