KR20180081674A - 표시 방법, 프로그램 및 표시 장치 - Google Patents

표시 방법, 프로그램 및 표시 장치 Download PDF

Info

Publication number
KR20180081674A
KR20180081674A KR1020177021876A KR20177021876A KR20180081674A KR 20180081674 A KR20180081674 A KR 20180081674A KR 1020177021876 A KR1020177021876 A KR 1020177021876A KR 20177021876 A KR20177021876 A KR 20177021876A KR 20180081674 A KR20180081674 A KR 20180081674A
Authority
KR
South Korea
Prior art keywords
image
receiver
signal
display
information
Prior art date
Application number
KR1020177021876A
Other languages
English (en)
Inventor
히데키 아오야마
미쓰아키 오시마
Original Assignee
파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 filed Critical 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Publication of KR20180081674A publication Critical patent/KR20180081674A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B32—LAYERED PRODUCTS
    • B32B—LAYERED PRODUCTS, i.e. PRODUCTS BUILT-UP OF STRATA OF FLAT OR NON-FLAT, e.g. CELLULAR OR HONEYCOMB, FORM
    • B32B37/00—Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding
    • B32B37/06—Methods or apparatus for laminating, e.g. by curing or by ultrasonic bonding characterised by the heating method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/1141—One-way transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H04B10/54—Intensity modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H04N5/23206—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Optical Communication System (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

유저에게 유익한 화상을 표시하는 것이 가능한 표시 방법을 개시한다. 본 개시된 일실시의 형태에 따른 표시 방법은, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되어 있는 정지 화상을 피사체로서 촬상 센서에 의해 촬상함으로써, 촬상 화상을 취득하는 단계 S41과, 촬상 화상으로부터 신호를 복호하는 단계 S42와, 복호된 신호에 대응하는 동화상을 메모리로부터 읽어내고, 촬상 화상 중의 피사체에 대응하는 대상 영역에, 동화상을 중첩시켜 디스플레이에 표시하는 단계 S43을 갖고, 단계 43에서는, 그 동화상에 포함되는 복수의 화상 중, 정지 화상과 동일한 화상인 선두 화상으로부터, 그 복수의 화상을 순서대로 표시한다.

Description

표시 방법, 프로그램 및 표시 장치
본 개시는, 표시 방법, 프로그램 및 표시 장치에 관한 것이다.
최근의 홈 네트워크에서는, Ethernet(등록상표)나 무선 LAN(Local Area Network)에서의 IP(Internet　Protocol) 접속에 의한 AV 가전의 연계에 더하여, 환경 문제에 대응한 전력 사용량의 관리나, 자택 외로부터의 전원 ON/OFF와 같은 기능을 갖는 홈 에너지 매니지먼트 시스템(HEMS)에 의해서, 다양한 가전 기기가 네트워크에 접속되는 가전 연계 기능의 도입이 진행되고 있다. 그러나, 통신 기능을 갖기에는, 연산력이 충분하지 않은 가전이나, 비용면에서 통신 기능의 탑재가 어려운 가전 등도 있다.
이러한 문제를 해결하기 위해, 특허 문헌 1에서는, 광을 이용해 자유 공간에 정보를 전달하는 광 공간 전송 장치에 있어서, 조명광의 단색 광원을 복수 이용한 통신을 행함으로써, 한정된 송신 장치 중에서, 효율적으로 기기간의 통신을 실현하는 기술이 기재되어 있다.
일본 특허 공개 2002－290335호 공보
그러나, 상기 종래의 방식에서는, 적용되는 기기가 조명과 같은 3색 광원을 갖는 경우에 한정된다. 또한, 송신된 정보를 수신하는 수신기는, 유저에게 유익한 화상을 표시할 수 없다.
본 개시는, 이러한 과제를 해결하고, 유저에게 유익한 화상을 표시하는 것이 가능한 표시 방법 등을 제공한다.
본 개시의 일 형태에 따른 표시 방법은, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되어 있는 정지 화상을 피사체로 하여 촬상 센서에 의해 촬상함으로써, 촬상 화상을 취득하는 촬상 단계와, 상기 촬상 화상으로부터, 상기 신호를 복호하는 복호 단계와, 복호된 상기 신호에 대응하는 동화상을 메모리로부터 읽어내고, 상기 촬상 화상 중의 상기 피사체에 대응하는 대상 영역에, 상기 동화상을 중첩시켜 디스플레이에 표시하는 표시 단계를 갖고, 상기 표시 단계에서는, 상기 동화상에 포함되는 복수의 화상 중, 상기 정지 화상과 동일한 화상인 선두 화상으로부터, 상기 복수의 화상을 순서대로 표시한다.
또한, 이들 포괄적 또는 구체적인 양태는, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 CD－ROM 등의 기록 매체로 실현되어도 되고, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 및 기록 매체의 임의의 조합으로 실현되어도 된다.
본 개시에 의하면, 유저에게 유익한 화상을 표시하는 것이 가능한 표시 방법을 실현할 수 있다.
도 1은, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 2는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 3은, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 4는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 5a는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 5b는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 5c는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 5d는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 5e는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 5f는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 5g는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 5h는, 실시의 형태 1에 있어서의 발광부의 휘도의 관측 방법의 일 예를 나타내는 도이다.
도 6a는, 실시의 형태 1에 있어서의 정보 통신 방법의 플로우차트이다.
도 6b는, 실시의 형태 1에 있어서의 정보 통신 장치의 블록도이다.
도 7은, 실시의 형태 2에 있어서의 수신기의 촬영 동작의 일 예를 나타내는 도이다.
도 8은, 실시의 형태 2에 있어서의 수신기의 촬영 동작의 다른 예를 나타내는 도이다.
도 9는, 실시의 형태 2에 있어서의 수신기의 촬영 동작의 다른 예를 나타내는 도이다.
도 10은, 실시의 형태 2에 있어서의 수신기의 표시 동작의 일 예를 나타내는 도이다.
도 11은, 실시의 형태 2에 있어서의 수신기의 표시 동작의 일 예를 나타내는 도이다.
도 12는, 실시의 형태 2에 있어서의 수신기의 동작의 일 예를 나타내는 도이다.
도 13은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도이다.
도 14는, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도이다.
도 15는, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도이다.
도 16은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도이다.
도 17은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도이다.
도 18은, 실시의 형태 2에 있어서의 수신기와 송신기와 서버의 동작의 일 예를 나타내는 도이다.
도 19는, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도이다.
도 20은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도이다.
도 21은, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도이다.
도 22는, 실시의 형태 2에 있어서의 송신기의 동작의 일 예를 나타내는 도이다.
도 23은, 실시의 형태 2에 있어서의 송신기의 동작의 다른 예를 나타내는 도이다.
도 24는, 실시의 형태 2에 있어서의 수신기의 응용예를 나타내는 도이다.
도 25는, 실시의 형태 2에 있어서의 수신기의 동작의 다른 예를 나타내는 도이다.
도 26은, 실시의 형태 3에 있어서의 수신기, 송신기 및 서버의 처리 동작의 일 예를 나타내는 도이다.
도 27은, 실시의 형태 3에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도이다.
도 28은, 실시의 형태 3에 있어서의 송신기, 수신기 및 서버의 동작의 일 예를 나타내는 도이다.
도 29는, 실시의 형태 3에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도이다.
도 30은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도이다.
도 31은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도이다.
도 32는, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도이다.
도 33은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도이다.
도 34는, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도이다.
도 35는, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도이다.
도 36은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도이다.
도 37은, 실시의 형태 5에 있어서의 인간에의 가시광 통신의 통지를 설명하기 위한 도이다.
도 38은, 실시의 형태 5에 있어서의 길 안내에의 응용예를 설명하기 위한 도이다.
도 39는, 실시의 형태 5에 있어서의 이용 로그 축적과 해석에의 응용예를 설명하기 위한 도이다.
도 40은, 실시의 형태 5에 있어서의 화면 공유에의 응용예를 설명하기 위한 도이다.
도 41은, 실시의 형태 5에 있어서의 정보 통신 방법의 응용예를 나타내는 도이다.
도 42는, 실시의 형태 6에 있어서의 송신기와 수신기의 적용예를 나타내는 도이다.
도 43은, 실시의 형태 6에 있어서의 송신기 및 수신기의 적용예를 나타내는 도이다.
도 44는, 실시의 형태 7에 있어서의 수신기의 일 예를 나타내는 도이다.
도 45는, 실시의 형태 7에 있어서의 수신 시스템의 일 예를 나타내는 도이다.
도 46은, 실시의 형태 7에 있어서의 신호 송수신 시스템의 일 예를 나타내는 도이다.
도 47은, 실시의 형태 7에 있어서의 간섭을 배제한 수신 방법을 나타내는 플로우차트이다.
도 48은, 실시의 형태 7에 있어서의 송신기의 방위의 추정 방법을 나타내는 플로우차트이다.
도 49는, 실시의 형태 7에 있어서의 수신의 개시 방법을 나타내는 플로우차트이다.
도 50은, 실시의 형태 7에 있어서의 타 매체의 정보를 병용한 ID의 생성 방법을 나타내는 플로우차트이다.
도 51은, 실시의 형태 7에 있어서의 주파수 분리에 의한 수신 방식의 선택 방법을 나타내는 플로우차트이다.
도 52는, 실시의 형태 7에 있어서의 노광 시간이 긴 경우의 신호 수신 방법을 나타내는 플로우차트이다.
도 53은, 실시의 형태 7에 있어서의 송신기의 조광(밝기를 조정하는 것) 방법의 일 예를 나타내는 도이다.
도 54는, 실시의 형태 7에 있어서의 송신기의 조광 기능을 구성하는 방법의 일 예를 나타내는 도이다.
도 55는, EX 줌을 설명하기 위한 도이다.
도 56은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도이다.
도 57은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도이다.
도 58은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도이다.
도 59는, 실시의 형태 9에 있어서의 수신기의 화면 표시 방법의 일 예를 나타내는 도이다.
도 60은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도이다.
도 61은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도이다.
도 62는, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 플로우차트이다.
도 63은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도이다.
도 64는, 실시의 형태 9에 있어서의 수신 프로그램의 처리를 나타내는 플로우차트이다.
도 65는, 실시의 형태 9에 있어서의 수신 장치의 블록도이다.
도 66은, 가시광 신호를 수신했을 때의 수신기의 표시의 일 예를 나타내는 도이다.
도 67은, 가시광 신호를 수신했을 때의 수신기의 표시의 일 예를 나타내는 도이다.
도 68은, 취득 데이터 화상의 표시의 일 예를 나타내는 도이다.
도 69는, 취득 데이터를 보존하거나 또는 파기하는 경우의 조작의 일 예를 나타내는 도이다.
도 70은, 취득 데이터를 열람할 때의 표시예를 나타내는 도이다.
도 71은, 실시의 형태 9에 있어서의 송신기의 일 예를 나타내는 도이다.
도 72는, 실시의 형태 9에 있어서의 수신 방법의 일 예를 나타내는 도이다.
도 73은, 실시의 형태 10에 있어서의 수신 방법의 일 예를 나타내는 플로우차트이다.
도 74는, 실시의 형태 10에 있어서의 수신 방법의 일 예를 나타내는 플로우차트이다.
도 75는, 실시의 형태 10에 있어서의 수신 방법의 일 예를 나타내는 플로우차트이다.
도 76은, 실시의 형태 10에 있어서의 수신기가, 변조 주파수의 주기(변조 주기)보다 긴 노광 시간을 이용한 수신 방법을 설명하기 위한 도이다.
도 77은, 실시의 형태 10에 있어서의 수신기가, 변조 주파수의 주기(변조 주기)보다 긴 노광 시간을 이용한 수신 방법을 설명하기 위한 도이다.
도 78은, 실시의 형태 10에 있어서의 송신 데이터의 사이즈에 대한 효율적인 분할수를 나타내는 도이다.
도 79a는, 실시의 형태 10에 있어서의 설정 방법의 일 예를 나타내는 도이다.
도 79b는, 실시의 형태 10에 있어서의 설정 방법의 다른 예를 나타내는 도이다.
도 80은, 실시의 형태 10에 있어서의 정보 처리 프로그램의 처리를 나타내는 플로우차트이다.
도 81은, 실시의 형태 10에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 82는, 실시의 형태 10에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우차트이다.
도 83은, 실시의 형태 10에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 84는, 실시의 형태 10에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우차트이다.
도 85는, 실시의 형태 10에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 86은, 실시의 형태 10에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우차트이다.
도 87은, 실시의 형태 10에 있어서의 송신기의 응용예를 설명하기 위한 도이다.
도 88은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 89는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 90은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 91은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 92는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 93은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 94는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 95는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 96은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 97은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 98은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 99는, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 100은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 101은, 실시의 형태 11에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도이다.
도 102는, 실시의 형태 12에 있어서의 수신기의 동작을 설명하기 위한 도이다.
도 103a는, 실시의 형태 12에 있어서의 수신기의 다른 동작을 설명하기 위한 도이다.
도 103b는, 실시의 형태 12에 있어서의 출력부(1215)에 의해서 표시되는 인디케이터의 예를 나타내는 도이다.
도 103c는, 실시의 형태 12에 있어서의 AR의 표시예를 나타내는 도이다.
도 104a는, 실시의 형태 12에 있어서의 송신기의 일 예를 설명하기 위한 도이다.
도 104b는, 실시의 형태 12에 있어서의 송신기의 다른 예를 설명하기 위한 도이다.
도 105a는, 실시의 형태 12에 있어서의 복수의 송신기에 의한 동기 송신의 일 예를 설명하기 위한 도이다.
도 105b는, 실시의 형태 12에 있어서의 복수의 송신기에 의한 동기 송신의 다른 예를 설명하기 위한 도이다.
도 106은, 실시의 형태 12에 있어서의 복수의 송신기에 의한 동기 송신의 다른 예를 설명하기 위한 도이다.
도 107은, 실시의 형태 12에 있어서의 송신기의 신호 처리를 설명하기 위한 도이다.
도 108은, 실시의 형태 12에 있어서의 수신 방법의 일 예를 나타내는 플로우차트이다.
도 109는, 실시의 형태 12에 있어서의 수신 방법의 일 예를 설명하기 위한 설명도이다.
도 110은, 실시의 형태 12에 있어서의 수신 방법의 다른 예를 나타내는 플로우차트이다.
도 111은, 실시의 형태 13에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 112는, 실시의 형태 13에 있어서의 송신 신호의 다른 예를 나타내는 도이다.
도 113은, 실시의 형태 13에 있어서의 송신 신호의 다른 예를 나타내는 도이다.
도 114a는, 실시의 형태 14에 있어서의 송신기를 설명하기 위한 도이다.
도 114b는, 실시의 형태 14에 있어서의 RGB의 각각의 휘도 변화를 나타내는 도이다.
도 115는, 실시의 형태 14에 있어서의 녹색 형광 성분 및 적색 형광 성분의 잔광 특성을 나타내는 도이다.
도 116은, 실시의 형태 14에 있어서의, 바코드의 판독 에러의 발생을 억제하기 때문에 새롭게 발생하는 과제를 설명하기 위한 도이다.
도 117은, 실시의 형태 14에 있어서의 수신기에서 행해지는 다운샘플링을 설명하기 위한 도이다.
도 118은, 실시의 형태 14에 있어서의 수신기의 처리 동작을 나타내는 플로우차트이다.
도 119는, 실시의 형태 15에 있어서의 수신 장치(촬상 장치)의 처리 동작을 나타내는 도이다.
도 120은, 실시의 형태 15에 있어서의 수신 장치(촬상 장치)의 처리 동작을 나타내는 도이다.
도 121은, 실시의 형태 15에 있어서의 수신 장치(촬상 장치)의 처리 동작을 나타내는 도이다.
도 122는, 실시의 형태 15에 있어서의 수신 장치(촬상 장치)의 처리 동작을 나타내는 도이다.
도 123은, 실시의 형태 16에 있어서의 어플리케이션케이션의 일 예를 나타내는 도이다.
도 124는, 실시의 형태 16에 있어서의 어플리케이션케이션의 일 예를 나타내는 도이다.
도 125는, 실시의 형태 16에 있어서의 송신 신호의 예와 음성 동기 방법의 예를 나타내는 도이다.
도 126은, 실시의 형태 16에 있어서의 송신 신호의 예를 나타내는 도이다.
도 127은, 실시의 형태 16에 있어서의 수신기의 처리 플로우의 일 예를 나타내는 도이다.
도 128은, 실시의 형태 16에 있어서의 수신기의 유저 인터페이스의 일 예를 나타내는 도이다.
도 129는, 실시의 형태 16에 있어서의 수신기의 처리 플로우의 일 예를 나타내는 도이다.
도 130은, 실시의 형태 16에 있어서의 수신기의 처리 플로우의 다른 예를 나타내는 도이다.
도 131a는, 실시의 형태 16에 있어서의 동기 재생의 구체적인 방법을 설명하기 위한 도이다.
도 131b는, 실시의 형태 16에 있어서의 동기 재생을 행하는 재생 장치(수신기)의 구성을 나타내는 블록도이다.
도 131c는, 실시의 형태 16에 있어서의 동기 재생을 행하는 재생 장치(수신기)의 처리 동작을 나타내는 플로우차트이다.
도 132는, 실시의 형태 16에 있어서의 동기 재생의 사전 준비를 설명하기 위한 도이다.
도 133은, 실시의 형태 16에 있어서의 수신기의 응용예를 나타내는 도이다.
도 134a는, 실시의 형태 16에 있어서의, 홀더에 유지된 수신기의 정면도이다.
도 134b는, 실시의 형태 16에 있어서의, 홀더에 유지된 수신기의 배면도이다.
도 135는, 실시의 형태 16에 있어서의, 홀더에 유지된 수신기의 유스 케이스를 설명하기 위한 도이다.
도 136은, 실시의 형태 16에 있어서의, 홀더에 유지된 수신기의 처리 동작을 나타내는 플로우차트이다.
도 137은, 실시의 형태 16에 있어서의 수신기에 의해서 표시되는 화상의 일 예를 나타내는 도이다.
도 138은, 실시의 형태 16에 있어서의 홀더의 다른 예를 나타내는 도이다.
도 139a는, 실시의 형태 17에 있어서의 가시광 신호의 일 예를 나타내는 도이다.
도 139b는, 실시의 형태 17에 있어서의 가시광 신호의 일 예를 나타내는 도이다.
도 139c는, 실시의 형태 17에 있어서의 가시광 신호의 일 예를 나타내는 도이다.
도 139d는, 실시의 형태 17에 있어서의 가시광 신호의 일 예를 나타내는 도이다.
도 140은, 실시의 형태 17에 있어서의 가시광 신호의 구성을 나타내는 도이다.
도 141은, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 일 예를 나타내는 도이다.
도 142는, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 다른 예를 나타내는 도이다.
도 143은, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 다른 예를 나타내는 도이다.
도 144는, 실시의 형태 17에 있어서의 수신기의, HDR 합성을 행하는 카메라 시스템에의 적응을 설명하기 위한 도이다.
도 145는, 실시의 형태 17에 있어서의 가시광 통신 시스템의 처리 동작을 설명하기 위한 도이다.
도 146a는, 실시의 형태 17에 있어서의 가시광을 이용한 차차간 통신의 일 예를 나타내는 도이다.
도 146b는, 실시의 형태 17에 있어서의 가시광을 이용한 차차간 통신의 다른 예를 나타내는 도이다.
도 147은, 실시의 형태 17에 있어서의 복수의 LED의 위치 결정 방법의 일 예를 나타내는 도이다.
도 148은, 실시의 형태 17에 있어서의, 차량을 촬상함으로써 얻어지는 휘선 화상의 일 예를 나타내는 도이다.
도 149는, 실시의 형태 17에 있어서의 수신기와 송신기의 적용예를 나타내는 도이다. 또한, 도 149는 자동차를 뒤에서 본 도이다.
도 150은, 실시의 형태 17에 있어서의 수신기와 송신기의 처리 동작의 일 예를 나타내는 플로우차트이다.
도 151은, 실시의 형태 17에 있어서의 수신기와 송신기의 적용예를 나타내는 도이다.
도 152는, 실시의 형태 17에 있어서의 수신기(7007a)와 송신기(7007b)의 처리 동작의 일 예를 나타내는 플로우차트이다.
도 153은, 실시의 형태 17에 있어서의, 전철의 차 내에 적용되는 가시광 통신 시스템의 구성을 나타내는 도이다.
도 154는, 실시의 형태 17에 있어서의, 유원지 등의 시설에 적용되는 가시광 통신 시스템의 구성을 나타내는 도이다.
도 155는, 실시의 형태 17에 있어서의, 놀이 도구와 스마트 폰으로 이루어지는 가시광 통신 시스템의 일 예를 나타내는 도이다.
도 156은, 실시의 형태 18에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 157은, 실시의 형태 18에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 158은, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 159는, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 160은, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 161은, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 162는, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 163은, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 164는, 실시의 형태 19에 있어서의 송수신 시스템의 일 예를 나타내는 도이다.
도 165는, 실시의 형태 19에 있어서의 송수신 시스템의 처리의 일 예를 나타내는 플로우차트이다.
도 166은, 실시의 형태 19에 있어서의 서버의 동작을 나타내는 플로우차트이다.
도 167은, 실시의 형태 19에 있어서의 수신기의 동작의 일 예를 나타내는 플로우차트이다.
도 168은, 실시의 형태 19에 있어서의 간이 모드에서의 진척 상황의 계산 방법을 나타내는 플로우차트이다.
도 169는, 실시의 형태 19에 있어서의 최우(最尤) 추정 모드에서의 진척 상황의 계산 방법을 나타내는 플로우차트이다.
도 170은, 실시의 형태 19에 있어서의 진척 상황이 감소하지 않는 표시 방법을 나타내는 플로우차트이다.
도 171은, 실시의 형태 19에 있어서의 복수의 패킷 길이가 있는 경우의 진척 상황의 표시 방법을 나타내는 플로우차트이다.
도 172는, 실시의 형태 19에 있어서의 수신기의 동작 상태의 일 예를 나타내는 도이다.
도 173은, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 174는, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 175는, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 176은, 실시의 형태 19에 있어서의 송신기의 일 예를 나타내는 블록도이다.
도 177은, 실시의 형태 19에 있어서의 LED 디스플레이를 본 개시의 광 ID 변조 신호로 구동하는 경우의 타이밍차트를 나타내는 도이다.
도 178은, 실시의 형태 19에 있어서의 LED 디스플레이를 본 개시의 광 ID 변조 신호로 구동하는 경우의 타이밍차트를 나타내는 도이다.
도 179는, 실시의 형태 19에 있어서의 LED 디스플레이를 본 개시의 광 ID 변조 신호로 구동하는 경우의 타이밍 차트를 나타내는 도이다.
도 180a는, 본 개시의 일 양태에 관련되는 송신 방법을 나타내는 플로우차트이다.
도 180b는, 본 개시의 일 양태에 관련되는 송신 장치의 기능 구성을 나타내는 블록도이다.
도 181은, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 182는, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 183은, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 184는, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 185는, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 186은, 실시의 형태 19에 있어서의 송신 신호의 일 예를 나타내는 도이다.
도 187은, 실시의 형태 20에 있어서의 가시광 신호의 구성의 일 예를 나타내는 도이다.
도 188은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 일 예를 나타내는 도이다.
도 189a는, 실시의 형태 20에 있어서의 가시광 신호의 다른 일 예를 나타내는 도이다.
도 189b는, 실시의 형태 20에 있어서의 가시광 신호의 다른 일 예를 나타내는 도이다.
도 189c는, 실시의 형태 20에 있어서의 가시광 신호의 신호 길이를 나타내는 도이다.
도 190은, 실시의 형태 20에 있어서의 가시광 신호와, 규격 IEC의 가시광 신호의 휘도치의 비교 결과를 나타내는 도이다.
도 191은, 실시의 형태 20에 있어서의 가시광 신호와, 규격 IEC의 가시광 신호의, 화각에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도이다.
도 192는, 실시의 형태 20에 있어서의 가시광 신호와, 규격 IEC의 가시광 신호의, 노이즈에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도이다.
도 193은, 실시의 형태 20에 있어서의 가시광 신호와, 규격 IEC의 가시광 신호의, 수신측 클록 오차에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도이다.
도 194는, 실시의 형태 20에 있어서의 송신 대상의 신호의 구성을 나타내는 도이다.
도 195a는, 실시의 형태 20에 있어서의 가시광 신호의 수신 방법을 나타내는 도이다.
도 195b는, 실시의 형태 20에 있어서의 가시광 신호의 재배열을 나타내는 도이다.
도 196은, 실시의 형태 20에 있어서의 가시광 신호의 다른 예를 나타내는 도이다.
도 197은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도이다.
도 198은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도이다.
도 199는, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도이다.
도 200은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도이다.
도 201은, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도이다.
도 202는, 실시의 형태 20에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도이다.
도 203은, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도이다.
도 204는, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도이다.
도 205는, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도이다.
도 206은, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도이다.
도 207은, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도이다.
도 208은, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도이다.
도 209는, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도이다.
도 210은, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도이다.
도 211은, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도이다.
도 212는, 실시의 형태 20의 변형예 1에 따른 가시광 신호의 상세한 구성의 일 예를 나타내는 도이다.
도 213은, 실시의 형태 20의 변형예 1에 따른 가시광 신호의 다른 예를 나타내는 도이다.
도 214는, 실시의 형태 20의 변형예 1에 따른 가시광 신호의 또 다른 예를 나타내는 도이다.
도 215는, 실시의 형태 20의 변형예 1에 따른 패킷 변조의 일 예를 나타내는 도이다.
도 216은, 실시의 형태 20의 변형예 1에 따른, 원데이터를 1분할하는 처리를 나타내는 도이다.
도 217은, 실시의 형태 20의 변형예 1에 따른, 원데이터를 2분할하는 처리를 나타내는 도이다.
도 218은, 실시의 형태 20의 변형예 1에 따른, 원데이터를 3분할로 하는 처리를 나타내는 도이다.
도 219는, 실시의 형태 20의 변형예 1에 따른, 원데이터를 3분할로 하는 처리의 다른 예를 나타내는 도이다.
도 220은, 실시의 형태 20의 변형예 1에 따른, 원데이터를 3분할로 하는 처리의 다른 예를 나타내는 도이다.
도 221은, 실시의 형태 20의 변형예 1에 따른, 원데이터를 4분할로 하는 처리를 나타내는 도이다.
도 222는, 실시의 형태 20의 변형예 1에 따른, 원데이터를 5분할로 하는 처리를 나타내는 도이다.
도 223은, 실시의 형태 20의 변형예 1에 따른, 원데이터를 6, 7 또는 8분할로 하는 처리를 나타내는 도이다.
도 224는, 실시의 형태 20의 변형예 1에 따른, 원데이터를 6, 7 또는 8분할로 하는 처리의 다른 예를 나타내는 도이다.
도 225는, 실시의 형태 20의 변형예 1에 따른, 원데이터를 9분할로 하는 처리를 나타내는 도이다.
도 226은, 실시의 형태 20의 변형예 1에 따른, 원데이터를 10∼16 중 어느 하나의 수로 분할하는 처리를 나타내는 도이다.
도 227은, 실시의 형태 20의 변형예 1에 따른, 원데이터의 분할수와, 데이터 사이즈와, 오류 정정 부호의 관계의 일 예를 나타내는 도이다.
도 228은, 실시의 형태 20의 변형예 1에 따른, 원데이터의 분할수와, 데이터 사이즈와, 오류 정정 부호의 관계의 다른 예를 나타내는 도이다.
도 229는, 실시의 형태 20의 변형예 1에 따른, 원데이터의 분할수와, 데이터 사이즈와, 오류 정정 부호의 관계의 또 다른 예를 나타내는 도이다.
도 230a는, 실시의 형태 20에 있어서의 가시광 신호의 생성 방법을 나타내는 플로우차트이다.
도 230b는, 실시의 형태 20에 있어서의 신호 생성 장치의 구성을 나타내는 블록도이다.
도 231은, 실시의 형태 21에 있어서의 고주파 가시광 신호를 수신하는 방법을 나타내는 도이다.
도 232a는, 실시의 형태 21에 있어서의 고주파 가시광 신호를 수신하는 다른 방법을 나타내는 도이다.
도 232b는, 실시의 형태 21에 있어서의 고주파 가시광 신호를 수신하는 다른 방법을 나타내는 도이다.
도 233은, 실시의 형태 21에 있어서의 고주파 신호를 출력하는 방법을 나타내는 도이다.
도 234는, 실시의 형태 22에 있어서의 자율 비행 장치를 설명하기 위한 도이다.
도 235는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도이다.
도 236은, 실시의 형태 23에 있어서의 표시 시스템의 일 예를 나타내는 도이다.
도 237은, 실시의 형태 23에 있어서의 표시 시스템의 다른 예를 나타내는 도이다.
도 238은, 실시의 형태 23에 있어서의 표시 시스템의 다른 예를 나타내는 도이다.
도 239는, 실시의 형태 23에 있어서의 수신기의 처리 동작의 일 예를 나타내는 플로우차트이다.
도 240은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 241은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 242는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 243은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 244는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 245는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 246은, 실시의 형태 23에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우차트이다.
도 247은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 248은, 실시의 형태 23에 있어서의 수신기의 촬상에 의해서 취득되는 촬상 표시 화상 Ppre 및 복호용 화상 Pdec를 나타내는 도이다.
도 249는, 실시의 형태 23에 있어서의 수신기에 표시되는 촬상 표시 화상 Ppre의 일 예를 나타내는 도이다.
도 250은, 실시의 형태 23에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우차트이다.
도 251은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 252는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 253은, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 254는, 실시의 형태 23에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 255는, 실시의 형태 23에 있어서의 인식 정보의 일 예를 나타내는 도이다.
도 256은, 실시의 형태 23에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우차트이다.
도 257은, 실시의 형태 23에 있어서의 수신기가 휘선 패턴 영역을 식별하는 일 예를 나타내는 도이다.
도 258은, 실시의 형태 23에 있어서의 수신기의 다른 예를 나타내는 도이다.
도 259는, 실시의 형태 23에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우차트이다.
도 260은, 실시의 형태 23에 있어서의 복수의 송신기를 포함하는 송신 시스템의 일 예를 나타내는 도이다.
도 261은, 실시의 형태 23에 있어서의 복수의 송신기 및 수신기를 포함하는 송신 시스템의 일 예를 나타내는 도이다.
도 262a는, 실시의 형태 23에 있어서의 수신기의 처리 동작의 일 예를 나타내는 플로우차트이다.
도 262b는, 실시의 형태 23에 있어서의 수신기의 처리 동작의 일 예를 나타내는 플로우차트이다.
도 263a는, 실시의 형태 23에 있어서의 표시 방법을 나타내는 플로우차트이다.
도 263b는, 실시의 형태 23에 있어서의 표시 장치의 구성을 나타내는 블록도이다.
도 264는, 실시의 형태 23의 변형예 1에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도이다.
도 265는, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 266은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 267은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 268은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)의 다른 예를 나타내는 도이다.
도 269는, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 270은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 271은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)의 처리 동작의 일 예를 나타내는 플로우차트이다.
도 272는, 실시의 형태 23 또는 그 변형예 1에 있어서의 수신기에 있어서 상정되는 AR 화상을 표시할 때의 과제의 일 예를 나타내는 도이다.
도 273은, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도이다.
도 274는, 실시의 형태 23의 변형예 2에 있어서의 수신기의 처리 동작의 일 예를 나타내는 플로우차트이다.
도 275는, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 276은, 실시의 형태 23의 변형예 2에 있어서의 수신기의 처리 동작의 다른 예를 나타내는 플로우차트이다.
도 277은, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 278은, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 279는, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 280은, 실시의 형태 23의 변형예 2에 있어서의 수신기가 AR 화상을 표시하는 다른 예를 나타내는 도이다.
도 281a는, 본 개시의 일 양태에 따른 표시 방법을 나타내는 플로우차트이다.
도 281b는, 본 개시의 일 양태에 따른 표시 장치의 구성을 나타내는 블록도이다.
본 개시의 일 양태에 따른 표시 방법은, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되어 있는 정지 화상을 피사체로 하여 촬상 센서에 의해 촬상함으로써, 촬상 화상을 취득하는 촬상 단계와, 상기 촬상 화상으로부터, 상기 신호를 복호하는 복호 단계와, 복호된 상기 신호에 대응하는 동화상을 메모리로부터 읽어내고, 상기 촬상 화상 중의 상기 피사체에 대응하는 대상 영역에, 상기 동화상을 중첩시켜 디스플레이에 표시하는 표시 단계를 갖고, 상기 표시 단계에서는, 상기 동화상에 포함되는 복수의 화상 중, 상기 정지 화상과 동일한 화상인 선두 화상으로부터, 상기 복수의 화상을 순서대로 표시한다. 예를 들면, 상기 표시 방법은, 추가로, 상기 신호를 서버에 송신하는 송신 단계와, 상기 신호에 대응하는 동화상을 서버로부터 수신하는 수신 단계를 포함한다. 또한, 촬상 센서 및 촬상 화상은, 예를 들면, 실시의 형태 23에 있어서의 이미지 센서 및 전체 촬상 화상이다. 또한, 라이트 업되는 정지 화상은, 화상 표시 장치의 표시 패널에 표시되는 정지 화상이어도 좋고, 송신기로부터의 광에 의해서 비추어지는 포스터, 안내판, 혹은 간판 등이어도 된다.
이에 따라, 예를 들면 도 265에 나타내는 바와 같이, 정지 화상이 움직이기 시작하도록 가상 현실적으로 동화상을 표시할 수 있어, 유저에게 유익한 화상을 표시할 수 있다.
또한, 상기 정지 화상은, 소정의 색의 외측 테두리를 갖고, 상기 표시 방법은, 추가로, 상기 소정의 색에 의해, 상기 촬상 화상으로부터 상기 대상 영역을 인식하는 인식 단계를 포함하고, 상기 표시 단계에서는, 인식된 상기 대상 영역의 사이즈와 동일하게 되도록, 상기 동화상을 리사이즈하고, 상기 촬상 화상 중의 상기 대상 영역에, 리사이즈된 상기 동화상을 중첩시켜 상기 디스플레이에 표시해도 된다. 예를 들면, 소정의 색의 외측 테두리는, 정지 화상을 둘러싸는 백색 또는 흑색의 직사각형 테두리이고, 실시의 형태 23에 있어서의 인식 정보에 의해서 나타난다. 그리고, 실시의 형태 23에 있어서의 AR 화상이 동화상으로서 리사이즈되어 중첩된다.
이에 따라, 동화상이 피사체로서 실재하도록, 보다 현실적으로 그 동화상을 표시할 수 있다.
또한, 상기 촬상 센서의 촬상 영역 중, 상기 촬상 영역보다도 작은 영역인 표시 영역에 투영되는 화상만이 상기 디스플레이에 표시되고, 상기 표시 단계에서는, 상기 촬상 영역에 있어서 상기 피사체가 투영되어 있는 투영 영역이, 상기 표시 영역보다도 큰 경우에는, 상기 투영 영역 중, 상기 표시 영역을 넘은 부분에 의해서 얻어지는 화상을, 상기 디스플레이에 표시하지 않아도 되다. 예를 들면 도 273에 나타내는 바와 같이, 촬상 영역 및 투영 영역은, 이미지 센서의 유효 화소 영역 및 인식 영역이다.
이에 따라, 예를 들면 도 273에 나타내는 바와 같이, 피사체인 정지 화상에 촬상 센서가 근접함에 따라서, 투영 영역(도 273의 인식 영역)에 의해서 얻어지는 화상의 일부가 디스플레이에 표시되지 않아도, 피사체인 정지 화상의 전체가 촬상 영역에 투영되어 있는 경우가 있다. 따라서, 이 경우에는, 피사체인 정지 화상을 적절히 인식할 수 있어, 촬상 화상 중의 피사체에 대응하는 대상 영역에, 동화상을 적절히 중첩시킬 수 있다.
또한, 상기 표시 영역의 수평 방향 및 수직 방향의 각각의 폭이, w1 및 h1이며, 상기 투영 영역의 수평 방향 및 수직 방향의 각각의 폭이, w2 및 h2인 경우, 상기 표시 단계에서는, h2/h1 또는 w2/w1 중 어느것의 큰 값이 소정의 값 이상인 경우에는, 상기 동화상을, 상기 디스플레이의 전체 화면에 표시하고, h2/h1 또는 w2/w1 중 어느것의 큰 값이 소정의 값보다도 작은 경우에는, 상기 촬상 화상 중의 상기 대상 영역에, 상기 동화상을 중첩시켜 상기 디스플레이에 표시해도 된다.
이에 따라, 예를 들면 도 275에 나타내는 바와 같이, 피사체인 정지 화상에 촬상 센서가 근접하면, 동화상이 전체 화면에 표시되기 때문에, 유저는, 촬상 센서를 더욱 정지 화상에 근접시켜 동화상을 크게 표시시킬 필요가 없다. 그 때문에, 촬상 센서를 정지 화상에 지나치게 근접시켜, 투영 영역(도 275의 인식 영역)이 촬상 영역(유효 화소 영역)으로부터 빠져나가 버림으로써, 신호를 복호할 수 없게 되는 것을 억제할 수 있다.
또한, 상기 표시 방법은, 추가로, 상기 동화상을, 상기 디스플레이의 전체 화면에 표시하는 경우에는, 상기 촬상 센서의 동작을 오프로 하는 제어 단계를 포함해도 된다.
이에 따라, 예를 들면 도 276의 단계 S314에 나타내는 바와 같이, 촬상 센서의 동작을 오프로 함으로써, 촬상 센서의 소비 전력을 억제할 수 있다.
또한, 상기 표시 단계에서는, 상기 촬상 센서가 이동함으로써, 상기 촬상 화상으로부터 상기 대상 영역을 인식할 수 없게 된 경우에는, 인식할 수 없게 되기 직전에 인식하고 있던 상기 대상 영역의 사이즈와 동일한 사이즈로 상기 동화상을 표시해도 된다. 또한, 촬상 화상으로부터 대상 영역을 인식할 수 없다는 것은, 예를 들면, 피사체인 정지 화상에 대응하는 대상 영역의 적어도 일부가 촬상 화상에 포함되어 있지 않은 상황이다. 이와 같이, 대상 영역을 인식할 수 없는 경우에는, 예를 들면 도 279의 시각 t3일 때와 같이, 직전에 인식하고 있던 대상 영역의 사이즈와 동일한 사이즈의 동화상이 표시된다. 따라서, 촬상 센서를 이동시켜 버렸기 때문에, 동화상의 적어도 일부가 표시되지 않게 되는 것을 억제할 수 있다.
또한, 상기 표시 단계에서는, 상기 촬상 센서가 이동함으로써, 상기 대상 영역 중의 일부만이, 상기 촬상 화상 중의 상기 디스플레이에 표시되는 영역에 포함되는 경우에는, 상기 대상 영역의 일부에 대응하는 상기 동화상의 공간 영역의 일부를, 상기 대상 영역의 일부에 중첩시켜 상기 디스플레이에 표시해도 된다. 또한, 동화상의 공간 영역의 일부란, 동화상을 구성하는 각 픽쳐 중의 일부이다.
이에 따라, 예를 들면 도 277의 시각 t2일 때와 같이, 동화상(도 277의 AR 화상)의 공간 영역의 일부만이 디스플레이에 표시된다. 그 결과, 촬상 센서가 피사체가 되는 정지 화상에 적절히 향해 있지 않은 것을 유저에게 알릴 수 있다.
또한, 상기 표시 단계에서는, 상기 촬상 센서가 이동함으로써, 상기 촬상 화상으로부터 상기 대상 영역을 인식할 수 없게 된 경우에는, 인식할 수 없게 되기 직전에 표시되어 있던, 상기 대상 영역의 일부에 대응하는 상기 동화상의 공간 영역의 일부를, 계속하여 표시해도 된다.
이에 따라, 예를 들면 도 277의 시각 t3일 때와 같이, 유저가, 피사체가 되는 정지 화상과 상이한 방향으로 촬상 센서를 향했을 때에도, 동화상(도 277의 AR 화상)의 공간 영역의 일부가 계속하여 표시된다. 그 결과, 촬상 센서를 어떻게 향하면 동화상의 전체가 표시되는지를, 유저에게 파악하기 쉽게 할 수 있다.
또한, 상기 표시 단계에서는, 상기 촬상 센서의 촬상 영역에 있어서의 수평 방향 및 수직 방향의 각각의 폭이, w0 및 h0이고, 상기 촬상 영역에 있어서 상기 피사체가 투영되어 있는 투영 영역과, 상기 촬상 영역의 사이의 수평 방향 및 수직 방향의 각각의 거리가, dh 및 dw인 경우, dw/w0 또는 dh/h0의 어느것의 작은 쪽의 값이, 소정치 이하인 경우에, 상기 대상 영역을 인식할 수 없다고 판단해도 된다. 또한, 투영 영역은, 예를 들면 도 277에 나타내는 인식 영역이다. 또는, 상기 표시 단계에서는, 상기 촬상 센서의 촬상 영역에 있어서 상기 피사체가 투영되고 있는 투영 영역과, 상기 촬상 영역의 사이의 수평 방향 및 수직 방향의 각각의 거리 중의 짧은 쪽에 대응하는 화각이 소정치 이하인 경우에, 상기 대상 영역을 인식할 수 없다고 판단해도 된다.
이에 따라, 대상 영역을 인식할 수 있는지 여부를 적절히 판단할 수 있다.
본 개시의 일양태에 따른 표시 장치는, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되어 있는 정지 화상을 피사체로 하여 촬상함으로써, 촬상 화상을 취득하는 촬상 센서와, 상기 촬상 화상으로부터, 상기 신호를 복호하는 복호부와, 복호된 상기 신호에 대응하는 동화상을 메모리로부터 읽어내고, 상기 촬상 화상 중의 상기 피사체에 대응하는 대상 영역에, 상기 동화상을 중첩시켜 디스플레이에 표시하는 표시 제어부를 구비하고, 상기 표시 제어부는, 상기 동화상에 포함되는 복수의 화상 중, 상기 정지 화상과 동일한 화상인 선두 화상으로부터, 상기 복수의 화상을 순서대로 표시한다.
이에 따라, 상술의 표시 방법과 동일한 효과를 발휘할 수 있다.
또한, 상기 촬상 센서는, 복수의 마이크로 미러와, 포토 센서를 갖고, 상기 표시 장치는, 추가로, 상기 촬상 센서를 제어하는 촬상 제어부를 구비하고, 상기 촬상 제어부는, 상기 촬상 화상 중, 상기 신호를 포함하는 영역을 신호 영역으로서 특정하고, 상기 복수의 마이크로 미러 중, 특정한 상기 신호 영역에 대응하는 마이크로 미러의 각도를 제어하고, 상기 복수의 마이크로 미러 중, 각도가 제어된 상기 마이크로 미러에 의한 반사광만을, 상기 포토 센서에 수광시켜도 된다.
이에 따라, 예를 들면 도 232a에 나타내는 바와 같이, 광의 휘도 변화에 의해서 나타나는 신호인 가시광 신호에 고주파 성분이 포함되어 있어도, 그 고주파 성분을 올바르게 복호할 수 있다.
또한, 이들 포괄적 또는 구체적인 양테는, 장치, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 컴퓨터 판독 가능한 CD－ROM 등의 기록 매체로 실현되어도 되고, 장치, 시스템, 방법, 집적 회로, 컴퓨터 프로그램 또는 기록 매체의 임의 조합으로 실현되어도 된다.
이하, 실시의 형태에 대해서, 도면을 참조하면서 구체적으로 설명한다.
또한, 이하에서 설명하는 실시의 형태는, 모두 포괄적 또는 구체적인 예를 나타내는 것이다. 이하의 실시의 형태로 나타나는 수치, 형상, 재료, 구성 요소, 구성 요소의 배치 위치 및 접속 형태, 단계, 단계의 순서 등은, 일 예이고, 본 개시를 한정하는 주지는 아니다. 또한, 이하의 실시의 형태에 있어서의 구성 요소 중, 최상위 개념을 나타내는 독립 청구항에 기재되지 않은 구성 요소에 대해서는, 임의의 구성 요소로서 설명된다.
(실시의 형태 1)
이하, 실시의 형태 1에 대해서 설명한다.
(발광부의 휘도의 관측)
1매의 화상을 촬상할 때, 모든 촬상 소자를 동일한 타이밍에 노광시키는 것이 아니라, 촬상 소자마다 상이한 시각에 노광을 개시·종료하는 촬상 방법을 제안한다. 도 1은, 1열로 나열된 촬상 소자는 동시에 노광시키고, 열이 가까운 순으로 노광 개시 시각을 어긋나게 하여 촬상하는 경우의 예이다. 여기에서는, 동시에 노광하는 촬상 소자의 노광 라인이라고 부르고, 그 촬상 소자에 대응하는 화상 상의 화소의 라인을 휘선이라고 부른다.
이 촬상 방법을 이용하여, 점멸하고 있는 광원을 촬상 소자의 전면에 찍어 촬상한 경우, 도 2와 같이, 촬상 화상 상에 노광 라인에 따른 휘선(화소치의 명암의 선)이 생긴다. 이 휘선의 패턴을 인식함으로써, 촬상 프레임 레이트를 상회하는 속도의 광원 휘도 변화를 추정할 수 있다. 이에 따라, 신호를 광원 휘도의 변화로서 송신함으로써, 촬상 프레임 레이트 이상의 속도에서의 통신을 행할 수 있다. 광원이 2종류의 휘도치를 취함으로써 신호를 표현하는 경우, 낮은 쪽의 휘도치를 로우(LO), 높은 쪽의 휘도치를 하이(HI)라고 부른다. 로우는 광원이 빛나지 않는 상태라도 좋고, 하이보다도 약하게 빛나고 있어도 좋다.
이 방법에 의해서, 촬상 프레임 레이트를 초과하는 속도로 정보의 전송을 행한다.
1매의 촬상 화상 중에, 노광 시간이 겹치지 않는 노광 라인이 20라인 있고, 촬상의 프레임 레이트가 30fps일 때는, 1.67밀리초 주기의 휘도 변화를 인식할 수 있다. 노광 시간이 겹치지 않는 노광 라인이 1000라인 있는 경우는, 3만 분의 1초(약 33마이크로초) 주기의 휘도 변화를 인식할 수 있다. 또한, 노광 시간은 예를 들면 10밀리초보다도 짧게 설정된다.
도 2는, 1개의 노광 라인의 노광이 완료하고 나서 다음의 노광 라인의 노광이 개시되는 경우를 나타내고 있다.
이 경우, 1초당의 프레임수(프레임 레이트)가 f, 1화상을 구성하는 노광 라인수가 l일 때, 각 노광 라인이 일정 이상의 광을 수광하고 있는지 여부로 정보를 전송하면, 최대로 fl 비트매초의 속도로 정보를 전송할 수 있다.
또한, 라인마다가 아니라, 화소마다 시간차로 노광을 행하는 경우는, 더욱 고속으로 통신이 가능하다.
이 때, 노광 라인당의 화소수가 m 화소이고, 각 화소가 일정 이상의 광을 수광하고 있는지 여부로 정보를 전송하는 경우에는, 전송 속도는 최대로 flm 비트매초가 된다.
도 3과 같이, 발광부의 발광에 의한 각 노광 라인의 노광 상태를 복수의 레벨로 인식 가능하면, 발광부의 발광 시간을 각 노광 라인의 노광 시간보다 짧은 단위의 시간으로 제어함으로써, 보다 많은 정보를 전송할 수 있다.
노광 상태를 Elv 단계에서 인식 가능한 경우에는, 최대로 flElv 비트매초의 속도로 정보를 전송할 수 있다.
또한, 각 노광 라인의 노광의 타이밍과 조금씩 어긋난 타이밍에서 발광부를 발광시킴으로써, 발신의 기본 주기를 인식할 수 있다.
도 4는, 1개의 노광 라인의 노광이 완료하기 전에 다음의 노광 라인의 노광이 개시되는 경우를 나타내고 있다. 즉, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 중복을 갖는 구성으로 되어 있다. 이러한 구성에 의해, (1) 1개의 노광 라인의 노광 시간의 종료를 기다려 다음의 노광 라인의 노광을 개시하는 경우에 비해, 소정의 시간 내에 있어서의 샘플수를 많게 할 수 있다. 소정 시간 내에 있어서의 샘플수가 많아짐으로써, 피사체인 광 송신기가 발하는 광 신호를 보다 적절히 검출하는 것이 가능해진다. 즉, 광 신호를 검출할 때의 에러율을 저감하는 것이 가능해진다. 또한, (2) 1개의 노광 라인의 노광 시간의 종료를 기다려 다음의 노광 라인의 노광을 개시하는 경우에 비해, 각 노광 라인의 노광 시간을 길게 할 수 있기 때문에, 피사체가 어두운 경우라도, 보다 밝은 화상을 취득하는 것이 가능해진다. 즉, S/N비를 향상시키는 것이 가능해진다. 또한, 모든 노광 라인에 있어서, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 겹침을 갖는 구성이 될 필요는 없고, 일부의 노광 라인에 대해서 부분적으로 시간적인 겹침을 갖지 않는 구성으로 하는 것도 가능하다. 일부의 노광 라인에 대해서 부분적으로 시간적인 겹침을 갖지 않도록 구성함으로써, 촬상 화면 상에 있어서의 노광 시간의 겹침에 의한 중간색의 발생을 억제할 수 있어, 보다 적절히 휘선을 검출하는 것이 가능해진다.
이 경우는, 각 노광 라인의 밝기로부터 노광 시간을 산출하고, 발광부의 발광 상태를 인식한다.
또한, 각 노광 라인의 밝기를, 휘도가 역치 이상인지 여부의 2치로 판별하는 경우에는, 발광하고 있지 않은 상태를 인식하기 위해서, 발광부는 발광하고 있지 않은 상태를 각 라인의 노광 시간 이상의 시간 계속하지 않으면 안된다.
도 5a는, 각 노광 라인의 노광 개시 시각이 동일한 경우에, 노광 시간의 차이에 의한 영향을 나타내고 있다. 7500a는 전의 노광 라인의 노광 종료 시각과 다음의 노광 라인의 노광 개시 시각이 동일한 경우이고, 7500b는 그보다 노광 시간을 길게 취한 경우이다. 7500b와 같이, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 겹침을 갖는 구성으로 함으로써, 노광 시간을 길게 취하는 것이 가능해진다. 즉, 촬상 소자에 입사하는 광이 증대하여, 밝은 화상을 얻을 수 있다. 또한, 동일한 밝기의 화상을 촬상하기 위한 촬상 감도가 낮게 억제됨으로써, 노이즈가 적은 화상이 얻어지기 때문에, 통신 에러가 억제된다.
도 5b는, 노광 시간이 동일한 경우에, 각 노광 라인의 노광 개시 시각의 차이에 의한 영향을 나타내고 있다. 7501a는 전의 노광 라인의 노광 종료 시각과 다음의 노광 라인의 노광 개시 시각이 동일한 경우이고, 7501b는 전의 노광 라인의 노광 종료보다 빠르게 다음의 노광 라인의 노광을 개시하는 경우이다. 7501b와 같이, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 겹침을 갖는 구성으로 함으로써, 시간당 노광할 수 있는 라인을 늘리는 것이 가능해진다. 이에 따라, 보다 해상도가 높아져, 많은 정보량이 얻어진다. 샘플 간격(=노광 개시 시각의 차)이 조밀하게 됨으로써, 보다 정확하게 광원 휘도의 변화를 추정할 수 있어, 에러율을 저감할 수 있고, 또한, 보다 짧은 시간에 있어서의 광원 휘도의 변화를 인식할 수 있다. 노광 시간에 겹침을 갖게 함으로써, 인접하는 노광 라인의 노광량의 차를 이용하여, 노광 시간보다도 짧은 광원의 점멸을 인식할 수 있다.
또한, 상술의 샘플수가 적은 경우, 즉, 샘플 간격(도 5b에 나타내는 시간차 tD)이 길면, 광원 휘도의 변화를 정확하게 검출할 수 없을 가능성이 높아진다. 이 경우에는, 노광 시간을 짧게 함으로써, 그 가능성을 억제할 수 있다. 즉, 광원 휘도의 변화를 정확하게 검출할 수 있다. 또한, 노광 시간은, 노광 시간＞(샘플 간격－펄스폭)을 충족하는 것이 바람직하다. 펄스폭은, 광원의 휘도가 High로 되어 있는 기간인 광의 펄스폭이다. 이에 따라, High의 휘도를 적절히 검출할 수 있다.
도 5a, 도 5b에서 설명한 바와 같이, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 겹침을 갖도록, 각 노광 라인을 순차적으로 노광하는 구성에 있어서, 노광 시간을 통상 촬영 모드보다도 짧게 설정함으로써 발생하는 휘선 패턴을 신호 전송에 이용함으로써 통신 속도를 비약적으로 향상시키는 것이 가능하게 된다. 여기서, 가시광 통신시에 있어서의 노광 시간을 1/480초 이하로 설정함으로써 적절한 휘선 패턴을 발생시키는 것이 가능해진다. 여기서, 노광 시간은, 프레임 주파수=f로 하면, 노광 시간＜1/8×f로 설정할 필요가 있다. 촬영 시에 발생하는 블랭킹은, 최대로 1프레임의 반만큼의 크기가 된다. 즉, 블랭킹 시간은, 촬영 시간의 반만큼의 이하이기 때문에, 실제의 촬영 시간은, 가장 짧은 시간으로 1/2f가 된다. 또한, 1/2f의 시간 내에 있어서, 4치의 정보를 받을 필요가 있기 때문에, 적어도 노광 시간은, 1/(2f×4)보다도 짧게 할 필요가 생긴다. 통상 프레임 레이트는, 60프레임/초 이하인 점에서, 1/480초 이하의 노광 시간으로 설정함으로써, 적절한 휘선 패턴을 화상 데이터에 발생시켜, 고속의 신호 전송을 행하는 것이 가능해진다.
도 5c는, 각 노광 라인의 노광 시간이 겹쳐 있지 않은 경우, 노광 시간이 짧은 경우의 이점을 나타내고 있다. 노광 시간이 긴 경우는, 광원은 7502a와 같이 2치의 휘도 변화를 하고 있었다고 해도, 촬상 화상에서는 7502e와 같이 중간색의 부분이 생겨, 광원의 휘도 변화를 인식하는 것이 어려워지는 경향이 있다. 그러나, 7502d와 같이, 1개의 노광 라인의 노광 종료 후, 다음의 노광 라인의 노광 개시까지 소정의 노광하지 않는 빈 시간(소정의 대기 시간) tD2를 설정하는 구성으로 함으로써, 광원의 휘도 변화를 인식하기 쉽게 하는 것이 가능해진다. 즉, 7502f와 같은, 보다 적절한 휘선 패턴을 검출하는 것이 가능해진다. 7502d와 같이, 소정의 노광하지 않는 빈 시간을 설정하는 구성은, 노광 시간 tE를 각 노광 라인의 노광 개시 시각의 시간차 tD보다도 작게 함으로써 실현되는 것이 가능해진다. 통상 촬영 모드가, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 겹침을 갖는 구성인 경우에 있어서, 노광 시간을 통상 촬영 모드시보다도, 소정의 노광하지 않는 빈 시간이 생길 때까지 짧게 설정함으로써, 실현할 수 있다. 또한, 통상 촬영 모드가, 전의 노광 라인의 노광 종료 시각과 다음의 노광 라인의 노광 개시 시각이 동일한 경우라도, 소정의 노광하지 않는 시간이 생길 때까지 노광 시간을 짧게 설정함으로써, 실현할 수 있다. 또한, 7502g와 같이, 각 노광 라인의 노광 개시 시각의 간격 tD를 크게 함으로써도, 1개의 노광 라인의 노광 종료 후, 다음의 노광 라인의 노광 개시까지 소정의 노광하지 않는 빈 시간(소정의 대기 시간) tD2를 설정하는 구성을 취할 수 있다. 이 구성에서는, 노광 시간을 길게 할 수 있기 때문에, 밝은 화상을 촬상할 수 있어, 노이즈가 적어지는 점에서 에러 내성이 높다. 한편으로, 이 구성에서는, 일정 시간 내에 노광할 수 있는 노광 라인이 적어지기 때문에, 7502h와 같이, 샘플수가 적어진다는 결점이 있기 때문에, 상황에 따라 구분하여 사용하는 것이 바람직하다. 예를 들면, 촬상 대상이 밝은 경우에는 전자의 구성을 이용하고, 어두운 경우에는 후자의 구성을 이용함으로써, 광원 휘도 변화의 추정 오차를 저감할 수 있다.
또한, 모든 노광 라인에 있어서, 인접하는 노광 라인의 노광 시간이, 부분적으로 시간적인 겹침을 갖는 구성이 될 필요는 없고, 일부의 노광 라인에 대해서 부분적으로 시간적인 겹침을 갖지 않는 구성으로 하는 것도 가능하다. 또한, 모든 노광 라인에 있어서, 1개의 노광 라인의 노광 종료 후, 다음의 노광 라인의 노광 개시까지 소정의 노광하지 않는 빈 시간(소정의 대기 시간)을 설정하는 구성이 될 필요는 없고, 일부의 노광 라인에 대해서 부분적으로 시간적인 겹침을 갖는 구성으로 하는 것도 가능하다. 이러한 구성으로 함으로써, 각각의 구성에 있어서의 이점을 살리는 것이 가능해진다. 또한, 통상의 프레임 레이트(30fps, 60fps)로 촬영을 행하는 통상 촬영 모드와, 가시광 통신을 행하는 1/480초 이하의 노광 시간으로 촬영을 행하는 가시광 통신 모드에 있어서, 동일한 읽어냄 방법 또는 회로에서 신호의 읽어냄을 행해도 된다. 동일한 읽어냄 방법 또는 회로에서 신호를 읽어냄으로써, 통상 촬영 모드와, 가시광 통신 모드에 대하여, 각각 별도의 회로를 이용할 필요가 없어져, 회로 규모를 작게 하는 것이 가능해진다.
도 5d는, 광원 휘도의 최소 변화 시간 tS와, 노광 시간 tE와, 각 노광 라인의 노광 개시 시각의 시간차 tD와, 촬상 화상의 관계를 나타내고 있다. tE＋tD＜tS로 한 경우는, 반드시 1개 이상의 노광 라인이 노광의 개시부터 종료까지 광원이 변화하지 않는 상태로 촬상하기 때문에, 7503d와 같이 휘도가 명확한 화상이 얻어져, 광원의 휘도 변화를 인식하기 쉽다. 2tE＞tS로 한 경우는, 광원의 휘도 변화와는 상이한 패턴의 휘선이 얻어지는 경우가 있어, 촬상 화상으로부터 광원의 휘도 변화를 인식하는 것이 어려워진다.
도 5e는, 광원 휘도의 전이 시간 tT와, 각 노광 라인의 노광 개시 시각의 시간차 tD의 관계를 나타내고 있다. tT에 비해 tD가 클수록, 중간색이 되는 노광 라인이 적어져, 광원 휘도의 추정이 용이해진다. tD＞tT일 때 중간색의 노광 라인은 연속으로 2라인 이하가 되어, 바람직하다. tT는, 광원이 LED인 경우는 1마이크로초 이하, 광원이 유기 EL인 경우는 5마이크로초 정도가 되기 때문에, tD를 5마이크로초 이상으로 함으로써, 광원 휘도의 추정을 용이하게 할 수 있다.
도 5f는, 광원 휘도의 고주파 노이즈 tHT와, 노광 시간 tE의 관계를 나타내고 있다. tHT에 비해 tE가 클수록, 촬상 화상은 고주파 노이즈의 영향이 적어져, 광원 휘도의 추정이 용이해진다. tE가 tHT의 정수배일 때는 고주파 노이즈의 영향이 없어져, 광원 휘도의 추정이 가장 용이해진다. 광원 휘도의 추정에는, tE＞tHT인 것이 바람직하다. 고주파 노이즈의 주요 원인은 스위칭 전원 회로에 유래하고, 대부분의 전등용의 스위칭 전원에서는 tHT는 20마이크로초 이하이기 때문에, tE를 20마이크로초 이상으로 함으로써, 광원 휘도의 추정을 용이하게 행할 수 있다.
도 5g는, tHT가 20마이크로초인 경우의, 노광 시간 tE와 고주파 노이즈의 크기의 관계를 나타내는 그래프이다. tHT는 광원에 따라서 편차가 있는 것을 고려하면, 그래프에서, tE는, 노이즈량이 극대를 취할 때의 값과 동일해지는 값인, 15마이크로초 이상, 또는, 35마이크로초 이상, 또는, 54마이크로초 이상, 또는, 74마이크로초 이상으로서 정하면 효율이 좋은 것을 확인할 수 있다. 고주파 노이즈 저감의 관점에서는 tE는 큰 쪽이 바람직하지만, 전술과 같이, tE가 작을수록 중간색 부분이 발생하기 어려워진다는 점에서 광원 휘도의 추정이 용이해진다는 성질도 있다. 그 때문에, 광원 휘도의 변화의 주기가 15∼35마이크로초일 때는 tE는 15마이크로초 이상, 광원 휘도의 변화의 주기가 35∼54마이크로초일 때는 tE는 35마이크로초 이상, 광원 휘도의 변화의 주기가 54∼74마이크로초일 때는 tE는 54마이크로초 이상, 광원 휘도의 변화의 주기가 74마이크로초 이상일 때는 tE는 74마이크로초 이상으로서 설정하면 좋다.
도 5h는, 노광 시간 tE와 인식 성공율의 관계를 나타낸다. 노광 시간 tE는 광원의 휘도가 일정한 시간에 대하여 상대적인 의미를 갖기 때문에, 광원 휘도가 변화하는 주기 tS를 노광 시간 tE로 나눈 값(상대 노광 시간)을 횡축으로 하고 있다. 그래프에서, 인식 성공율을 거의 100%로 하고 싶은 경우는, 상대 노광 시간을 1.2 이하로 하면 좋은 것을 알 수 있다. 예를 들면, 송신 신호를 1kHz로 하는 경우는 노광 시간을 약 0.83밀리초 이하로 하면 좋다. 마찬가지로, 인식 성공율을 95% 이상으로 하고 싶은 경우는 상대 노광 시간을 1.25 이하로, 인식 성공율을 80% 이상으로 하고 싶은 경우는 상대 노광 시간을 1.4 이하로 하면 좋은 것을 알 수 있다. 또한, 상대 노광 시간이 1.5 부근에서 인식 성공율이 급격하게 내려가, 1.6에서 거의 0%가 되기 때문에, 상대 노광 시간이 1.5를 넘지 않도록 설정해야 하는 것을 알 수 있다. 또한, 인식율이 7507c에서 0으로 된 후, 7507d나, 7507e, 7507f에서, 재차 상승하고 있는 것을 알 수 있다. 그 때문에, 노광 시간을 길게 하여 밝은 화상을 촬상하고 싶은 경우 등은, 상대 노광 시간이 1.9 내지 2.2, 2.4 내지 2.6, 2.8 내지 3.0이 되는 노광 시간을 이용하면 좋다. 예를 들면, 중간 모드로서, 이들 노광 시간을 사용하면 좋다.
도 6a는, 본 실시의 형태에 있어서의 정보 통신 방법의 플로우차트이다.
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 단계 SK91∼SK93를 포함한다.
즉, 이 정보 통신 방법은, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 복수의 노광 라인에 대응하는 복수의 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 제1의 노광 시간을 설정하는 제1의 노광 시간 설정 단계 SK91과, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 제1의 노광 시간에 촬영함으로써, 상기 복수의 휘선을 포함하는 휘선 화상을 취득하는 제1의 화상 취득 단계 SK92와, 취득된 상기 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계 SK93을 포함하고, 상기 제1의 화상 취득 단계 SK92에서는, 상기 복수의 노광 라인의 각각은, 순차적으로 상이한 시각에서 노광을 개시하고, 또한, 당해 노광 라인에 인접하는 인접 노광 라인의 노광이 종료하고 나서 소정의 빈 시간 경과 후에, 노광을 개시한다.
도 6b는, 본 실시의 형태에 있어서의 정보 통신 장치의 블록도이다.
본 실시의 형태에 있어서의 정보 통신 장치 K90은, 피사체로부터 정보를 취득하는 정보 통신 장치로서, 구성 요소 K91∼K93을 구비한다.
즉, 이 정보 통신 장치 K90은, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 복수의 노광 라인에 대응하는 복수의 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정부 K91과, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에 촬영함으로써, 상기 복수의 휘선을 포함하는 휘선 화상을 취득하는 상기 이미지 센서를 갖는 화상 취득부 K92와, 취득된 상기 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득부 K93을 구비하고, 상기 복수의 노광 라인의 각각은, 순차적으로 상이한 시각에 노광을 개시하고, 또한, 당해 노광 라인에 인접하는 인접 노광 라인의 노광이 종료하고 나서 소정의 빈 시간 경과 후에, 노광을 개시한다.
이러한 도 6a 및 도 6b에 의해서 나타나는 정보 통신 방법 및 정보 통신 장치 K90에서는, 예를 들면 도 5c 등에 나타내는 바와 같이, 복수의 노광 라인의 각각은, 그 노광 라인에 인접하는 인접 노광 라인의 노광이 종료하고 나서 소정의 빈 시간 경과 후에, 노광을 개시하기 때문에, 피사체의 휘도 변화를 인식하기 쉽게 할 수 있다. 그 결과, 피사체로부터 정보를 적절히 취득할 수 있다.
또한, 상기 실시의 형태에 있어서, 각 구성 요소는, 전용의 하드웨어로 구성되거나, 각 구성 요소에 적합한 소프트웨어 프로그램을 실행함으로써 실현되어도 된다. 각 구성 요소는, CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 읽어내 실행함으로써 실현되어도 된다. 예를 들면 프로그램은, 도 6a의 플로우차트에 의해서 나타나는 정보 통신 방법을 컴퓨터에 실행시킨다.
(실시의 형태 2)
본 실시의 형태에서는, 상기 실시의 형태 1에 있어서의 정보 통신 장치 K90인 스마트 폰 등의 수신기와, LED나 유기 EL 등의 광원의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
또한, 이하의 설명에서는, 통상 촬영 모드, 또는 통상 촬영 모드에 의한 촬영을 통상 촬영이라고 하고, 가시광 통신 모드, 또는 가시광 통신 모드에 의한 촬영을 가시광 촬영(가시광 통신)이라고 한다. 또한, 통상 촬영 및 가시광 촬영 대신에, 중간 모드에 의한 촬영을 이용해도 되고, 후술의 합성 화상 대신에 중간 화상을 이용해도 된다.
도 7은, 본 실시의 형태에 있어서의 수신기의 촬영 동작의 일 예를 나타내는 도면이다.
수신기(8000)는, 촬영 모드를 통상 촬영, 가시광 통신, 통상 촬영, …과 같이 전환한다. 그리고, 수신기(8000)는, 통상 촬영 화상과 가시광 통신 화상을 합성함으로써, 휘선 모양과 피사체 및 그 주위가 선명히 비추어진 합성 화상을 생성하고, 그 합성 화상을 디스플레이에 표시한다. 이 합성 화상은, 통상 촬영 화상에 있어서의 신호가 송신되고 있는 개소에, 가시광 통신 화상의 휘선 모양을 중첩함으로써 생성된 화상이다. 또한, 이 합성 화상에 의해서 비추어지는 휘선 모양, 피사체 및 그 주위는 각각 선명하고, 유저에 의해서 충분히 인식되는 선명도를 갖는다. 이러한 합성 화상이 표시됨으로써, 유저는, 어디로부터, 또는 어느 위치로부터 신호가 송신되고 있는지를 보다 명확하게 알 수 있다.
도 8은, 본 실시의 형태에 있어서의 수신기의 촬영 동작의 다른 예를 나타내는 도면이다.
수신기(8000)는, 카메라 Ca1 및 카메라 Ca2를 구비한다. 이러한 수신기(8000)에서는, 카메라 Ca1은 통상 촬영을 행하고, 카메라 Ca2는 가시광 촬영을 행한다. 이에 따라, 카메라 Ca1은, 상술과 같은 통상 촬영 화상을 취득하고, 카메라 Ca2는, 상술과 같은 가시광 통신 화상을 취득한다. 그리고, 수신기(8000)는, 통상 촬영 화상 및 가시광 통신 화상을 합성함으로써, 상술의 합성 화상을 생성하여 디스플레이에 표시한다.
도 9는, 본 실시의 형태에 있어서의 수신기의 촬영 동작의 다른 예를 나타내는 도면이다.
2개의 카메라를 갖는 상기 수신기(8000)에서는, 카메라 Ca1은, 촬영 모드를 통상 촬영, 가시광 통신, 통상 촬영, …과 같이 전환한다. 한편, 카메라 Ca2는, 통상 촬영을 계속하여 행한다. 그리고, 카메라 Ca1과 카메라 Ca2에서 동시에 통상 촬영이 행해지고 있을 때는, 수신기(8000)는, 그들 카메라에 의해서 취득된 통상 촬영 화상으로부터, 스테레오시(삼각측량의 원리)를 이용하여, 수신기(8000)로부터 피사체까지의 거리(이하, 피사체 거리라고 한다)를 추정한다. 이와 같이 추정된 피사체 거리를 이용함으로써, 수신기(8000)는, 가시광 통신 화상의 휘선 모양을 통상 촬영 화상의 적절한 위치에 중첩할 수 있다. 즉, 적절한 합성 화상을 생성할 수 있다.
도 10은, 본 실시의 형태에 있어서의 수신기의 표시 동작의 일 예를 나타내는 도면이다.
수신기(8000)는, 상술과 같이, 촬영 모드를 가시광 통신, 통상 촬영, 가시광 통신, …와 같이 전환한다. 여기서, 수신기(8000)는, 최초로 가시광 통신을 행할 때, 어플리케이션케이션 프로그램을 기동한다. 그리고, 수신기(8000)는, 가시광 통신에 의해서 수신한 신호에 의거하여, 스스로 위치를 추정한다. 다음으로, 수신기(8000)는, 통상 촬영을 행할 때는, 그 통상 촬영에 의해서 취득된 통상 촬영 화상에, AR(Augmented　Reality) 정보를 표시한다. 이 AR 정보는, 상술과 같이 추정된 위치 등에 의거하여 취득되는 것이다. 또한, 수신기(8000)는, 9축 센서에 의한 검출 결과, 및 통상 촬영 화상의 움직임 검출 등에 의거하여, 수신기(8000)의 이동 및 방향의 변화를 추정하고, 그 추정된 이동 및 방향의 변화에 맞추어 AR 정보의 표시 위치를 이동시킨다. 이에 따라, AR 정보를 통상 촬영 화상의 피사체상에 추종시킬 수 있다.
또한, 수신기(8000)는, 통상 촬영으로부터 가시광 통신으로 촬영 모드를 전환하면, 그 가시광 통신시에는, 직전의 통상 촬영시에 취득된 최신의 통상 촬영 화상에 AR 정보를 중첩한다. 그리고, 수신기(8000)는, AR 정보가 중첩된 통상 촬영 화상을 표시한다. 또한, 수신기(8000)는, 통상 촬영시와 동일하게, 9축 센서에 의한 검출 결과에 의거하여, 수신기(8000)의 이동 및 방향의 변화를 추정하고, 그 추정된 이동 및 방향의 변화에 맞추어 AR 정보 및 통상 촬영 화상을 이동시킨다. 이에 따라, 가시광 통신시에도, 통상 촬영시와 동일하게, 수신기(8000)의 이동 등에 맞추어 AR 정보를 통상 촬영 화상의 피사체상에 추종시킬 수 있다. 또한, 수신기(8000)의 이동 등에 맞추어, 그 통상 화상을 확대 및 축소할 수 있다.
도 11은, 본 실시의 형태에 있어서의 수신기의 표시 동작의 일 예를 나타내는 도면이다.
예를 들면, 수신기(8000)는, 도 11의 (a)에 나타내는 바와 같이, 휘선 모양이 비추어진 상기 합성 화상을 표시해도 된다. 또한, 수신기(8000)는, 도 11의 (b)에 나타내는 바와 같이, 휘선 모양 대신에, 신호가 송신되고 있는 것을 통지하기 위한 소정의 색을 갖는 화상인 신호 명시 오브젝트를 통상 촬영 화상에 중첩함으로써 합성 화상을 생성하고, 그 합성 화상을 표시해도 된다.
또힌, 수신기(8000)는, 도 11의 (c)에 나타내는 바와 같이, 신호가 송신되고 있는 개소가 점선의 테두리와 식별자(예를 들면, ID：101, ID：102 등)에 의해서 나타나 있는 통상 촬영 화상을 합성 화상으로서 표시해도 된다. 또한, 수신기(8000)는, 도 11의 (d)에 나타내는 바와 같이, 휘선 모양 대신에, 특정 종류의 신호가 송신되고 있는 것을 통지하기 위한 소정의 색을 갖는 화상인 신호 식별 오브젝트를 통상 촬영 화상에 중첩함으로써 합성 화상을 생성하여, 그 합성 화상을 표시해도 된다. 이 경우, 그 신호 식별 오브젝트의 색은, 송신기로부터 출력되고 있는 신호의 종류에 따라서 상이하다. 예를 들면, 송신기로부터 출력되고 있는 신호가 위치 정보인 경우에는, 적색의 신호 식별 오브젝트가 중첩되고, 송신기로부터 출력되고 있는 신호가 쿠폰인 경우에는, 녹색의 신호 식별 오브젝트가 중첩된다.
도 12는, 본 실시의 형태에 있어서의 수신기의 동작의 일 예를 나타내는 도면이다.
예를 들면, 수신기(8000)는, 가시광 통신에 의해서 신호를 수신한 경우에는, 통상 촬영 화상을 표시함과 함께, 송신기를 발견한 것을 유저에게 통지하기 위한 음을 출력해도 된다. 이 경우, 수신기(8000)는, 발견한 송신기의 개수, 수신한 신호의 종류, 또는, 그 신호에 의해서 특정되는 정보의 종류 등에 따라서, 출력되는 음의 종류, 출력 회수, 또는 출력 시간을 상이하게 해도 된다.
도 13은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 합성 화상에 비추어진 휘선 모양으로 유저가 터치하면, 수신기(8000)는, 그 터치된 휘선 모양에 대응하는 피사체로부터 송신된 신호에 의거하여, 정보 통지 화상을 생성하고, 그 정보 통지 화상을 표시한다. 이 정보 통지 화상은, 예를 들면, 점포의 쿠폰이나 장소 등을 나타낸다. 또한, 휘선 모양은, 도 11에 나타내는 신호 명시 오브젝트, 신호 식별 오브젝트, 또는 점선 테두리 등이어도 된다. 이하에 기재되어 있는 휘선 모양에 대해서도 동일하다.
도 14는, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 합성 화상에 비추어진 휘선 모양으로 유저가 터치하면, 수신기(8000)는, 그 터치된 휘선 모양에 대응하는 피사체로부터 송신된 신호에 의거하여, 정보 통지 화상을 생성하고, 그 정보 통지 화상을 표시한다. 이 정보 통지 화상은, 예를 들면, 수신기(8000)의 현재지를 지도 등에 의해서 나타낸다.
도 15는, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 합성 화상이 표시되어 있는 수신기(8000)에 대하여 유저가 스와이프를 행하면, 수신기(8000)는, 도 11의 (c)에 나타내는 통상 촬영 화상과 동일한, 점선 테두리 및 식별자를 갖는 통상 촬영 화상을 표시함과 함께, 스와이프의 조작에 추종하도록 정보의 일람을 표시한다. 이 일람에는, 각 식별자에 의해서 나타나는 개소(송신기)로부터 송신되는 신호에 의해서 특정되는 정보가 나타나 있다. 또한, 스와이프는, 예를 들면, 수신기(8000)에 있어서의 디스플레이의 우측의 밖으로부터 안으로 손가락을 움직이는 조작이어도 된다. 또한, 스와이프는, 디스플레이의 상측으로부터, 하측으로부터, 또는 좌측으로부터 안으로 손가락을 움직이는 조작이어도 된다.
또한, 그 일람에 포함되는 정보가 유저에 의해서 탭되면, 수신기(8000)는, 그 정보를 보다 상세하게 나타내는 정보 통지 화상(예를 들면 쿠폰을 나타내는 화상)을 표시해도 된다.
도 16은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 합성 화상이 표시되어 있는 수신기(8000)에 대하여 유저가 스와이프를 행하면, 수신기(8000)는, 스와이프의 조작에 추종하도록 정보 통지 화상을 합성 화상에 중첩하여 표시한다. 이 정보 통지 화상은, 피사체 거리를 화살표와 함께 유저에게 알기 쉽게 나타내는 것이다. 또한, 스와이프는, 예를 들면, 수신기(8000)에 있어서의 디스플레이의 하측의 밖으로부터 안으로 손가락을 움직이는 조작이어도 된다. 또한, 스와이프는, 디스플레이의 좌측으로부터, 상측으로부터, 또는 우측으로부터 안으로 손가락을 움직이는 조작이어도 된다.
도 17은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
예를 들면, 수신기(8000)는, 복수의 점포를 나타내는 사이네이지인 송신기를 피사체로 하여 촬영하고, 그 촬영에 의해서 취득된 통상 촬영 화상을 표시한다. 여기서, 통상 촬영 화상에 비추어진 피사체에 포함되는, 1개의 점포의 사이네이지의 화상을 유저가 탭하면, 수신기(8000)는, 그 점포의 사이네이지로부터 송신되는 신호에 의거하여 정보 통지 화상을 생성하고, 그 정보 통지 화상(8001)을 표시한다. 이 정보 통지 화상(8001)은, 예를 들면 점포의 공석 상황 등을 나타내는 화상이다.
도 18은, 본 실시의 형태에 있어서의 수신기와 송신기와 서버의 동작의 일 예를 나타내는 도면이다.
우선, 텔레비전으로서 구성되어 있는 송신기(8012)는, 휘도 변화에 의해서 신호를 수신기(8011)에 송신한다. 이 신호는, 예를 들면, 시청되고 있는 프로그램에 관련된 컨텐츠의 구입을 유저에게 촉구하기 위한 정보를 포함한다. 수신기(8011)는, 가시광 통신에 의해서 그 신호를 수신하면, 그 신호에 의거하여, 컨텐츠의 구입을 유저에게 촉구하는 정보 통지 화상을 표시한다. 유저가 그 컨텐츠를 구입하기 위한 조작을 행하면, 수신기(8011)는, 수신기(8011)에 삽입되어 있는 SIM(Subscriber　Identity　Module) 카드에 포함되는 정보, 유저 ID, 단말 ID, 크레디트 카드 정보, 과금을 위한 정보, 패스워드, 및 송신기 ID 중 적어도 1개를 서버(8013)에 송신한다. 서버(8013)는, 유저마다, 유저 ID와 지불 정보를 링크하여 관리하고 있다. 그리고, 서버(8013)는, 수신기(8011)로부터 송신되는 정보에 의거하여, 유저 ID를 특정하고, 그 유저 ID에 링크된 지불 정보를 확인한다. 이 확인에 의해서, 서버(8013)는, 유저에 대하여 컨텐츠의 구입을 허가할지 여부를 판단한다. 그리고, 서버(8013)는, 허가한다고 판단하면, 허가 정보를 수신기(8011)에 송신한다. 수신기(8011)는, 허가 정보를 수신하면, 그 허가 정보를 송신기(8012)에 송신한다. 허가 정보를 수신한 송신기(8012)는, 그 컨텐츠를 예를 들면 네트워크를 통하여 취득하여 재생한다.
또한, 송신기(8012)는, 휘도 변화함으로써 송신기(8012)의 ID를 포함하는 정보를 수신기(8011)에 대하여 송신해도 된다. 이 경우, 수신기(8011)는, 그 정보를 서버(8013)에 송신한다. 서버(8013)는, 그 정보를 취득하면, 그 송신기(8012)에 의해서 예를 들면 텔레비젼 프로그램이 시청되고 있다고 판단할 수 있어, 텔레비젼 프로그램의 시청률 조사를 행할 수 있다.
또한, 수신기(8011)는, 유저에 의해서 조작된 내용(투표 등)을 상술의 정보에 포함하여 서버(8013)에 송신함으로써, 서버(8013)는, 그 내용을 텔레비젼 프로그램에 반영할 수 있다. 즉, 시청자 참가형의 프로그램을 실현할 수 있다. 또한, 수신기(8011)는, 유저에 의한 기입을 접수한 경우에는, 그 기입의 내용을 상술의 정보에 포함하여 서버(8013)에 송신함으로써, 서버(8013)는, 그 기입을 텔레비젼 프로그램이나 네트워크상의 게시판 등에 반영할 수 있다.
또한, 송신기(8012)가 상술과 같은 정보를 송신함으로써, 서버(8013)는, 유료 방송 또는 온디멘드 프로그램에 의한 텔레비젼 프로그램의 시청에 대하여 과금을 행할 수 있다. 또한, 서버(8013)는, 수신기(8011)에 대하여 광고를 표시시키거나, 송신기(8012)에 표시되는 텔레비젼 프로그램의 상세 정보를 표시시키거나, 그 상세 정보를 나타내는 사이트의 URL을 표시시킬 수 있다. 또한, 서버(8013)는, 수신기(8011)에 의해서 광고가 표시된 회수, 또는, 그 광고에 의해서 구입된 상품의 금액 등을 취득함으로써, 그 회수 또는 금액에 따른 과금을 광고주에 대하여 행할 수 있다. 이러한 금액에 의한 과금은, 광고를 본 유저가 그 상품을 바로 구입하지 않아도 행할 수 있다. 또한, 서버(8013)는, 송신기(8012)로부터 수신기(8011)를 통하여 송신기(8012)의 메이커를 나타내는 정보를 취득했을 때에는, 그 정보에 의해서 나타나는 메이커에 대하여 서비스(예를 들면, 상술의 상품의 판매에 대한 보수의 지불)를 행할 수 있다.
도 19는, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
수신기(8030)는, 예를 들면, 카메라를 구비한 헤드 마운트 디스플레이로서 구성되어 있다. 이 수신기(8030)는, 개시 버튼이 눌려졌을 때에, 가시광 통신 모드에 의한 촬영, 즉 가시광 통신을 개시한다. 그리고, 가시광 통신에 의해서 신호가 수신된 경우에는, 수신기(8030)는, 그 수신된 신호에 따른 정보를 유저에게 통지한다. 이 통지는, 예를 들면, 수신기(8030)에 구비된 스피커로부터 음성이 출력됨으로써 행해지거나, 화상의 표시에 의해서 행해진다. 또한, 가시광 통신은, 개시 버튼이 눌려졌을 때 이외에도, 개시를 지시하는 음성의 입력이 수신기(8030)에 접수되었을 때, 또는 개시를 지시하는 신호가 무선 통신으로 수신기(8030)에 수신되었을 때에, 개시되어도 된다. 또한, 수신기(8030)에 구비된 9축 센서에 의해서 얻어진 값의 변화폭이 소정의 범위를 초과했을 때, 또는, 통상 촬영 화상에 휘선 모양이 조금이라도 나타났을 때에, 가시광 통신을 개시해도 된다.
도 20은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
수신기(8030)는, 상술과 동일하게, 합성 화상(8034)을 표시한다. 여기서, 유저는, 합성 화상(8034) 중의 휘선 모양을 둘러싸도록 손가락끝을 움직이는 조작을 행한다. 수신기(8030)는, 이 조작을 접수하면, 그 조작의 대상으로 된 휘선 모양을 특정하고, 그 휘선 모양에 대응하는 개소로부터 송신되고 있는 신호에 의거하는 정보 통지 화상(8032)을 표시한다.
도 21은, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
수신기(8030)는, 상술과 동일하게, 합성 화상(8034)을 표시한다. 여기서, 유저는, 합성 화상(8034) 중의 휘선 모양으로 손가락끝을 미리 정해진 시간 이상 접촉하는 조작을 행한다. 수신기(8030)는, 이 조작을 접수하면, 그 조작의 대상으로 된 휘선 모양을 특정하고, 그 휘선 모양에 대응하는 개소로부터 송신되고 있는 신호에 의거하는 정보 통지 화상(8032)을 표시한다.
도 22는, 본 실시의 형태에 있어서의 송신기의 동작의 일 예를 나타내는 도면이다.
송신기는, 예를 들면 미리 정해진 주기로, 신호 1과 신호 2를 교호로 송신한다. 신호 1의 송신과, 신호 2의 송신은, 각각 가시광의 점멸 등의 휘도 변화에 의해 행해진다. 또한, 신호 1을 송신하기 위한 휘도 변화의 패턴과, 신호 2를 송신하기 위한 휘도 변화의 패턴은 서로 상이하다.
도 23은, 본 실시의 형태에 있어서의 송신기의 동작의 다른 예를 나타내는 도면이다.
송신기는, 상술과 같이, 블록 1, 블록 2 및 블록 3을 포함하는 구성 단위의 신호열을 반복 송신할 때, 신호열마다, 그 신호열에 포함되는 블록의 배치를 변경해도 된다. 예를 들면, 최초의 신호열에는, 블록 1, 블록 2, 블록 3의 순으로 각 블록이 배치되고, 다음의 신호열에는, 블록 3, 블록 1, 블록 2의 순으로 각 블록이 배치된다. 이에 따라, 주기적인 블랭킹 기간을 요하는 수신기에 의해서 동일한 블록만이 취득되는 것을 피할 수 있다.
도 24는, 본 실시의 형태에 있어서의 수신기의 응용예를 나타내는 도면이다.
예를 들면 스마트 폰으로서 구성되는 수신기(7510a)는, 백 카메라(아웃 카메라)(7510c)로 광원(7510b)을 촬상하여, 광원(7510b)으로부터 송신된 신호를 수신하고, 수신한 신호로부터 광원(7510b)의 위치와 방향을 취득한다. 수신기(7510a)는, 광원(7510b)의 촬상 화상 중에 있어서의 찍는 방법이나, 수신기(7510a)에 구비한 9축 센서의 센서치로부터, 수신기(7510a) 자신의 위치와 방향을 추정한다. 수신기(7510a)는, 프런트 카메라(페이스 카메라, 인 카메라)(7510f)로, 유저(7510e)를 촬상하고, 화상 처리에 의해서, 7510e의 두부(頭部)의 위치와 방향, 및, 시선 방향(안구의 위치와 방향)을 추정한다. 수신기(7510a)는, 추정 결과를 서버에 송신한다. 수신기(7510a)는, 유저(7510e)의 시선 방향에 따라 거동(디스플레이의 표시 내용이나 재생음)을 변경한다. 백 카메라(7510c)에 의한 촬상과, 프런트 카메라(7510f)에 의한 촬상은, 동시에 행해도 되고, 교호로 행해도 된다.
도 25는, 본 실시의 형태에 있어서의 수신기의 동작의 다른 예를 나타내는 도면이다.
수신기는, 상술과 같은 합성 화상 또는 중간 화상 등에 의해서, 휘선 모양을 표시한다. 이 때, 수신기는, 이 휘선 모양에 대응하는 송신기로부터의 신호를 수신할 수 없어도 된다. 여기서, 유저가 휘선 모양에 대한 조작(예를 들면 탭)을 행함으로써 그 휘선 모양이 선택되면, 수신기는, 광학 줌을 행함으로써, 그 휘선 모양의 개소가 확대된 합성 화상 또는 중간 화상을 표시한다. 이러한 광학 줌이 행해짐으로써, 수신기는, 그 휘선 모양에 대응하는 송신기로부터의 신호를 적절히 수신할 수 있다. 즉, 촬상에 의해서 얻어지는 화상이 지나치게 작아서, 신호를 취득할 수 없어도, 광학 줌을 행함으로써, 그 신호를 적절히 수신할 수 있다. 또한, 신호를 취득 가능한 크기의 화상이 표시되어 있는 경우라도, 광학 줌을 행함으로써, 빠른 수신을 행할 수 있다.
(본 실시의 형태의 정리)
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 제1의 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에 촬영함으로써, 상기 휘선을 포함하는 화상인 휘선 화상을 취득하는 휘선 화상 취득 단계와, 상기 휘선 화상에 의거하여, 상기 휘선이 나타난 부위의 공간적인 위치를 식별할 수 있는 모양으로, 상기 피사체와 당해 피사체의 주위가 비추어진 표시용 화상을 표시하는 화상 표시 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 송신 정보를 취득하는 정보 취득 단계를 포함한다.
예를 들면, 도 7, 도 8 및 도 11에 나타내는 바와 같은 합성 화상 또는 중간 화상이 표시용 화상으로서 표시된다. 또한, 피사체와 당해 피사체의 주위가 비추어진 표시용 화상에 있어서, 휘선이 나타난 부위의 공간적인 위치는, 휘선 모양, 신호 명시 오브젝트, 신호 식별 오브젝트, 또는 점선 테두리 등에 의해서 식별된다. 따라서, 유저는, 이러한 표시 화상을 봄으로써, 휘도 변화에 의해서 신호를 송신하고 있는 피사체를 용이하게 찾아낼 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 상기 노광 시간보다도 긴 노광 시간을 설정하는 제2의 노광 시간 설정 단계와, 상기 이미지 센서가, 상기 피사체와 당해 피사체의 주위를 상기 긴 노광 시간에 촬영함으로써, 통상 촬영 화상을 취득하는 통상 화상 취득 단계와, 상기 통상 촬영 화상에 있어서 상기 휘선이 나타난 부위를, 상기 휘선 화상에 의거하여 특정하고, 상기 부위를 가리키는 화상인 신호 오브젝트를 상기 통상 촬영 화상에 중첩함으로써, 합성 화상을 생성하는 합성 단계를 포함하고, 상기 화상 표시 단계에서는, 상기 합성 화상을 상기 표시용 화상으로서 표시해도 된다.
예를 들면, 신호 오브젝트는, 휘선 모양, 신호 명시 오브젝트, 신호 식별 오브젝트, 또는 점선 테두리 등이며, 도 7, 도 8 및 도 11에 나타내는 바와 같이, 합성 화상이 표시용 화상으로서 표시된다. 이에 따라, 유저는, 휘도 변화에 의해서 신호를 송신하고 있는 피사체를 더욱 용이하게 찾아낼 수 있다.
또한, 상기 제1의 노광 시간 설정 단계에서는, 노광 시간을 1/3000초로 설정하고, 상기 휘선 화상 취득 단계에서는, 상기 피사체의 주위가 비추어진 상기 휘선 화상을 취득하고, 상기 화상 표시 단계에서는, 상기 휘선 화상을 상기 표시용 화상으로서 표시해도 된다.
예를 들면, 휘선 화상은 중간 화상으로서 취득되어 표시된다. 따라서, 통상 촬영 화상과 가시광 통신 화상을 취득하여 합성하는 등의 처리를 행할 필요가 없어, 처리의 간략화를 도모할 수 있다.
또한, 상기 이미지 센서는, 제1의 이미지 센서와 제2의 이미지 센서를 포함하고, 상기 통상 화상 취득 단계에서는, 상기 제1의 이미지 센서가 촬영함으로써, 상기 통상 촬영 화상을 취득하고, 상기 휘선 화상 취득 단계에서는, 상기 제2의 이미지 센서가 상기 제1의 이미지 센서의 촬영과 동시에 촬영함으로써, 상기 휘선 화상을 취득해도 된다.
예를 들면, 도 8에 나타내는 바와 같이, 통상 촬영 화상과 휘선 화상인 가시광 통신 화상이 각각의 카메라로 취득된다. 따라서, 1개의 카메라로 통상 촬영 화상과 가시광 통신 화상을 취득하는 경우에 비하여, 그들 화상을 빠르게 취득할 수 있어, 처리를 고속화할 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 상기 표시용 화상에 있어서의 상기 휘선이 나타난 부위가 유저에 의한 조작에 의해서 지정된 경우에는, 지정된 부위의 상기 휘선의 패턴으로부터 취득된 상기 송신 정보에 의거하는 제시 정보를 제시하는 정보 제시 단계를 포함해도 된다. 예를 들면, 상기 유저에 의한 조작은, 탭, 스와이프, 상기 부위에 손가락끝을 소정 시간 이상 계속해 대는 조작, 상기 부위에 시선을 향한 상태를 소정의 시간 이상 계속하는 조작, 상기 부위에 관련지어서 나타나는 화살표에 상기 유저의 신체의 일부를 움직이는 조작, 휘도 변화하는 펜 끝을 상기 부위에 대는 조작, 또는, 터치 센서에 접촉함으로써, 상기 표시용 화상에 표시되어 있는 포인터를 상기 부위에 대는 조작이다.
예를 들면, 도 13∼도 17, 도 20 및 도 21에 나타내는 바와 같이, 제시 정보가 정보 통지 화상으로서 표시된다. 이에 따라, 유저에게 소망하는 정보를 제시할 수 있다.
또한, 상기 이미지 센서는 헤드 마운트 디스플레이에 구비되고, 상기 화상 표시 단계에서는, 상기 헤드 마운트 디스플레이에 탑재된 프로젝터가 상기 표시용 화상을 표시해도 된다.
이에 따라, 예를 들면, 도 19∼도 21에 나타내는 바와 같이, 간단하게 정보를 유저에게 제시할 수 있다.
또한, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 제1의 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에 촬영함으로써, 상기 휘선을 포함하는 화상인 휘선 화상을 취득하는 휘선 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계를 포함하고, 상기 휘선 화상 취득 단계에서는, 상기 이미지 센서가 이동되고 있는 기간에, 복수의 상기 피사체를 촬영함으로써, 상기 휘선이 나타난 부위를 복수 포함하는 상기 휘선 화상을 취득하고, 상기 정보 취득 단계에서는, 상기 부위마다, 해당 부위의 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써, 복수의 상기 피사체의 각각의 위치를 취득하고, 상기 정보 통신 방법은, 추가로, 취득된 복수의 상기 피사체의 각각의 위치, 및 상기 이미지 센서의 이동 상태에 의거하여, 상기 이미지 센서의 위치를 추정하는 위치 추정 단계를 포함해도 된다.
이에 따라, 복수의 조명 등의 피사체에 의한 휘도 변화에 의해서, 이미지 센서를 포함하는 수신기의 위치를 정확하게 추정할 수 있다.
또한, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 제1의 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에 촬영함으로써, 상기 휘선을 포함하는 화상인 휘선 화상을 취득하는 휘선 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계와, 취득된 상기 정보를 제시하는 정보 제시 단계를 포함하고, 상기 정보 제시 단계에서는, 상기 이미지 센서의 유저에 대하여, 미리 정해진 제스처를 촉구하는 화상을 상기 정보로서 제시해도 된다.
이에 따라, 유저가, 촉구된 대로의 제스처를 행하는지 여부에 따라, 그 유저에 대한 인증 등을 행할 수 있어, 편리성을 높일 수 있다.
또한, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에 촬영함으로써, 상기 휘선을 포함하는 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계를 포함하고, 상기 화상 취득 단계에서는, 반사면에 비치는 복수의 상기 피사체를 촬영함으로써 상기 휘선 화상을 취득하고, 상기 정보 취득 단계에서는, 상기 휘선 화상에 포함되는 휘선의 강도에 따라서, 상기 휘선을, 복수의 상기 피사체의 각각에 대응하는 휘선으로 분리하고, 상기 피사체마다, 당해 피사체에 대응하는 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득해도 된다.
이에 따라, 복수의 조명 등의 피사체가 각각 휘도 변화하는 경우에도, 피사체의 각각으로부터 적절한 정보를 취득할 수 있다.
또한, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에 촬영함으로써, 상기 휘선을 포함하는 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계를 포함하고, 상기 화상 취득 단계에서는, 반사면에 비치는 상기 피사체를 촬영함으로써 상기 휘선 화상을 취득하고, 상기 정보 통신 방법은, 추가로, 상기 휘선 화상 내에 있어서의 휘도 분포에 의거하여, 상기 피사체의 위치를 추정하는 위치 추정 단계를 포함해도 된다.
이에 따라, 휘도 분포에 의거하여 적절한 피사체의 위치를 추정할 수 있다.
또한, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 송신 대상의 제1의 신호를 변조함으로써, 휘도 변화의 제1의 패턴을 결정하는 제1의 결정 단계와, 송신 대상의 제2의 신호를 변조함으로써, 휘도 변화의 제2의 패턴을 결정하는 제2의 결정 단계와, 발광체가, 결정된 상기 제1의 패턴에 따른 휘도 변화와, 결정된 상기 제2의 패턴에 따른 휘도 변화를, 교호로 행함으로써, 상기 제1 및 제2의 신호를 송신하는 송신 단계를 포함해도 된다.
이에 따라, 예를 들면, 도 22에 나타내는 바와 같이, 제1의 신호와 제2의 신호를 각각 지체없이 송신할 수 있다.
또한, 상기 송신 단계에서는, 휘도 변화를, 상기 제1의 패턴에 따른 휘도 변화와, 상기 제2의 패턴에 따른 휘도 변화로 전환할 때는, 완충 시간을 비워 전환해도 된다.
이에 따라, 제1의 신호와 제2의 신호의 혼신(混信)을 억제할 수 있다.
또한, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 송신 대상의 신호를 변조함으로써, 휘도 변화의 패턴을 결정하는 결정 단계와, 발광체가, 결정된 상기 패턴에 따라서 휘도 변화함으로써 상기 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 신호는, 복수의 대블록으로 이루어지고, 상기 복수의 대블록의 각각은, 제1의 데이터와, 상기 제1의 데이터에 대한 프리앰블과, 상기 제1의 데이터에 대한 체크 신호를 포함하고, 상기 제1의 데이터는, 복수의 소블록으로 이루어지고, 상기 소블록은, 제2의 데이터와, 상기 제2의 데이터에 대한 프리앰불과, 상기 제2의 데이터에 대한 체크 신호를 포함해도 된다.
이에 따라, 블랭킹 기간을 필요로 하는 수신기라도, 블랭킹 기간을 필요로 하지 않는 수신기라도, 적절히 데이터를 취득할 수 있다.
또한, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 복수의 송신기가 각각, 송신 대상의 신호를 변조함으로써, 휘도 변화의 패턴을 결정하는 결정 단계와, 송신기마다, 당해 송신기에 구비된 발광체가, 결정된 상기 패턴에 따라서 휘도 변화함으로써 상기 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 송신 단계에서는, 서로 주파수 또는 프로토콜이 상이한 신호를 송신해도 된다.
이에 따라, 복수의 송신기로부터의 신호의 혼신을 억제할 수 있다.
또한, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 복수의 송신기가 각각, 송신 대상의 신호를 변조함으로써, 휘도 변화의 패턴을 결정하는 결정 단계와, 송신기마다, 당해 송신기에 구비된 발광체가, 결정된 상기 패턴에 따라서 휘도 변화함으로써 상기 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 송신 단계에서는, 상기 복수의 송신기 중 1개의 송신기는, 다른쪽의 송신기로부터 송신되는 신호를 수신하고, 수신된 신호와 혼신하지 않는 양태로, 다른 신호를 송신해도 된다.
이에 따라, 복수의 송신기로부터의 신호의 혼신을 억제할 수 있다.
(실시의 형태 3)
본 실시의 형태에서는, 상기 실시의 형태 1 또는 2에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL 등의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
도 26은, 실시의 형태 3에 있어서의 수신기, 송신기 및 서버의 처리 동작의 일 예를 나타내는 도면이다.
예를 들면 스마트 폰으로서 구성되는 수신기(8142)는, 스스로 위치를 나타내는 위치 정보를 취득하고, 그 위치 정보를 서버(8141)에 송신한다. 또한, 수신기(8142)는, 예를 들면 GPS 등을 이용하거나, 다른 신호를 수신했을 때에 그 위치 정보를 취득한다. 서버(8141)는, 그 위치 정보에 의해서 나타나는 위치에 대응지어진 ID 리스트를 수신기(8142)에 송신한다. ID 리스트에는, 「abcd」등의 ID마다, 그 ID와, 그 ID에 대응지어진 정보가 포함되어 있다.
수신기(8142)는, 예를 들면 조명 기기로서 구성되는 송신기(8143)로부터 신호를 수신한다. 이 때, 수신기(8142)는, ID의 일부(예를 들면 「 b 」) 밖에 상술의 신호로서 수신할 수 없는 경우가 있다. 이 경우, 수신기(8142)는, 그 ID의 일부를 포함하는 ID를 ID 리스트로부터 검색한다. 일정한 ID가 발견되지 않는 경우에는, 수신기(8142)는, 추가로, 송신기(8143)로부터, 그 ID의 다른 부분을 포함하는 신호를 수신한다. 이에 따라, 수신기(8142)는, 그 ID 중의 보다 많은 부분(예를 들면 「　bc　」)을 취득한다. 그리고, 수신기(8142)는, 그 ID의 일부(예를 들면 「　bc　」)를 포함하는 ID를 ID 리스트로부터 재차 검색한다. 이러한 검색을 행함으로써, 수신기(8142)는, ID의 일부 밖에 취득할 수 없어도, ID의 모두를 특정할 수 있다. 또한, 수신기(8142)는, 송신기(8143)로부터 신호를 수신할 떼에는, ID의 일부뿐만 아니라, CRC(Cyclic　Redundancy　Check) 등의 체크 부분 등도 수신한다.
도 27은, 실시의 형태 3에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도면이다.
예를 들면 텔레비전으로서 구성되는 송신기(8165)는, 화상과, 그 화상에 대응지어진 ID(ID　1000)를 제어부(8166)로부터 취득한다. 그리고, 송신기(8165)는, 그 화상을 표시함과 더불어, 휘도 변화함으로써, 그 ID(ID　1000)를 수신기(8167)에 송신한다. 수신기(8167)는, 촬상함으로써, 그 ID(ID　1000)를 수신함과 더불어, 그 ID(ID　1000)에 대응지어진 정보를 표시한다. 여기서, 제어부(8166)는, 송신기(8165)에 출력되는 화상을 다른 화상으로 변경한다. 이 때, 제어부(8166)는, 송신기(8165)에 출력되는 ID도 변경한다. 즉, 제어부(8166)는, 그 외의 화상과 함께, 다른 화상에 대응지어진 다른 ID(ID　1001)를 송신기(8165)에 출력한다. 이에 따라, 송신기(8165)는, 그 외의 화상을 표시함과 더불어, 휘도 변화함으로써, 다른 ID(ID　1001)를 수신기(8167)에 송신한다. 수신기(8167)는, 촬상함으로써, 그 외의 ID(ID　1001)를 수신함과 더불어, 그 외의 ID(ID　1001)에 대응지어진 정보를 표시한다.
도 28은, 실시의 형태 3에 있어서의 송신기, 수신기 및 서버의 동작의 일 예를 나타내는 도면이다.
예를 들면 스마트 폰으로서 구성되는 송신기(8185)는, 디스플레이(8185a) 중의 바코드 부분(8185b)을 제외한 부분을 휘도 변화시킴으로써, 즉, 가시광 통신에 의해서, 예를 들면 「쿠폰　100엔 할인」을 나타내는 정보를 송신한다. 또한, 송신기(8185)는, 바코드 부분(8185b)을 휘도 변화시키지 않고, 그 바코드 부분(8185b)에 바코드를 표시시킨다. 이 바코드는, 상술의 가시광 통신에 의해서 송신되는 정보와 동일한 정보를 나타낸다. 또한, 송신기(8185)는, 디스플레이(8185a) 중의 바코드 부분(8185b)을 제외한 부분에, 가시광 통신에 의해서 송신되는 정보를 나타내는 문자 또는 그림, 예를 들면 문자 「쿠폰　100엔 할인」을 표시한다. 이러한 문자 또는 그림이 표시됨으로써, 송신기(8185)의 유저는, 어떠한 정보가 송신되고 있는지를 용이하게 파악할 수 있다.
수신기(8186)는, 촬상함으로써, 가시광 통신에 의해서 송신된 정보와, 바코드에 의해서 나타나는 정보를 취득하고, 이들 정보를 서버(8187)에 송신한다. 서버(8187)는, 이들 정보가 일치 또는 관련되는지 여부를 판정하고, 일치 또는 관련된다고 판정했을 때에는, 그들 정보에 따른 처리를 실행한다. 또는, 서버(8187)는, 그 판정 결과를 수신기(8186)에 송신하고, 수신기(8186)에 그들 정보에 따른 처리를 실행시킨다.
또한, 송신기(8185)는, 바코드에 의해서 나타나는 정보 중의 일부를 가시광 통신에 의해서 송신해도 된다. 또한, 바코드에는, 서버(8187)의 URL이 나타나 있어도 된다. 또한, 송신기(8185)는, 수신기로서 ID를 취득하고, 그 ID를 서버(8187)에 송신함으로써, 그 ID에 대응지어져 있는 정보를 취득해도 된다. 이 ID에 대응지어져 있는 정보는, 상술의 가시광 통신에 의해서 송신되는 정보, 또는, 바코드에 의해서 나타나는 정보와 동일하다. 또한, 서버(8187)는, 수신기(8186)를 통하여 송신기(8185)로부터 송신되는 정보(가시광 통신의 정보 또는 바코드의 정보)에 대응지어진 ID를, 송신기(8185)에 송신해도 된다.
도 29는, 실시의 형태 3에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도면이다.
예를 들면, 수신기(8183)는, 복수의 인물(8197) 및 가로등(8195)을 포함하는 피사체를 촬상한다. 가로등(8195)은, 휘도 변화에 의해서 정보를 송신하는 송신기(8195a)를 구비하고 있다. 이 촬상에 의해서, 수신기(8183)는, 송신기(8195a)의 상이 상술의 휘선 모양으로서 나타난 화상을 취득한다. 또한, 수신기(8183)는, 그 휘선 모양에 의해서 나타나는 ID에 관련지어져 있는 AR 오브젝트(8196a)를 예를 들면 서버 등으로부터 취득한다. 그리고, 수신기(8183)는, 통상 촬영에 의해서 얻어지는 통상 촬영 화상(8196)에 그 AR 오브젝트(8196a)를 중첩하고, 그 AR 오브젝트(8196a)가 중첩된 통상 촬영 화상(8196)을 표시한다.
(본 실시의 형태의 정리)
본 실시의 형태에 있어서의 정보 통신 방법은, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 송신 대상의 신호를 변조함으로써, 휘도 변화의 패턴을 결정하는 결정 단계와, 발광체가, 결정된 상기 패턴에 따라서 휘도 변화함으로써 상기 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 휘도 변화의 패턴은, 미리 정해진 시간폭에 있어서의 임의의 각 위치에, 서로 상이한 2개의 휘도치 중의 한쪽이 출현하는 패턴이며, 상기 결정 단계에서는, 송신 대상의 서로 상이한 신호의 각각에 대하여, 상기 시간폭에 있어서의 휘도의 상승 위치 또는 하강 위치인 휘도 변화 위치가 서로 상이하고, 또한, 상기 시간폭에 있어서의 상기 발광체의 휘도의 적분치가, 미리 설정된 밝기에 따른 동일한 값이 되도록, 상기 휘도 변화의 패턴을 결정한다.
예를 들면, 송신 대상의 서로 상이한 신호 「00」, 「01」, 「10」 및 「11」의 각각에 대하여, 휘도의 상승 위치(휘도 변화 위치)가 서로 상이하고, 또한, 미리 정해진 시간폭(단위 시간폭)에 있어서의 발광체의 휘도의 적분치가, 미리 정해진 밝기(예를 들면 99% 또는 1% 등)에 따른 동일한 값이 되도록, 휘도 변화의 패턴이 결정된다. 이에 따라, 송신 대상의 신호의 각각에 대하여, 발광체의 밝기를 일정하게 유지할 수 있고, 깜박거림을 억제할 수 있음과 더불어, 그 발광체를 촬상하는 수신기는, 휘도 변화 위치에 의거하여, 그 휘도 변화의 패턴을 적절히 복조할 수 있다. 또한, 휘도 변화의 패턴은, 단위 시간폭에 있어서의 임의의 각 위치에, 서로 상이한 2개의 휘도치(휘도 H(High) 또는 휘도 L(Low)) 중의 한쪽이 출현하는 패턴이기 때문에, 발광체의 밝기를 연속적으로 변화시킬 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 복수의 화상의 각각을 순서대로 전환하여 표시하는 화상 표시 단계를 포함하고, 상기 결정 단계에서는, 상기 화상 표시 단계에서 화상이 표시될 때마다, 표시되어 있는 화상에 대응하는 식별 정보를 상기 송신 대상의 신호로서 변조함으로써, 상기 식별 정보에 대한 휘도 변화의 패턴을 결정하고, 상기 송신 단계에서는, 상기 화상 표시 단계에서 화상이 표시될 때마다, 표시되어 있는 화상에 대응하는 식별 정보에 대하여 결정된 휘도 변화의 패턴에 따라서 상기 발광체가 휘도 변화함으로써 상기 식별 정보를 송신해도 된다.
이에 따라, 예를 들면 도 27에 나타내는 바와 같이, 화상이 표시될 때마다, 표시되어 있는 화상에 대응하는 식별 정보가 송신되기 때문에, 유저는, 표시되는 화상에 의거하여, 수신기에 수신시키는 식별 정보를 용이하게 선택할 수 있다.
또한, 상기 송신 단계에서는, 상기 화상 표시 단계에서 화상이 표시될 때마다, 추가로 과거에 표시된 화상에 대응하는 식별 정보에 대하여 결정된 휘도 변화의 패턴에 따라서 상기 발광체가 휘도 변화함으로써 상기 식별 정보를 송신해도 된다.
이에 따라, 표시되는 화상이 전환되었기 때문에, 전환 전에 송신된 식별 신호를 수신기가 수신할 수 없는 경우에도, 현재 표시되어 있는 화상에 대응하는 식별 정보와 함께, 과거에 표시된 화상에 대응하는 식별 정보도 송신되기 때문에, 전환 전에 송신된 식별 정보를, 다시 수신기로 적절히 수신할 수 있다.
또한, 상기 결정 단계에서는, 상기 화상 표시 단계에서 화상이 표시될 때마다, 표시되어 있는 화상에 대응하는 식별 정보와, 상기 화상이 표시되어 있는 시각을 상기 송신 대상의 신호로서 변조함으로써, 상기 식별 정보 및 상기 시각에 대한 휘도 변화의 패턴을 결정하고, 상기 송신 단계에서는, 상기 화상 표시 단계에서 화상이 표시될 때마다, 표시되어 있는 화상에 대응하는 식별 정보 및 시각에 대하여 결정된 휘도 변화의 패턴에 따라서 상기 발광체가 휘도 변화함으로써 상기 식별 정보 및 상기 시각을 송신하고, 추가로, 과거에 표시된 화상에 대응하는 식별 정보 및 시각에 대하여 결정된 휘도 변화의 패턴에 따라서 상기 발광체가 휘도 변화함으로써 상기 식별 정보 및 상기 시각을 송신해도 된다.
이에 따라, 화상이 표시될 때마다, 복수의 ID 시각 정보(식별 정보 및 시각으로 이루어지는 정보)가 송신되기 때문에, 수신기는, 수신된 복수의 ID 시각 정보 중에서, 과거에 송신되어 수신할 수 없었던 식별 신호를, 그 ID 시각 정보의 각각에 포함되는 시각에 의거하여 용이하게 선택할 수 있다.
또한, 상기 발광체는, 각각 발광하는 복수의 영역을 갖고, 상기 복수의 영역 중 서로 인접하는 영역의 광이 서로 간섭하고, 상기 복수의 영역 중 1개만이, 결정된 상기 휘도 변화의 패턴에 따라서 휘도 변화하는 경우, 상기 송신 단계에서는, 상기 복수의 영역 중의 단(端)에 배치된 영역만이, 결정된 상기 휘도 변화의 패턴에 따라서 휘도 변화해도 된다.
이에 따라, 단에 배치된 영역(발광부)만이 휘도 변화하기 때문에, 단 이외에 배치된 영역만이 휘도 변화하는 경우에 비하여, 다른 영역으로부터의 광에 의한 그 휘도 변화로의 영향을 억제할 수 있다. 그 결과, 수신기는, 촬영에 의해서, 그 휘도 변화의 패턴을 적절히 파악할 수 있다.
또한, 상기 복수의 영역 중 2개만이, 결정된 상기 휘도 변화의 패턴에 따라서 휘도 변화하는 경우, 상기 송신 단계에서는, 상기 복수의 영역 중의 단에 배치된 영역과, 상기 단에 배치된 영역에 인접하는 영역이, 결정된 상기 휘도 변화의 패턴에 따라서 휘도 변화해도 된다.
이에 따라, 단에 배치된 영역(발광부)과, 그 단에 배치된 영역에 인접하는 영역(발광부)이 휘도 변화하기 때문에, 서로 떨어진 영역이 휘도 변화하는 경우에 비해, 공간적으로 연속하여 휘도 변화하는 범위의 면적을 넓게 유지할 수 있다. 그 결과, 수신기는, 촬영에 의해서, 그 휘도 변화의 패턴을 적절히 파악할 수 있다.
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 상기 피사체의 촬영에 이용되는 이미지 센서의 위치를 나타내는 위치 정보를 송신하는 위치 정보 송신 단계와, 상기 위치 정보에 의해서 나타나는 위치에 대응지어진, 복수의 식별 정보를 포함하는 ID 리스트를 수신하는 리스트 수신 단계와, 상기 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에 촬영함으로써, 상기 휘선을 포함하는 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계와, 취득된 상기 정보를 포함하는 식별 정보를 상기 ID 리스트로부터 검색하는 검색 단계를 포함한다.
이에 따라, 예를 들면 도 26에 나타내는 바와 같이, 미리 ID 리스트가 수신되어 있기 때문에, 취득된 정보 「　bc　」가 식별 정보의 일부뿐이어도, ID 리스트에 의거하여 적절한 식별 정보 「abcd」를 특정할 수 있다.
또한, 상기 검색 단계에 있어서, 취득된 상기 정보를 포함하는 식별 정보가 일정하게 특정되지 않는 경우에는, 상기 화상 취득 단계 및 상기 정보 취득 단계를 반복하여 행함으로써, 새로운 정보를 취득하고, 상기 정보 통신 방법은, 추가로 취득된 상기 정보와, 상기 새로운 정보를 포함하는 식별 정보를 상기 ID 리스트로부터 검색하는 재검색 단계를 포함해도 된다.
이에 따라, 예를 들면 도 26에 나타내는 바와 같이, 취득된 정보 「　b　」가 식별 정보의 일부뿐이고, 그 정보만으로는 식별 정보가 일정하게 특정되지 않는 경우여도, 새로운 정보 「　c　」가 취득되기 때문에, 그 새로운 정보와 ID 리스트에 의거하여 적절한 식별 정보 「abcd」를 특정할 수 있다.
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 노광 라인에 대응하는 휘선이 상기 피사체의 휘도 변화에 따라서 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에 촬영함으로써, 상기 휘선을 포함하는 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 식별 정보를 취득하는 정보 취득 단계와, 취득된 상기 식별 정보와, 상기 이미지 센서의 위치를 나타내는 위치 정보를 송신하는 송신 단계와, 상기 위치 정보에 의해서 나타나는 위치에 대응지어진, 복수의 식별 정보를 포함하는 ID 리스트에, 취득된 상기 식별 정보가 없는 경우에는, 에러를 통지하기 위한 에러 통지 정보를 수신하는 에러 수신 단계를 포함한다.
이에 따라, 취득된 식별 정보가 ID 리스트에 없는 경우에는, 에러 통지 정보를 수신하기 때문에, 그 에러 통지 정보를 수신한 수신기의 유저는, 그 취득된 식별 정보에 관련지어진 정보를 얻을 수 없는 것을 용이하게 파악할 수 있다.
(실시의 형태 4)
본 실시의 형태에서는, 상기 실시의 형태 1∼4에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL 등의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 적용예에 대해서 설명한다.
도 30은, 실시의 형태 4에 있어서의 송신기 및 수신기의 동작의 일 예를 나타내는 도면이다.
송신기는, ID 기억부(8361), 난수 생성부(8362), 가산부(8363), 암호부(8364), 및 송신부(8365)를 구비하고 있다. ID 기억부(8361)는, 송신기의 ID를 기억하고 있다. 난수 생성부(8362)는, 일정시간마다 상이한 난수를 생성한다. 가산부(8363)는, ID 기억부(8361)에 기억되어 있는 ID에 대하여, 난수 생성부(8362)에 의해서 생성된 최신의 난수를 조합하고, 그 결과를 편집 ID로서 출력한다. 암호부(8364)는, 그 편집 ID에 대하여 암호화를 행함으로써 암호화 편집 ID를 생성한다. 송신부 8365는 휘도 변화함으로써, 그 암호화 편집 ID를 수신기에 송신한다.
수신기는, 수신부(8366), 복호부(8367) 및 ID 취득부(8368)를 구비하고 있다. 수신부(8366)는, 송신기를 촬상(가시광 촬영)함으로써, 암호화 편집 ID를 송신기로부터 수신한다. 복호부(8367)는, 그 수신된 암호화 편집 ID를 복호함으로써 편집 ID를 복원한다. ID 취득부(8368)는, 복원된 편집 ID로부터 ID를 추출함으로써 그 ID를 취득한다.
예를 들면, ID 기억부(8361)는 ID 「100」을 기억하고 있고, 난수 생성부(8362)는 최신의 난수 「817」을 생성한다(예 1). 이 경우, 가산부(8363)는, ID 「100」에 대하여 난수 「817」을 조합함으로써, 편집 ID 「100817」을 생성하여 출력한다. 암호부(8364)는, 그 편집 ID 「100817」에 대하여 암호화를 행함으로써, 암호화 편집 ID 「abced」를 생성한다. 수신기의 복호부(8367)는, 그 암호화 편집 ID 「abced」를 복호함으로써, 편집 ID 「100817」을 복원한다. 그리고, ID 취득부(8368)는, 복원된 편집 ID 「100817」로부터 ID 「100」을 추출한다. 바꾸어 말하면, ID 취득부(8368)는, 편집 ID의 아래 3자리를 삭제함으로써, ID 「100」을 취득한다.
다음으로, 난수 생성부(8362)는 새로운 난수 「619」를 생성한다(예 2). 이 경우, 가산부(8363)는, ID 「100」에 대하여 난수 「619」를 조합함으로써, 편집 ID 「100619」를 생성하여 출력한다. 암호부(8364)는, 그 편집 ID 「100619」에 대하여 암호화를 행함으로써, 암호화 편집 ID 「difia」를 생성한다. 송신기의 복호부(8367)는, 그 암호화 편집 ID 「difia」를 복호함으로써, 편집 ID 「100619」를 복원한다. 그리고, ID 취득부(8368)는, 복원된 편집 ID 「100619」로부터 ID 「100」을 추출한다. 바꾸어 말하면, ID 취득부(8368)는, 편집 ID 아래 3자리를 삭제함으로써, ID 「100」을 취득한다.
이와 같이, 송신기는 ID를 단순하게 암호화하는 일 없이, 일정 시간마다 변경되는 난수가 조합된 것을 암호화하기 때문에, 송신부(8365)로부터 송신되는 신호로부터 간단하게 ID가 해독되는 것을 막을 수 있다. 즉, 단순히 암호화된 ID가 송신기로부터 수신기에 몇 번이나 송신되는 경우에는, 그 ID가 암호화되어 있어도, 그 ID가 동일하면, 송신기로부터 수신기에 송신되는 신호도 동일하기 때문에, 그 ID가 해독될 가능성이 있다. 그러나, 도 30에 나타내는 예에서는, 일정 시간마다 변경되는 난수가 ID에 조합되고, 그 난수가 조합된 ID가 암호화된다. 따라서, 동일한 ID가 수신기에 몇 번이나 송신되는 경우라도, 그들 ID의 송신의 타이밍이 상이하면, 송신기로부터 수신기에 송신되는 신호를 상이하게 할 수 있다. 그 결과, ID가 용이하게 해독되는 것을 막을 수 있다.
또한, 도 30에 나타내는 수신기는, 암호화 편집 ID를 취득하면, 그 암호화 편집 ID를 서버에 송신하고, 그 서버로부터 ID를 취득해도 된다.
(역에서의 안내)
도 31은, 전철의 홈에 있어서의 본 개시된 이용 형태의 일 예를 나타낸 것이다. 유저가, 휴대 단말을 전자 게시판이나 조명에 대고, 가시광 통신에 의해, 전자 게시판에 표시되어 있는 정보, 또는, 전자 게시판이 설치되어 있는 역의 전철 정보·역의 구내 정보 등을 취득한다. 여기에서는, 전자 게시판에 표시되어 있는 정보 자체가, 가시광 통신에 의해, 휴대 단말에 송신되어도 되고, 전자 게시판에 대응하는 ID 정보가 휴대 단말에 송신되고, 휴대 단말이 취득한 ID 정보를 서버에 조회함으로써, 전자 게시판에 표시되어 있는 정보를 취득해도 된다. 서버는, 휴대 단말로부터 ID 정보가 송신되어 온 경우에, ID 정보에 의거하여, 전자 게시판에 표시되어 있는 내용을 휴대 단말에 송신한다. 휴대 단말의 메모리에 보존되어 있는 전철의 티켓 정보와, 전자 게시판에 표시되어 있는 정보를 대비하여, 유저의 티켓에 대응하는 티켓 정보가 전자 게시판에 표시되어 있는 경우에, 휴대 단말의 디스플레이에, 유저의 승차 예정의 전철이 도착하는 홈으로의 행선지를 나타내는 화살표를 표시한다. 하차시에 출구나 환승 경로에 가까운 차량까지의 경로를 표시하는 것으로 해도 된다. 좌석 지정이 되어 있는 경우는, 그 좌석까지의 경로를 표시하는 것으로 해도 된다. 화살표를 표시할 때, 지도나, 전철 안내 정보에 있어서의 전철의 노선의 색과 같은 색을 이용하여 화살표를 표시함으로써, 보다 알기 쉽게 표시할 수 있다. 또한, 화살표의 표시와 함께, 유저의 예약 정보(홈 번호, 차량 번호, 발차 시각, 좌석 번호)를 표시할 수 도 있다. 유저의 예약 정보를 함께 표시함으로써, 오인식을 막는 것이 가능해진다. 티켓 정보가 서버에 보존되어 있는 경우에는, 휴대 단말로부터 서버에 조회하여 티켓 정보를 취득하여 대비하거나, 또는, 서버측에서 티켓 정보와 전자 게시판에 표시되어 있는 정보를 대비함으로써, 티켓 정보에 관련된 정보를 취득할 수 있다. 유저가 환승 검색을 행한 이력으로부터 목적의 노선을 추정하여, 경로를 표시해도 된다. 또한, 전자 게시판에 표시되어 있는 내용뿐만 아니라, 전자 게시판이 설치되어 있는 역의 전철 정보·구내 정보를 취득하여, 대비를 행해도 된다. 디스플레이상의 전자 게시판의 표시에 대하여 유저에 관련된 정보를 강조 표시해도 되고, 고쳐 써 표시해도 된다. 유저의 승차 예정이 불명확한 경우에는, 각 노선의 승강장으로의 안내의 화살표를 표시해도 된다. 역의 구내 정보를 취득한 경우에는, 매점·화장실로 등의 안내하는 화살표를 디스플레이에 표시해도 된다. 유저의 행동 특성을 미리 서버로 관리해 두고, 유저가 역 구내에서 매점·화장실에 들르는 일이 많은 경우에, 매점·화장실 등에 안내하는 화살표를 디스플레이에 표시하는 구성으로 해도 된다. 매점·화장실에 들르는 행동 특성을 갖는 유저에 대해서만, 매점·화장실 등으로 안내하는 화살표를 표시하고, 그 외의 유저에 대해서는 표시를 행하지 않기 때문에 처리량을 줄이는 것이 가능해진다. 매점·화장실 등으로 안내하는 화살표의 색을, 홈으로의 행선지를 안내하는 화살표와 상이한 색으로 해도 된다. 양쪽의 화살표를 동시에 표시할 때에는, 상이한 색으로 함으로써, 오인식을 막는 것이 가능해진다. 또한, 도 31에서는 전철의 예를 나타냈지만, 비행기나 버스 등에서도 동일한 구성으로 표시를 행하는 것이 가능하다.
(쿠폰의 팝업)
도 32는, 유저가 점포에 가까워지면, 가시광 통신에 의해 취득한 쿠폰 정보가 표시되거나, 또는, 팝업이 휴대 단말의 디스플레이에 표시되는 일 예를 나타낸 것이다. 유저는, 휴대 단말을 이용하여, 가시광 통신에 의해, 전자 게시판 등으로부터 점포의 쿠폰 정보를 취득한다. 다음으로, 점포로부터 소정의 범위 내에 유저가 들어오면, 점포의 쿠폰 정보, 또는, 팝업이 표시된다. 유저가, 점포로부터 소정의 범위 내에 들어갔는지 여부는, 휴대 단말의 GPS 정보와, 쿠폰 정보에 포함되는 점포 정보를 이용해 판단된다. 쿠폰 정보에 한정되지 않고, 티켓 정보라도 된다. 쿠폰이나 티켓을 이용할 수 있는 점포 등이 가까워지면 자동적으로 알려주기 때문에, 유저는 쿠폰이나 티켓을 적절히 이용하는 것이 가능해진다.
(조작용 어플리케이션의 기동)
도 33은, 유저가 휴대 단말을 이용하여, 가시광 통신에 의해, 가전에서 정보를 취득하는 일 예를 나타낸 것이다. 가시광 통신에 의해, 가전으로부터 ID 정보, 또는, 당해 가전에 관한 정보를 취득한 경우에, 당해 가전을 조작하기 위한 어플리케이션이 자동적으로 개시된다. 도 33에서는, 텔레비전을 이용한 예를 나타내고 있다. 이러한 구성에 의해, 휴대 단말을 가전에 대는 것만으로, 가전을 조작하기 위한 어플리케이션을 기동하는 것이 가능해진다.
(데이터 베이스)
도 34는, 송신기가 송신하는 ID를 관리하는 서버를 보존하는 데이터 베이스의 구성의 일 예를 나타낸 것이다.
데이터 베이스는, ID를 키로 한 조회에 대하여 넘기는 데이터를 보존하는 ID－데이터 테이블과, ID를 키로 한 조회 기록을 보존하는 액세스 로그 테이블을 갖는다. ID－데이터 테이블은, 송신기가 송신하는 ID, ID를 키로 한 조회에 대하여 넘기는 데이터, 데이터를 넘기는 조건, ID를 키로 한 액세스가 있던 횟수, 조건을 클리어하여 데이터가 넘겨진 횟수를 갖는다. 데이터를 넘기는 조건에는, 일시나, 액세스 회수나, 액세스 성공 회수나, 조회원의 단말의 정보(단말의 기종, 조회를 행한 어플리케이션, 단말의 현재 위치 등)나, 조회원의 유저 정보(연령, 성별, 직업, 국적, 사용 언어, 종교 등)가 있다. 액세스 성공 횟수를 조건으로 함으로써, 「액세스 1회당 1엔, 다만 100엔을 상한으로 하고 그 이후는 데이터를 돌려주지 않는다」라는 서비스의 방법이 가능해진다. 로그 테이블은, ID를 키로 한 액세스가 있을 때, 그 ID나, 요구한 유저의 ID나, 시각이나, 그 외의 부대 정보나, 조건을 클리어하여 데이터를 넘겼는지 여부나, 넘겨진 데이터의 내용을 기록한다.
(존마다 상이한 통신 프로토콜)
도 35는, 실시의 형태 4에 있어서의 송신기와 수신기의 동작의 일 예를 나타내는 도면이다.
수신기(8420a)는, 기지국(8420h)으로부터 존 정보를 수취하여, 자신이 어느 존에 위치하고 있는지를 인식하여, 수신 프로토콜을 선택한다. 기지국(8420h)은, 예를 들면 휴대 전화의 통신 기지국이나 Wi－Fi 액세스 포인트나 IMES 송신기나 스피커나 무선 송신기(Bluetooth(등록상표), ZigBee, 특정 소전력 무선국 등)로서 구성된다. 또한, 수신기(8420a)는, GPS 등으로부터 얻은 위치 정보를 기초로 존을 특정해도 된다. 예로서, 존 A에서는 9.6kHz의 신호 주파수로 통신하고, 존 B에서는, 천정 조명은 15kHz, 사이네이지는 4.8kHz의 신호 주파수로 통신한다고 정하는 것으로 한다. 수신기(8420a)는, 위치 8420j에서는, 기지국(8420h)의 정보로부터 현재지가 존 A인 것을 인식하고, 9.6kHz의 신호 주파수로 수신을 행하고, 송신기(8420b·8420c)가 송신한 신호를 수신한다. 수신기(8420a)는, 위치 8420l에서는, 기지국(8420i)의 정보로부터 현재지가 존 B인 것을 인식하고, 또한, 인 카메라가 상방으로 향해 있는 점에서 천정 조명으로부터의 신호를 수신하려고 하고 있는 것을 추정하고, 15kHz의 신호 주파수로 수신을 행하여, 송신기(8420e·8420f)의 송신한 신호를 수신한다. 수신기(8420a)는, 위치 8420m에서는, 기지국(8420i)의 상방으로부터 현재지가 존 B인 것을 인식하고, 또한, 아웃 카메라를 내미는 움직임으로부터 사이네이지가 송신하는 신호를 수신하려고 하고 있는 것을 추정하고, 4.8kHz의 신호 주파수로 수신을 행하여, 송신기(8420g)가 송신하는 신호를 수신한다. 수신기(8420a)는, 위치 8420k에서는, 기지국(8420h)과 기지국(8420i)의 양쪽의 신호가 수신되어, 현재지가 존 A와 존 B의 어느쪽인지를 판단할 수 없기 때문에, 9.6kHz와 15kHz의 양쪽에서 수신 처리를 행한다. 또한, 존에 의해서 프로토콜이 상이한 부분은 주파수만이 아니라, 송신 신호의 변조 방식이나 신호 포맷이나 ID를 조회하는 서버가 상이하다고 해도 된다. 또한, 기지국(8420h·8420i)은, 존 내의 프로토콜을 수신기에 송신해도 되고, 존을 나타내는 ID만을 송신하고, 수신기가 존 ID를 키로 서버로부터 프로토콜 정보를 획득한다고 해도 된다.
송신기(8420b∼8420f)는, 기지국(8420h·8420i)이 송신하는 존 ID나 프로토콜 정보를 수신하여, 신호 송신 프로토콜을 결정한다. 기지국(8420h)과 기지국(8420i)의 양쪽이 송신하는 신호를 수신 가능한 송신기(8420d)는, 보다 신호 강도가 강한 기지국의 존의 프로토콜을 이용하거나, 또는, 양쪽의 프로토콜을 교호로 이용한다.
(존의 인식과 존 마다의 서비스)
도 36은, 실시의 형태 4에 있어서의 수신기와 송신기의 동작의 일 예를 나타내는 도면이다.
수신기(8421a)는, 수신한 신호로부터, 자신의 위치가 속하는 존을 인식한다. 수신기(8421a)는, 존 마다 정해진 서비스(쿠폰의 배포, 포인트의 부여, 길 안내 등)를 제공한다. 일 예로서 수신기(8421a)는, 송신기(8421b)의 좌측으로부터 송신하는 신호를 수신하여, 존 A에 있는 것을 인식한다. 여기서, 송신기(8421b)는, 송신 방향에 따라서 상이한 신호를 송신하는 것으로 해도 된다. 또한, 송신기(8421b)는, 2217a와 같은 발광 패턴의 신호를 이용함으로써, 수신기까지의 거리에 따라 상이한 신호가 수신되도록 신호를 송신해도 된다. 또한, 수신기(8421a)는, 송신기(8421b)가 촬상되는 방향과 크기로부터, 송신기(8421b)와의 위치 관계를 인식하고, 자신이 위치하는 존을 인식해도 된다.
동일한 존에 위치하는 것을 나타내는 신호의 일부를 공통으로 해도 된다. 예를 들면, 송신기(8421b)와 송신기(8421c)로부터 송신되는, 존 A를 나타내는 ID는 전반(前半)을 공통으로 한다. 이에 따라, 수신기(8421a)는, 신호의 전반을 수신하는 것만으로 자신이 위치하는 존을 인식 가능해진다.
(본 실시의 형태의 정리)
본 실시의 형태에 있어서의 정보 통신 방법은, 휘도 변화에 의해서 신호를 송신하는 정보 통신 방법으로서, 복수의 송신 대상의 신호의 각각을 변조함으로써, 복수의 휘도 변화의 패턴을 결정하는 결정 단계와, 복수의 발광체의 각각이, 결정된 복수의 휘도 변화의 패턴 중 어느 1개의 패턴에 따라서 휘도 변화함으로써, 상기 어느 1개의 패턴에 대응하는 송신 대상의 신호를 송신하는 송신 단계를 포함하고, 상기 송신 단계에서는, 상기 복수의 발광체 중의 2개 이상의 발광체의 각각은, 당해 발광체에 대하여 미리 정해진 시간 단위마다, 서로 휘도가 상이한 2종류의 광 중 어느 한쪽의 광이 출력되도록, 또한, 상기 2개 이상의 발광체의 각각에 대하여 미리 정해진 상기 시간 단위가 서로 상이하도록, 서로 상이한 주파수로 휘도 변화한다.
이에 따라, 2 이상의 발광체(예를 들면, 조명 기기로서 구성된 송신기)의 각각이 서로 상이한 주파수로 휘도 변화하기 때문에, 그들 발광체로부터 송신 대상의 신호(예를 들면, 발광체의 ID)를 수신하는 수신기는, 그들 송신 대상의 신호를 용이하게 구별하여 취득할 수 있다.
또한, 상기 송신 단계에서는, 상기 복수의 발광체의 각각은, 적어도 4종류의 주파수 중 어느 1개의 주파수로 휘도 변화하고, 상기 복수의 발광체 중의 2개 이상의 발광체는, 동일한 주파수로 휘도 변화해도 된다. 예를 들면, 상기 송신 단계에서는, 상기 복수의 송신 대상의 신호를 수신하기 위한 이미지 센서의 수광면에, 상기 복수의 발광체가 투영되는 경우에, 상기 수광면 상에서 서로 인접하는 모든 발광체간에서 휘도 변화의 주파수가 상이하도록, 상기 복수의 발광체의 각각은 휘도 변화한다.
이에 따라, 휘도 변화에 이용되는 주파수가 적어도 4종류 있으면, 동일한 주파수로 휘도 변화하는 발광체가 2개 이상 있는 경우라도, 즉, 주파수의 종류의 수가 복수의 발광체의 수보다 적은 경우라도, 4색 문제 또는 4색 정리에 의거하여, 이미지 센서의 수광면 상에서 서로 인접하는 모든 발광체간에서 휘도 변화의 주파수를 확실히 상이하게 할 수 있다. 그 결과, 수신기는, 복수의 발광체로부터 송신되는 송신 대상의 신호의 각각을 용이하게 구별하여 취득할 수 있다.
또한, 상기 송신 단계에서는, 상기 복수의 발광체의 각각은, 송신 대상의 신호의 해시치에 의해서 특정되는 주파수로 휘도 변화함으로써, 상기 송신 대상의 신호를 송신해도 된다.
이에 따라, 복수의 발광체의 각각은, 송신 대상의 신호(예를 들면, 발광체의 ID)의 해시치에 의해서 특정되는 주파수로 휘도 변화하기 때문에, 수신기는, 송신 대상의 신호를 수신했을 때에는, 실제의 휘도 변화로부터 특정되는 주파수와, 해시치에 의해서 특정되는 주파수가 일치하는지 여부를 판정할 수 있다. 즉, 수신기는, 수신된 신호(예를 들면, 발광체의 ID)에 에러가 있는지 여부를 판정할 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 신호 기억부에 기억되어 있는 송신 대상의 신호로부터, 미리 정해진 함수에 따라서, 당해 송신 대상의 신호에 대응하는 주파수를 제1의 주파수로서 산출하는 주파수 산출 단계와, 주파수 기억부에 기억되어 있는 제2의 주파수와, 산출된 상기 1의 주파수가 일치하는지 여부를 판정하는 주파수 판정 단계와, 상기 제1의 주파수와 상기 제2의 주파수가 일치하지 않는다고 판정된 경우에는, 에러를 통지하는 주파수 에러 통지 단계를 포함하고, 상기 제1의 주파수와 상기 제2의 주파수가 일치한다고 판정된 경우에는, 상기 결정 단계에서는, 상기 신호 기억부에 기억되어 있는 상기 송신 대상의 신호를 변조함으로써 휘도 변화의 패턴을 결정하고, 상기 송신 단계에서는, 상기 복수의 발광체 중 어느 1개의 발광체가, 결정된 상기 패턴에 따라서, 상기 제1의 주파수로 휘도 변화함으로써, 상기 신호 기억부에 기억되어 있는 상기 송신 대상의 신호를 송신해도 된다.
이에 따라, 주파수 기억부에 기억되어 있는 주파수와, 신호 기억부(ID 기억부)에 기억되어 있는 송신 대상의 신호로부터 산출된 주파수가 일치하는지 여부가 판정되고, 일치하지 않는다고 판정된 경우에는 에러가 통지되기 때문에, 발광체에 의한 신호 송신 기능의 이상 검출을 용이하게 행할 수 있다.
또한, 상기 정보 통신 방법은, 추가로 신호 기억부에 기억되어 있는 송신 대상의 신호로부터, 미리 정해진 함수에 따라서 제1의 체크치를 산출하는 체크치 산출 단계와, 체크치 기억부에 기억되어 있는 제2의 체크치와, 산출된 상기 1의 체크치가 일치하는지 여부를 판정하는 체크치 판정 단계와, 상기 제1의 체크치와 상기 제2의 체크치가 일치하지 않는다고 판정된 경우에는, 에러를 통지하는 체크치 에러 통지 단계를 포함하고, 상기 제1의 체크치와 상기 제2의 체크치가 일치한다고 판정된 경우에는, 상기 결정 단계에서는, 상기 신호 기억부에 기억되어 있는 상기 송신 대상의 신호를 변조함으로써 휘도 변화의 패턴을 결정하고, 상기 송신 단계에서는, 상기 복수의 발광체 중 어느 1개의 발광체가, 결정된 상기 패턴에 따라서 휘도 변화함으로써, 상기 신호 기억부에 기억되어 있는 상기 송신 대상의 신호를 송신해도 된다.
이에 따라, 체크치 기억부에 기억되어 있는 체크치와, 신호 기억부(ID 기억부)에 기억되어 있는 송신 대상의 신호로부터 산출된 체크치가 일치하는지 여부가 판정되고, 일치하지 않는다고 판정된 경우에는 에러가 통지되기 때문에, 발광체에 의한 신호 송신 기능의 이상 검출을 용이하게 행할 수 있다.
또한, 본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 복수의 노광 라인에 대응하는 복수의 휘선이 상기 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 피사체를, 설정된 상기 노광 시간에 촬영함으로써, 상기 복수의 휘선을 포함하는 휘선 화상을 취득하는 화상 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계와, 취득된 상기 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의거하여, 상기 피사체의 휘도 변화의 주파수를 특정하는 주파수 특정 단계를 포함한다. 예를 들면, 상기 주파수 특정 단계에서는, 상기 복수의 휘선의 패턴에 포함되는, 각각 헤더를 나타내기 위해서 미리 정해진 복수의 패턴인 복수의 헤더 패턴을 특정하고, 상기 복수의 헤더 패턴간의 화소수에 따른 주파수를, 상기 피사체의 휘도 변화의 주파수로서 특정한다.
이에 따라, 피사체의 휘도 변화의 주파수가 특정되기 때문에, 휘도 변화의 주파수가 상이한 복수의 피사체가 촬영되는 경우에는, 그들 피사체로부터의 정보를 용이하게 구별하여 취득할 수 있다.
또한, 상기 화상 취득 단계에서는, 각각 휘도 변화하는 복수의 피사체를 촬영함으로써, 각각 복수의 휘선에 의해서 나타나는 복수의 패턴을 포함하는 상기 휘선 화상을 취득하고, 상기 정보 취득 단계에서는, 취득된 상기 휘선 화상에 포함되는 상기 복수의 패턴의 각각의 일부가 겹쳐 있는 경우에는, 상기 복수의 패턴의 각각으로부터 상기 일부를 제외한 부분에 의해서 특정되는 데이터를 복조함으로써, 상기 복수의 패턴의 각각으로부터 정보를 취득해도 된다.
이에 따라, 복수의 패턴(복수의 휘선 패턴)이 겹쳐 있는 부분에서는 데이터의 복조가 행해지지 않기 때문에, 잘못된 정보를 취득해 버리는 것을 막을 수 있다.
또한, 상기 화상 취득 단계에서는, 상기 복수의 피사체를 서로 상이한 타이밍에서 복수회 촬영함으로써, 복수의 휘선 화상을 취득하고, 상기 주파수 특정 단계에서는, 휘선 화상마다, 당해 휘선 화상에 포함되는 상기 복수의 패턴의 각각에 대한 주파수를 특정하고, 상기 정보 취득 단계에서는, 상기 복수의 휘선 화상으로부터, 동일한 주파수가 특정된 복수의 패턴을 검색하고, 검색된 상기 복수의 패턴을 결합하고, 결합된 상기 복수의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득해도 된다.
이에 따라, 복수의 휘선 화상으로부터, 동일한 주파수가 특정된 복수의 패턴(복수의 휘선 패턴)이 검색되고, 검색된 복수의 패턴이 결합되고, 결합된 복수의 패턴으로부터 정보가 취득되기 때문에, 복수의 피사체가 이동하고 있는 경우에도, 그들 복수의 피사체로부터의 정보를 용이하게 구별하여 취득할 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 식별 정보의 각각에 대하여 주파수가 등록되어 있는 서버에 대하여, 상기 정보 취득 단계에서 취득된 정보에 포함되는 상기 피사체의 식별 정보와, 상기 주파수 특정 단계에서 특정된 주파수를 나타내는 특정 주파수 정보를 송신하는 송신 단계와, 상기 식별 정보와, 상기 특정 주파수 정보에 의해서 나타나는 주파수에 관련지어진 관련 정보를 상기 서버로부터 취득하는 관련 정보 취득 단계를 포함해도 된다.
이에 따라, 피사체(송신기)의 휘도 변화에 의거하여 취득된 식별 정보(ID)와, 그 휘도 변화의 주파수에 관련지어진 관련 정보가 취득된다. 따라서, 피사체의 휘도 변화의 주파수를 변경하고, 서버에 등록되어 있는 주파수를 변경 후의 주파수로 갱신함으로써, 주파수의 변경 전에 식별 정보를 취득한 수신기가 서버로부터 관련 정보를 취득하는 것을 막을 수 있다. 즉, 피사체의 휘도 변화의 주파수의 변경에 맞추어, 서버에 등록되어 있는 주파수도 변경함으로써, 피사체의 식별 정보를 과거에 취득한 수신기가 무기한으로 서버로부터 관련 정보를 취득할 수 있는 상태가 되어 버리는 것을 막을 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 상기 정보 취득 단계에서 취득된 상기 정보로부터 일부를 추출함으로써, 상기 피사체의 식별 정보를 취득하는 식별 정보 취득 단계와, 상기 정보 취득 단계에서 취득된 상기 정보 중, 상기 일부 이외의 나머지의 부분에 의해서 나타나는 수를, 상기 피사체에 대하여 설정되어 있는 휘도 변화의 설정 주파수로서 특정하는 설정 주파수 특정 단계를 포함해도 된다.
이에 따라, 복수의 휘선의 패턴으로부터 얻어지는 정보에, 피사체의 식별 정보와, 피사체에 설정되어 있는 휘도 변화의 설정 주파수를 서로 의존하는 일 없이 포함할 수 있기 때문에, 식별 정보와 설정 주파수의 자유도를 높일 수 있다.
(실시의 형태 5)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
(인간에의 가시광 통신의 주지)
도 37은, 실시의 형태 5에 있어서의 송신기의 동작의 일 예를 나타내는 도면이다.
송신기(8921a)의 발광부는, 도 37의 (a)에 나타내는 바와 같이, 인간이 시인 가능한 점멸과 가시광 통신을 반복한다. 인간이 시인 가능한 점멸을 행함으로써, 가시광 통신이 가능한 것을 인간에게 알릴 수 있다. 유저는 송신기(8921a)가 점멸하고 있음으로써 가시광 통신이 가능한 것을 알아채고, 수신기(8921b)를 송신기(8921a)를 향하여 가시광 통신을 행하고, 송신기(8921a)의 유저 등록을 행한다.
즉, 본 실시의 형태에 있어서의 송신기는, 발광체가 휘도 변화에 의해서 신호를 송신하는 단계와, 발광체가 사람의 눈으로 시인되도록 점멸하는 단계를 교호로 반복하여 행한다.
송신기는, 도 37의 (b)와 같이, 가시광 통신부와 점멸부(통신 상황 표시부)를 별도로 설치해도 된다.
송신기는, 도 37의 (c)와 같이, 동작함으로써, 가시광 통신을 행하면서, 인간에게는 발광부가 점멸하고 있는 것처럼 보이게 할 수 있다. 즉, 송신기는, 예를 들면 밝기 75%의 고휘도 가시광 통신과, 밝기 1%의 저휘도 가시광 통신을 교호로 반복하여 행한다. 예를 들면, 송신기에 이상 등이 발생하여 평상시와는 상이한 신호를 송신하고 있을 때 도 37의 (c)에 나타내는 동작을 함으로써, 가시광 통신을 멈추지 않고 유저에게 주의를 촉구할 수 있다.
(길안내에의 응용예)
도 38은, 실시의 형태 5에 있어서의 송수신 시스템의 응용예의 일 예를 나타내는 도면이다.
수신기(8955a)는, 예를 들면 안내판으로서 구성되는 송신기(8955b)의 송신 ID를 수신하고, 안내판에 표시된 지도의 데이터를 서버로부터 취득하여 표시한다. 이 때, 서버는 수신기(8955a)의 유저에게 적합한 광고를 송신하고, 수신기(8955a)는 이 광고 정보도 표시하는 것으로 해도 된다. 수신기(8955a)는, 현재지로부터, 유저가 지정한 장소까지의 경로를 표시한다.
(이용 로그 축적과 해석에의 응용예)
도 39는, 실시의 형태 5에 있어서의 송수신 시스템의 응용예의 일 예를 나타내는 도면이다.
수신기(8957a)는, 예를 들면 간판으로서 구성되는 송신기(8957b)가 송신하는 ID를 수신하고, 서버로부터 쿠폰 정보를 취득하여 표시한다. 수신기(8957a)는, 그 후의 유저의 행동, 예를 들면, 쿠폰을 보존하거나, 쿠폰에 표시된 점포로 이동하거나, 그 점포에서 쇼핑을 행하거나, 쿠폰을 보존하지 않고 떠나는 것과 같은 행동을 서버(8957c)에 보존한다. 이에 따라, 간판(8957b)으로부터 정보를 취득한 유저의 그 후의 행동을 해석할 수 있어, 간판(8957b)의 광고 가치를 추측할 수 있다.
(화면 공유에의 응용예)
도 40은, 실시의 형태 5에 있어서의 송수신 시스템의 응용예의 일 예를 나타내는 도면이다.
예를 들면 프로젝터나 디스플레이로서 구성되는 송신기(8960b)는, 자신에게 무선 접속하기 위한 정보(SSID, 무선 접속용 패스워드, IP 어드레스, 송신기를 조작하기 위한 패스워드)를 송신한다. 또는, 이들 정보에 액세스하기 위한 키가 되는 ID를 송신한다. 예를 들면 스마트 폰이나 태블릿이나 노트북이나 카메라로서 구성되는 수신기(8960a)는, 송신기(8960b)로부터 송신된 신호를 수신하여 상기 정보를 취득하고, 송신기(8960b)와의 무선 접속을 확립한다. 이 무선 접속은, 라우터를 통하여 접속해도 되고, Wi－Fi 다이렉트나 Bluetooth(등록상표)나 Wireless　Home Digital　Interface 등에 의해서 직접 접속해도 된다. 수신기(8960a)는, 송신기(8960b)에 의해서 표시되는 화면을 송신한다. 이에 따라, 간편하게 수신기의 화상을 송신기에 표시할 수 있다.
또한, 송신기(8960b)는, 수신기(8960a)와 접속되었을 때에, 화면 표시를 위해서는, 송신기가 송신하고 있는 정보 외에 패스워드가 필요한 것을 수신기(8960a)에 전달하고, 올바른 패스워드가 보내지지 않는 경우는 송신된 화면을 표시하지 않는 것으로 해도 된다. 이 때, 수신기(8960a)는, 8960d와 같은, 패스워드 입력 화면을 표시하여, 유저에게 패스워드를 입력시킨다.
이상, 1개 또는 복수의 양태에 관련된 정보 통신 방법에 대해서, 실시의 형태에 의거하여 설명했지만, 본 개시는, 이 실시의 형태에 한정되는 것은 아니다. 본 개시된 취지를 일탈하지 않는 한, 당업자가 생각하는 각종 변형을 본 실시의 형태에 실시한 것이나, 다른 실시의 형태에 있어서의 구성 요소를 조합하여 구축되는 형태도, 1개 또는 복수의 양태의 범위 내에 포함되어도 된다.
또한, 도 41에 나타내는 바와 같이, 본 개시된 일 양태에 관련된 정보 통신 방법을 응용해도 된다.
도 41은, 실시의 형태 5에 있어서의 송수신 시스템의 응용예의 일 예를 나타내는 도면이다.
가시광 통신의 수신기로서 구성되는 카메라는, 통상 촬상 모드로 촬상을 행한다(Step1). 이 촬상에 의해서, 카메라는, 예를 들면 EXIF(Exchangeable image file format) 등의 포맷에 의해서 구성되는 화상 화일을 취득한다. 다음으로, 카메라는, 가시광 통신 촬상 모드로 촬상을 행한다(Step2). 카메라는, 이 촬상에 의해서 얻어지는 화상 중의 휘선의 패턴에 의거하여, 피사체인 송신기로부터 가시광 통신에 의해서 송신된 신호(가시광 통신 정보)를 취득한다(Step3). 추가로, 카메라는, 그 신호(수신 정보)를 키로서 취급하여 서버에 액세스함으로써, 서버로부터 그 키에 대응하는 정보를 취득한다(Step4). 그리고 카메라는, 피사체로부터 가시광 통신에 의해서 송신된 신호(가시광 수신 데이터), 서버로부터 취득된 정보, 화상 화일에 의해서 나타나는 화상 중의, 피사체인 송신기가 비추어진 위치를 나타내는 데이터와, 가시광 통신에 의해서 송신된 신호를 수신한 시각(동영상 중에 있어서의 시각)을 나타내는 데이터 등을 각각, 상술의 화상 화일에 중의 메타 데이터로서 보존한다. 또한, 카메라는, 촬상에 의해서 얻어지는 화상(화상 화일)에 복수의 송신기가 피사체로서 비추어져 있는 경우에는, 송신기마다, 그 송신기에 대응하는 몇개의 메타 데이터를, 그 화상 화일에 보존한다.
가시광 통신의 송신기로서 구성되는 디스플레이 또는 프로젝터는, 상술의 화상 화일에 의해서 나타나는 화상을 표시할 때에는, 그 화상 화일에 포함되는 메타 데이터에 따른 신호를 가시광 통신에 의해서 송신한다. 예를 들면, 디스플레이 또는 프로젝터는, 메타 데이터 그 자체를 가시광 통신에 의해서 송신해도 되고, 화상에 비추어진 송신기에 관련지어진 신호를 키로서 송신해도 된다.
가시광 통신의 수신기로서 구성되는 휴대 단말(스마트 폰)은, 디스플레이 또는 프로젝터의 화상을 촬상함으로써, 디스플레이 또는 프로젝터로부터 가시광 통신에 의해서 송신되는 신호를 수신한다. 휴대 단말은, 그 수신한 신호가 상술의 키이면, 그 키를 이용하여, 디스플레이, 프로젝터 또는 서버로부터, 그 키에 관련지어진 송신기의 메타 데이터를 취득한다. 또한, 휴대 단말은, 그 수신한 신호가, 실재하는 송신기로부터 가시광 통신에 의해서 송신된 신호(가시광 수신 데이터 또는 가시광 통신 정보)이면, 디스플레이, 프로젝터 또는 서버로부터, 그 가시광 수광 데이터 또는 가시광 통신 정보에 대응하는 정보를 취득한다.
(본 실시의 형태 등의 정리)
본 실시의 형태에 있어서의 정보 통신 방법은, 피사체로부터 정보를 취득하는 정보 통신 방법으로서, 이미지 센서에 의한 상기 피사체인 제1의 피사체의 촬영에 의해서 얻어지는 화상에, 상기 이미지 센서에 포함되는 각 노광 라인에 대응하는 복수의 휘선이 상기 제1의 피사체의 휘도 변화에 따라 생기도록, 상기 이미지 센서의 제1의 노광 시간을 설정하는 제1의 노광 시간 설정 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 제1의 피사체를, 설정된 상기 제1의 노광 시간에 촬영함으로써, 상기 복수의 휘선을 포함하는 화상인 제1의 휘선 화상을 취득하는 제1의 휘선 화상 취득 단계와, 취득된 상기 제1의 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 제1의 송신 정보를 취득하는 제1의 정보 취득 단계와, 상기 제1의 송신 정보가 취득된 후에, 제어 신호를 송신함으로써, 문의 개폐 구동 기기에 대하여 상기 문을 열게 하는 문 제어 단계를 포함한다.
이에 따라, 이미지 센서를 구비한 수신기를 문의 열쇠와 같이 이용할 수 있어, 특별한 전자 자물쇠를 불필요하게 할 수 있다. 그 결과, 연산력이 적은 바와 같은 기기를 포함하는 다양한 기기간에서 통신을 행할 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 상기 이미지 센서가, 휘도 변화하는 제2의 피사체를, 설정된 상기 제1의 노광 시간에 촬영함으로써, 복수의 휘선을 포함하는 화상인 제2의 휘선 화상을 취득하는 제2의 휘선 화상 취득 단계와, 취득된 상기 제2의 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 제2의 송신 정보를 취득하는 제2의 정보 취득 단계와, 취득된 상기 제1 및 제2의 송신 정보에 의거하여, 상기 이미지 센서를 구비한 수신 장치가 상기 문에 근접해 있는지 여부를 판정하는 접근 판정 단계를 포함하고, 상기 문 제어 단계에서는, 상기 수신 장치가 상기 문에 근접해 있다고 판정되었을 때에, 상기 제어 신호를 송신해도 된다.
이에 따라, 수신 장치(수신기)가 문에 근접해 있을 때만, 즉, 적절한 타이밍에만, 그 문을 열게 할 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 상기 제1의 노광 시간보다도 긴 제2의 노광 시간을 설정하는 제2의 노광 시간 설정 단계와, 상기 이미지 센서가, 제3의 피사체를, 설정된 상기 제2의 노광 시간에 촬영함으로써, 상기 제3의 피사체가 비추어진 통상 화상을 취득하는 통상 화상 취득 단계를 포함하고, 상기 통상 화상 취득 단계에서는, 상기 이미지 센서의 옵티컬 블랙을 포함하는 영역에 있는 복수의 노광 라인의 각각에 대하여, 당해 노광 라인에 인접하는 노광 라인에 대한 전하의 읽어냄이 행해진 시점으로부터 소정의 시간 경과후에, 전하의 읽어냄을 행하고, 상기 제1의 휘선 화상 취득 단계에서는, 상기 옵티컬 블랙을 전하의 읽어냄에 이용하는 일 없이, 상기 이미지 센서에 있어서의 상기 옵티컬 블랙 이외의 영역에 있는 복수의 노광 라인의 각각에 대하여, 당해 노광 라인에 인접하는 노광 라인에 대한 전하의 읽어냄이 행해진 시점부터, 상기 소정의 시간보다도 긴 시간 경과 후에, 전하의 읽어냄을 행해도 된다.
이에 따라, 제1의 휘선 화상이 취득될 때는, 옵티컬 블랙에 대한 전하의 읽어냄(노광)은 행해지지 않기 때문에, 이미지 센서에 있어서의 옵티컬 블랙 이외의 영역인 유효 화소 영역에 대한 전하의 읽어냄(노광)에 걸리는 시간을 길게 할 수 있다. 그 결과, 그 유효 화소 영역에 있어서 신호를 수신하는 시간을 길게 할 수 있어, 많은 신호를 취득할 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 상기 제1의 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 있어서의, 당해 복수의 휘선의 각각에 수직인 방향의 길이가, 미리 정해진 길이 미만인지 여부를 판정하는 길이 판정 단계와, 상기 패턴의 길이가 상기 미리 정해진 길이 미만이라고 판정된 경우에는, 상기 이미지 센서의 프레임 레이트를, 상기 제1의 휘선 화상을 취득했을 때의 제1의 프레임 레이트보다도 느린 제2의 프레임 레이트로 변경하는 프레임 레이트 변경 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 제1의 피사체를, 상기 제2의 프레임 레이트로, 또한, 설정된 상기 제1의 노광 시간에 촬영함으로써, 복수의 휘선을 포함하는 화상인 제3의 휘선 화상을 취득하는 제3의 휘선 화상 취득 단계와, 취득된 상기 제3의 휘선 화상에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 상기 제1의 송신 정보를 취득하는 제3의 정보 취득 단계를 포함해도 된다.
이에 따라, 제1의 휘선 화상에 포함되는 휘선의 패턴(휘선 영역)에 의해서 나타나는 신호 길이가, 송신된 신호의 예를 들면 1블록분을 충족시키지 않는 경우에는, 프레임 레이트가 떨어지고, 다시 휘선 화상이 제3의 휘선 화상으로서 취득된다. 그 결과, 제3의 휘선 화상에 포함되는 휘선의 패턴의 길이를 길게 할 수 있어, 송신된 신호를 1블록분 취득할 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 상기 이미지 센서에 의해서 얻어지는 화상의 세로폭과 가로폭의 비율을 설정하는 비율 설정 단계를 포함하고, 상기 제1의 휘선 화상 취득 단계는, 설정된 상기 비율에 의해서, 상기 화상에 있어서의 상기 각 노광 라인과 수직인 방향의 단이 클리핑되는지 여부를 판정하는 클리핑 판정 단계와, 상기 단이 클리핑된다고 판정되었을 때에는, 상기 비율 설정 단계에서 설정된 상기 비율을, 상기 단이 클리핑되지 않는 비율인 비(非)클리핑 비율로 변경하는 비율 변경 단계와, 상기 이미지 센서가, 휘도 변화하는 상기 제1의 피사체를 촬영함으로써, 상기 비클리핑 비율의 상기 제1의 휘선 화상을 취득하는 취득 단계를 포함해도 된다.
이에 따라, 예를 들면 이미지 센서의 유효 화소 영역의 가로폭과 세로폭의 비율이 4：3이고, 화상의 가로폭과 세로폭의 비율이 16：9로 설정되어, 수평 방향을 따르는 휘선이 나타나는 경우, 즉, 노광 라인이 수평 방향을 따라서 있는 경우에는, 상술의 화상의 상단 및 하단이 클리핑된다고 판정된다. 즉, 제1의 휘선 화상의 단이 결핍되어 버린다고 판정된다. 이 경우에는, 그 화상의 비율이, 클리핑되지 않는 비율인 예를 들면 4：3으로 변경된다. 그 결과, 제1의 휘선 화상의 단의 결락을 막을 수 있어, 제1의 휘선 화상으로부터 많은 정보를 취득할 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 상기 제1의 휘선 화상에 포함되는 상기 복수의 휘선의 각각에 평행한 방향으로, 상기 제1의 휘선 화상을 압축함으로써, 압축 화상을 생성하는 압축 단계와, 상기 압축 화상을 송신하는 압축 화상 송신 단계를 포함해도 된다.
이에 따라, 복수의 휘선에 의해서 나타나는 정보를 결락시키는 일 없이 적절히 제1의 휘선 화상을 압축할 수 있다.
또한, 상기 정보 통신 방법은, 추가로, 상기 이미지 센서를 구비하는 수신 장치가, 미리 정해진 양태로 움직였는지 여부를 판정하는 제스처 판정 단계와, 상기 미리 정해진 양태로 움직였다고 판정했을 때에는, 상기 이미지 센서를 기동하는 기동 단계를 포함해도 된다.
이에 따라, 필요한 때에만 이미지 센서를 간단히 기동시킬 수 있어, 소비 전력 효율의 향상을 도모할 수 있다.
(실시의 형태 6)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
도 42는, 실시의 형태 6에 있어서의 송신기와 수신기의 적용예를 나타내는 도면이다.
로봇(8970)은, 예를 들면 자주(自走)식의 청소기로서의 기능과, 상기 각 실시의 형태에 있어서의 수신기로서의 기능을 갖는다. 조명 기기(8971a, 8971b)는, 각각 상기 각 실시의 형태에 있어서의 송신기로서의 기능을 갖는다.
예를 들면, 로봇(8970)은, 실내를 이동하면서, 청소를 행함과 더불어, 그 실내를 비추는 조명 기기(8971a)를 촬영한다. 이 조명 기기(8971a)는, 휘도 변화함으로써 조명 기기(8971a)의 ID를 송신하고 있다. 그 결과, 로봇(8970)은, 상기 각 실시의 형태와 동일하게, 조명 기기(8971a)로부터 그 ID를 수신하고, 그 ID에 의거하여 스스로의 위치(자기 위치)를 추정한다. 즉, 로봇(8970)은, 9축 센서에 의한 검출 결과와, 촬영에 의해서 얻어지는 화상에 비치는 조명 기기(8971a)의 상대 위치와, ID에 의해서 특정되는 조명 기기(8971a)의 절대 위치에 의거하여, 이동하면서 자기 위치를 추정하고 있다.
또한, 로봇(8970)은, 이동함으로써 조명 기기(8971a)로부터 떨어지면, 조명 기기(8971a)에 대하여 소등을 명령하는 신호(소등 명령)를 송신한다. 예를 들면, 로봇(8970)은, 미리 정해진 거리만큼 조명 기기(8971a)부터 떨어지면, 소등 명령을 송신한다. 또는, 로봇(8970)은, 촬영에 의해서 얻어지는 화상에 그 조명 기기(8971a)가 비치지 않게 되었을 때에, 혹은, 그 화상에 다른 조명 기기가 비치면, 소등 명령을 조명 기기(8971a)에 송신한다. 조명 기기(8971a)는, 소등 명령을 로봇(8970)으로부터 수신하면, 그 소등 명령에 따라 소등한다.
다음으로, 로봇(8970)은, 이동하여 청소를 행하고 있는 도중에, 추정된 자기 위치에 의거하여, 조명 기기(8971b)에 근접한 것을 검지한다. 즉, 로봇(8970)은, 조명 기기(8971b)의 위치를 나타내는 정보를 보존하고 있어, 자기 위치와 그 조명 기기(8971b)의 위치의 사이의 거리가 미리 정해진 거리 이하로 되었을 때에, 조명 기기(8971b)에 근접한 것을 검지한다. 그리고, 로봇(8970)은, 그 조명 기기(8971b)에 대하여 점등을 명령하는 신호(점등 명령)를 송신한다. 조명 기기(8971b)는, 점등 명령을 받으면, 그 점등 명령에 따라 점등한다.
이에 따라, 로봇(8970)은, 이동하면서 자신의 주위만을 밝게 하여, 청소를 용이하게 행할 수 있다.
도 43은, 실시의 형태 6에 있어서의 송신기 및 수신기의 적용예를 나타내는 도면이다.
조명 기기(8974)는, 상기 각 실시의 형태에 있어서의 송신기로서의 기능을 갖는다. 이 조명 기기(8974)는, 휘도 변화하면서 예를 들면 철도의 역에 있는 노선 게시판(8975)을 비춘다. 유저에 의해서 그 노선 게시판(8975)을 향해진 수신기(8973)는, 그 노선 게시판(8975)을 촬영한다. 이에 따라, 수신기(8973)는, 그 노선 게시판(8975)의 ID를 취득하고, 그 ID에 관련지어져 있는 정보로서, 그 노선 게시판(8975)에 기재되어 있는 각 노선에 대한 상세한 정보를 취득한다. 그리고, 수신기(8973)는, 그 상세한 정보를 나타내는 안내 화상(8973a)을 표시한다. 예를 들면, 안내 화상(8973a)은, 노선 게시판(8975)에 기재되어 있는 노선까지의 거리와, 그 노선을 향하는 방향과, 그 노선에 있어서 다음에 전철이 도착하는 시각을 나타낸다.
여기서, 수신기(8973)는, 그 안내 화상(8973a)이 유저에 의해서 터치되면, 보충 안내 화상(8973b)을 표시한다. 이 보충 안내 화상(8973b)은, 예를 들면, 철도의 시각표, 안내 화상(8973a)에 의해서 나타나는 노선과는 상이한 다른 노선에 관한 정보, 및, 그 역에 관한 상세한 정보 중 어느 것을 유저에 의한 선택 조작에 따라서 표시하기 위한 화상이다.
(실시의 형태 7)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
(복수의 수광부에 의한 복수의 방향으로부터의 신호의 수신)
도 44는, 실시의 형태 7에 있어서의 수신기의 일 예를 나타내는 도면이다.
예를 들면 손목시계로서 구성되는 수신기(9020a)는, 복수의 수광부를 구비한다. 예를 들면, 수신기(9020a)는, 도 44에 나타내는 바와 같이, 손목시계의 장침 및 단침을 지지하는 회전축의 상단부에 배치된 수광부(9020b)와, 손목시계의 주연부에 있어서의, 12시를 나타내는 문자 부근에 배치된 수광부(9020c)를 구비한다. 수광부(9020b)는, 상술의 회전축의 방향을 따라서 수광부(9020b)로 향하는 광을 받고, 수광부(9020c)는, 그 회전축과 12시를 나타내는 문자를 연결하는 방향을 따라서 수광부(9020c)를 향하는 광을 받는다. 이에 따라, 유저가 시각을 확인할 때와 같이 가슴 앞에 수신기(9020a)를 달았을 때에, 수광부(9020b)는, 상방향으로부터의 광을 수광할 수 있다. 그 결과, 수신기(9020a)는 천정 조명으로부터의 신호를 수신할 수 있다. 또한, 유저가 시각을 확인할 때와 같이 가슴의 앞에 수신기(9020a)를 달았을 때에, 수광부(9020c)는, 정면 방향으로부터의 광을 수광할 수 있다. 그 결과, 수신기(9020a)는, 정면에 있는 사이네이지 등으로부터의 신호를 수신할 수 있다.
이들 수광부(9020b 및 9020c)는 지향성을 갖게 함으로써, 가까운 위치에 복수의 송신기가 있는 경우에도 혼신하는 일 없이 신호를 수신할 수 있다.
(손목시계형 디스플레이에 의한 길안내)
도 45는, 실시의 형태 7에 있어서의 수신 시스템의 일 예를 나타내는 도면이다.
예를 들면 손목시계로서 구성되는 수신기(9023b)는, Bluetooth(등록상표) 등의 무선 통신을 통하여 스마트 폰(9022a)과 접속된다. 수신기(9023b)는, 문자판이 액정 등의 디스플레이로 구성되어 있어, 시각 이외의 정보를 표시할 수 있다. 수신기(9023b)가 수신한 신호로부터 스마트 폰(9022a)은 현재지를 인식하고, 목적지까지의 경로나 거리를 수신기(9023b)의 표시면에 표시한다.
도 46은, 실시의 형태 7에 있어서의 신호 송수신 시스템의 일 예를 나타내는 도면이다.
신호 송수신 시스템은, 다기능 휴대 전화인 스마트 폰과, 조명 기기인 LED 발광기와, 냉장고 등의 가전 기기와, 서버를 구비하고 있다. LED 발광기는, BTLE(Bluetooth(등록상표)　Low　Energy)를 이용한 통신을 행함과 더불어, LED(Light Emitting Diode)를 이용한 가시광 통신을 행한다. 예를 들면, LED 발광기는, BTLE에 의해서, 냉장고를 제어하거나 에어콘과 통신한다. 또한, LED 발광기는, 가시광 통신에 의해서, 전자 렌지, 공기 청정기 또는 텔레비전(TV) 등의 전원을 제어한다.
텔레비전은, 예를 들면 태양광 발전 소자를 구비하고, 이 태양광 발전 소자를 광 센서로서 이용한다. 즉, LED 발광기가 휘도 변화함으로써 신호를 송신하면, 텔레비전은, 태양광 발전 소자에 의해서 발전되는 전력의 변화에 의해서, 그 LED 발광기의 휘도 변화를 검출한다. 그리고, 텔레비전은, 그 검출된 휘도 변화에 의해서 나타나는 신호를 복조함으로써, LED 발광기로부터 송신된 신호를 취득한다. 텔레비전은, 그 신호가 전원 ON을 나타내는 명령인 경우에는, 스스로 주전원을 ON으로 전환하고, 그 신호가 전원 OFF를 나타내는 명령인 경우에는, 스스로 주전원을 OFF로 전환한다.
또한, 서버는, 라우터 및 특정 소전력 무선국(특소)을 통하여 에어콘과 통신할 수 있다. 또한, 에어콘은 BTLE를 통하여 LED 발광기와 통신할 수 있기 때문에, 서버는 LED 발광기와 통신할 수 있다. 따라서, 서버는, LED 발광기를 통하여 TV의 전원을 ON과 OFF로 전환할 수 있다. 또한, 스마트 폰은, 서버와 예를 들면 Wi－Fi(Wireless Fidelity) 등을 통하여 통신함으로써, 서버를 통하여 TV의 전원을 제어할 수 있다.
도 46에 나타내는 바와 같이, 본 실시의 형태에 있어서의 정보 통신 방법은, 휴대 단말(스마트 폰)이, 가시광 통신과 상이한 무선 통신(BTLE 또는 Wi－Fi 등)에 의해서, 제어 신호(송신 데이터열 또는 유저 코멘드)를 조명 기기(발광기)에 송신하는 무선 통신 단계와, 조명 기기가, 그 제어 신호에 따라 휘도 변화함으로써 가시광 통신을 행하는 가시광 통신 단계와, 제어 대상 기기(전자 렌지 등)가, 그 조명 기기의 휘도 변화를 검출하고, 검출된 휘도 변화에 의해서 특정되는 신호를 복조함으로써 제어 신호를 취득하고, 그 제어 신호에 따른 처리를 실행하는 실행 단계를 포함한다. 이에 따라, 휴대 단말은, 가시광 통신을 위한 휘도 변화를 행할 수 없어도, 무선 통신에 의해서, 조명 기기를 휴대 단말 대신에 휘도 변화시킬 수 있어, 제어 대상 기기를 적절히 제어할 수 있다. 또한, 휴대 단말은 스마트 폰이 아니고 손목시계여도 된다.
(간섭을 배제한 수신)
도 47은, 실시의 형태 7에 있어서의 간섭을 배제한 수신 방법을 나타내는 플로우차트이다.
우선, 단계 9001a에서 start하고, 단계 9001b에서 수광한 광의 강도에 주기적인 변화가 있는지 여부를 확인하고, YES인 경우는 단계 9001c로 진행한다. NO인 경우는 단계 9001d로 진행하고, 수광부의 렌즈를 광각으로 하여 광범위의 광을 수광하고, 단계 9001b로 되돌아간다. 단계 9001c에서 신호를 수신할 수 있는지 여부를 확인하고, YES인 경우는 단계 9001e로 진행하여, 신호를 수신하고, 단계 9001g에서 종료한다. NO인 경우는 단계 9001f로 진행하여, 수광부의 렌즈를 망원으로 하여 좁은 범위의 광을 수광하고, 단계 9001c로 되돌아간다.
이 방법에 의해, 복수의 송신기로부터의 신호의 간섭을 배제하면서, 넓을 방향에 있는 송신기로부터의 신호를 수신할 수 있다.
(송신기의 방위의 추정)
도 48은, 실시의 형태 7에 있어서의 송신기의 방위의 추정 방법을 나타내는 플로우차트이다.
우선, 단계 9002a에서 start하고, 단계 9002b에서 수광부의 렌즈를 최대 망원으로 하고, 단계 9002c에서 수광한 광의 강도에 주기적인 변화가 있는지 여부를 확인하고, YES인 경우는 단계 9002d로 진행한다. NO인 경우는 단계 9002e로 진행하고, 수광부의 렌즈를 광각으로 하여 광범위한 광을 수광하고, 단계 9002c로 되돌아간다. 단계 9002d에서 신호를 수신하고, 단계 9002f에서 수광부의 렌즈를 최대 망원으로 하여, 수광 범위의 경계를 따르도록 수광 방향을 변화시켜, 수광 강도가 최대가 되는 방향을 검출하고, 송신기가 그 방향에 있다고 추정하여, 단계 9002d에서 종료한다.
이 방법에 의해, 송신기가 존재하는 방향을 추정할 수 있다. 또한, 최초에 최대 광각으로 하고, 점차 망원으로 해도 된다.
(수신의 개시)
도 49는, 실시의 형태 7에 있어서의 수신의 개시 방법을 나타내는 플로우차트이다.
우선, 단계 9003a에서 start 하고, 단계 9003b에서 Wi－Fi나 Bluetooth(등록상표)나 IMES 등의 기지국으로부터의 신호를 수신했는지 여부를 확인하고, YES인 경우는, 단계 9003c로 진행한다. NO인 경우는 단계 9003b로 되돌아간다. 단계 9003c에서 상기 기지국이, 수신 개시의 트리거로서 수신기나 서버에 등록되어 있는지 여부를 확인하고, YES인 경우는 단계 9003d로 진행하여, 신호의 수신을 개시하고, 단계 9003e에서 종료한다. NO인 경우는 단계 9003b로 되돌아간다.
이 방법에 의해, 유저가 수신 개시의 조작을 하지 않아도 수신을 개시할 수 있다. 또한, 항상 수신을 행하는 것보다도 소비 전력을 억제할 수 있다.
(타매체의 정보를 병용한 ID의 생성)
도 50은, 실시의 형태 7에 있어서의 타매체의 정보를 병용한 ID의 생성 방법을 나타내는 플로우차트이다.
우선, 단계 9004a에서 start하고, 단계 9004b에서 접속되어 있는 캐리어 통신망이나 Wi－Fi나 Bluetooth(등록상표) 등의 ID, 또는, 상기 ID로부터 얻은 위치 정보나 GPS 등으로부터 얻은 위치 정보를 상위 비트 ID 색인 서버에 송신한다. 단계 9004c에서 상위 비트 ID 색인 서버로부터 가시광 ID의 상위 비트를 수신하고, 단계 9004d에서 송신기로부터의 신호를 가시광 ID의 하위 비트로서 수신한다. 단계 9004e에서 가시광 ID의 상위 비트와 하위 비트를 맞추어 ID 해결 서버로 송신하여, 단계 9004f에서 종료한다.
이 방법에 의해, 수신기의 부근의 장소에서 공통적으로 이용되는 상위 비트를 얻을 수 있어, 송신기가 송신하는 데이터량을 적게할 수 있다. 또한, 수신기가 수신하는 속도를 올릴 수 있다.
또한, 송신기는 상위 비트와 하위 비트의 양쪽을 송신하고 있다고 해도 된다. 이 경우는, 이 방법을 이용하고 있는 수신기는 하위 비트를 수신한 시점에서 ID를 합성할 수 있고, 이 방법을 이용하지 않는 수신기는 송신기로부터 ID 전체를 수신함으로써 ID를 얻는다.
(주파수 분리에 의한 수신 방식의 선택)
도 51은, 실시의 형태 7에 있어서의 주파수 분리에 의한 수신 방식의 선택 방법을 나타내는 플로우차트이다.
우선, 단계 9005a에서 start하고, 단계 9005b에서 수광한 광 신호를 주파수 필터 회로에 주거나, 또는, 이산 푸리에 급수 전개를 행하여 주파수 분해를 행한다. 단계 9005c에서 저주파수 성분이 존재하는지 여부를 확인하고, YES인 경우는 단계 9005d로 진행하고, 주파수 변조 등의 저주파수 영역에서 표현된 신호를 디코딩하여, 단계 9005e로 진행한다. NO인 경우는 단계 9005e로 진행한다. 단계 9005e에서 상기 기지국이, 수신 개시의 트리거로서 수신기나 서버에 등록되어 있는지 여부를 확인하고, YES인 경우는 단계 9005f로 진행하고, 펄스 위치 변조 등의 고주파수 영역에서 표현된 신호를 디코딩하여, 단계 9005g로 진행한다. NO인 경우는 단계 9005g로 진행한다. 단계 9005g에서 신호의 수신을 개시하고, 단계 9005h에서 종료한다.
이 방법에 의해, 복수의 변조 방식으로 변조된 신호를 수신할 수 있다.
(노광 시간이 긴 경우의 신호 수신)
52는, 실시의 형태 7에 있어서의 노광 시간이 긴 경우의 신호 수신 방법을 나타내는 플로우차트이다.
우선, 단계 9030a에서 start하고, 단계 9030b에서 감도를 설정할 수 있는 경우는 감도를 최고로 설정한다. 단계 9030c에서 노광 시간을 설정할 수 있는 경우는 통상 촬영 모드보다도 짧은 시간으로 설정한다. 단계 9030d에서 2매의 화상을 촬상하여 휘도의 차분을 구한다. 2매의 화상을 촬상하는 동안에 촬상부의 위치나 방향이 변화한 경우는 그 변화를 캔슬하여 동일한 위치·방향으로부터 촬상한 것 같은 화상을 생성하여 차분을 구한다. 단계 9030e에서 차분 화상, 또는, 촬상 화상의 노광 라인에 평행한 방향의 휘도치를 평균한 값을 구한다. 단계 9030f에서 상기 평균한 값을, 노광 라인에 수직인 방향으로 나열하여 이산 푸리에 변환을 행하여, 단계 9030g에서 소정의 주파수의 부근에 피크가 있는지 여부를 인식하고, 단계 9030h에서 종료한다.
이 방법에 의해, 노광 시간을 설정할 수 없는 경우나 통상 화상을 동시에 촬상하는 경우 등, 노광 시간이 긴 경우에 있어서도 신호를 수신할 수 있다.
노광 시간을 자동 설정으로 하고 있는 경우, 카메라가 조명으로서 구성되는 송신기로 향하면, 자동 노출 보정 기능에 의해서 노광 시간은 60분의 1초 내지 480분의 1초 정도로 설정된다. 노광 시간의 설정을 할 수 없는 경우에는, 이 조건으로 신호를 수신한다. 실험에서는, 조명을 주기적으로 점멸시킨 경우, 1주기의 시간이 노광 시간의 약 16분의 1 이상이면, 노광 라인에 수직인 방향으로 줄무늬를 시인할 수 있어, 화상 처리에 의해서 점멸의 주기를 인식할 수 있었다. 이 때, 조명이 비치고 있는 부분은 휘도가 지나치게 높아서 줄무늬를 확인하기 어렵기 때문에, 조명광이 반사하고 있는 부분으로부터 신호의 주기를 구하는 것이 좋다.
주파수 전이 변조 방식이나 주파수 다중 변조 방식과 같이, 발광부를 주기적으로 점등·소등시키는 방식을 이용한 경우는, 펄스 위치 변조 방식을 이용한 경우보다도, 동일한 변조 주파수라도 인간에게 있어서 깜박거림을 시인하기 어렵고, 또한, 비디오 카메라로 촬영한 동화상에도 깜박거림이 나타나기 어렵다. 그 때문에, 낮은 주파수를 변조 주파수로서 이용할 수 있다. 인간의 시각의 시간 분해능은 60Hz 정도이기 때문에, 이 주파수 이상의 주파수를 변조 주파수로서 이용할 수 있다.
또한, 변조 주파수가 수신기의 촬상 프레임 레이트의 정수배일 때는, 2매의 화상의 동일한 위치의 화소는 송신기의 광 패턴이 동일한 위상의 시점에서 촬상을 행하기 때문에, 차분 화상에 휘선이 나타나지 않아, 수신을 행하기 어렵다. 수신기의 촬상 프레임 레이트는 통상 30fps이기 때문에, 변조 주파수는 30Hz의 정수배 이외로 설정하면 수신을 행하기 쉽다. 또한, 수신기의 촬상 프레임 레이트는 여러가지 것이 존재하기 때문에, 서로 순수한 2개의 변조 주파수를 동일한 신호에 할당하고, 송신기는, 그 2개의 변조 주파수를 교호로 이용해 송신함으로써, 수신기는, 적어도 1개의 신호를 수신함으로써, 용이하게 신호를 복원할 수 있다.
도 53은, 송신기의 조광(밝기를 조정하는 것) 방법의 일 예를 나타내는 도면이다.
휘도가 높은 구간과 휘도가 낮은 구간의 비율을 조정함으로써, 평균 휘도가 변화하여, 밝기를 조정할 수 있다. 이 때, 휘도의 높낮이를 반복하는 주기 T1을 일정하게 유지함으로써, 주파수 피크를 일정하게 유지할 수 있다. 예를 들면, 도 53의 (a), (b), (c) 모두, 평균 휘도보다도 밝아지는 제1의 휘도 변화와, 제2의 휘도 변화 동안의 시간 T1은 일정하게 유지하면서, 송신기를 어둡게 조광할 때는, 평균 휘도보다도 밝고 조명할 시간을 짧게 한다. 한편, 송신기를 밝게 조광할 때는, 평균 휘도보다도 밝고 조명할 시간을 길게 한다. 도 53의 (b), (c)는, (a)보다도 어둡게 조광되어 있고, 도 53의 (c)는, 가장 어둡게 조광되어 있다. 이에 따라, 동일한 의미를 가진 신호를 송신하면서 조광을 행할 수 있다.
휘도가 높은 구간의 휘도, 또는, 휘도가 낮은 구간의 휘도, 또는, 그 양쪽의 휘도의 값을 변화시킴으로써, 평균 휘도를 변화시킨다고 해도 된다.
도 54는, 송신기의 조광 기능을 구성하는 방법의 일 예를 나타내는 도면이다.
구성 부품의 정밀도에는 한계가 있기 때문에, 동일한 조광 설정을 행했다고 해도, 다른 송신기와는 밝기가 미묘하게 상이하다. 그러나, 송신기를 나열하여 배치하는 경우에는, 인접하는 송신기의 밝기가 상이하면, 부자연스러움이 느껴진다. 그래서, 유저는, 조광 보정 조작부를 조작함으로써, 송신기의 밝기를 조정한다. 조광 보정부는, 보정치를 보존하고, 조광 제어부는, 보정치에 따라서 발광부의 밝기를 제어한다. 유저가 조광 조작부를 조작함으로써 조광의 정도가 변화된 경우에는, 조광 제어부는, 변화된 조광 설정치와 조광 보정부에 보존된 보정치를 기초로, 발광부의 밝기를 제어한다. 또한, 조광 제어부는, 연동 조광부를 통하여, 다른 송신기에 조광 설정치를 전달한다. 다른 기기로부터 연동 조광부를 통해 조광 설정치가 전달된 경우에는, 조광 제어부는, 그 조광 설정치와 조광 보정부에 보존된 보정치를 기초로, 발광부의 밝기를 제어한다.
본 개시된 하나의 실시 형태에 의하면, 발광체를 휘도 변화시킴으로써 신호를 송신하는 정보 통신 장치를 제어하는 제어 방법으로서, 정보 통신 장치의 컴퓨터에 대하여, 복수의 상이한 신호를 포함하는, 송신 대상의 신호를 변조시킴으로써, 상이한 신호마다, 상이한 주파수의 휘도 변화의 패턴을 결정시키는 결정 단계와, 단일 주파수에 해당하는 시간에, 단일 신호를 변조한 휘도 변화의 패턴만을 포함하도록, 발광체를 휘도 변화시킴으로써 송신 대상의 신호를 송신시키는 송신 단계를 갖는, 제어 방법이어도 된다.
예를 들면, 단일 주파수에 해당하는 시간에, 복수의 신호를 변조한 휘도 변화의 패턴을 포함하는 경우, 시간 경과에 의한 휘도 변화의 파형이 복잡하게 되어, 적절히 수신하는 것이 곤란해진다. 그러나, 단일 주파수에 해당하는 시간에, 단일 신호를 변조한 휘도 변화의 패턴만을 포함하도록 제어함으로써, 수신할 때에 보다 적절히 수신을 행하는 것이 가능해진다.
본 개시된 하나의 실시의 형태에 의하면, 결정 단계는, 소정의 시간 내에 있고, 복수의 상이한 신호 중 1개의 신호를 송신시키는 송신 회수가, 다른 신호를 송신시키는 송신 회수와 상이하도록, 송신 회수를 결정시켜도 된다.
1개의 신호를 송신시키는 송신 회수가, 다른 신호를 송신시키는 송신 회수와 상이함으로써, 송신할 때 깜박거림을 막는 것이 가능해진다.
본 개시된 하나의 실시의 형태에 의하면, 결정 단계는, 소정의 시간 내에 있어서, 높은 주파수에 해당하는 신호의 송신 회수를, 다른 신호의 송신 회수보다도 많게 해도 된다.
수신측에 있어서 주파수 변환을 행할 때에, 높은 주파수에 해당하는 신호는, 휘도가 작아지지만, 송신 회수를 많게 함으로써, 주파수 변환을 행할 때의 휘도치를 크게 하는 것이 가능해진다.
본 개시된 하나의 실시의 형태에 의하면, 휘도 변화의 패턴은, 시간 경과에 의한 휘도 변화의 파형이, 구형파, 삼각파, 톱니파 중 어느 것이 되는 패턴이어도 된다.
구형파 등으로 함으로써, 보다 적절히 수신을 행하는 것이 가능해진다.
본 개시된 하나의 실시의 형태에 의하면, 발광체의 평균 휘도의 값을 크게 하는 경우에, 단일 주파수에 해당하는 시간에 있어서, 발광체의 휘도가 소정의 값보다도 커지는 시간을, 상기 발광체의 평균 휘도의 값을 작게 하는 경우에 대하여, 길게 해도 된다.
단일 주파수에 해당하는 시간에 있어서, 발광체의 휘도가 소정의 값보다도 커지는 시간을 조정함으로써, 신호를 송신하고, 또한, 발광체의 평균 휘도를 조정하는 것이 가능해진다. 예를 들면, 발광체를 조명으로서 사용하는 경우에는, 전체의 밝기를 어둡게 하거나 밝게 하거나 하면서, 신호를 송신하는 것이 가능해진다.
수신기는, 노광 시간을 설정하는 API(어플리케이션케이션·프로그래밍·인터페이스의 약어로, OS의 기능을 이용하기 위한 수단을 가리킨다)를 이용함으로써, 노광 시간을 소정의 값으로 설정할 수 있어, 가시광 신호를 안정되게 수신할 수 있다. 또한, 수신기는, 감도를 설정하는 API를 이용함으로써, 감도를 소정의 값으로 설정할 수 있어, 송신 신호의 밝기가 어두운 경우나 밝은 경우에도 가시광 신호를 안정되게 수신할 수 있다.
(실시의 형태 8)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와 LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
여기서, EX 줌에 대해서 설명한다.
도 55는, EX 줌을 설명하기 위한 도면이다.
줌, 즉, 큰 상을 얻는 방법에는, 렌즈의 초점 거리를 조정하여 촬상 소자에 비치는 상의 크기를 변화시키는 광학 줌과, 촬상 소자에 비친 상을 디지털 처리로 보간하여 큰 상을 얻는 디지털 줌과, 촬상에 이용되는 복수의 촬상 소자를 변경함으로써 큰 상을 얻는 EX 줌이 있다. EX 줌은, 촬상 화상의 해상도에 비해 이미지 센서에 포함되는 촬상 소자의 수가 많은 경우에 이용할 수 있다.
예를 들면, 도 55에 나타내는 이미지 센서(10080a)에서는, 32×24개의 촬상 소자가 매트릭스상으로 배열되어 있다. 즉, 촬상 소자가 가로로 32개, 세로로 24개 배치되어 있다. 이 이미지 센서(10080a)에 의한 촬상에 의해서, 가로 16×세로 12의 해상도의 화상을 얻는 경우, 도 55의 (a)에 나타내는 바와 같이, 이미지 센서(10080a)에 포함되는 32×24개의 촬상 소자 중, 이미지 센서(10080a)에 있어서 전체적으로 균등하게 분산하여 배치된 16×12개의 촬상 소자(예를 들면, 도 55의 (a)에 있어서의 이미지 센서(1080a) 중의 검은 사각에 의해서 나타나는 촬상 소자)만이 촬상에 이용된다. 즉, 세로 방향 및 가로 방향의 각각에 배열되는 복수의 촬상 소자 중, 홀수번째 또는 짝수번째의 촬상 소자만이 촬상에 이용된다. 이에 따라, 소망의 해상도의 화상(10080b)이 얻어진다. 또한, 도 55에 있어서, 이미지 센서(1008a)에 피사체가 나타나 있지만, 이는, 각 촬상 소자와, 촬상에 의해서 얻어지는 화상의 대응 관계를 알기 쉽게 하기 위함이다.
이 이미지 센서(10080a)를 구비한 수신기는, 넓은 범위를 촬상함으로써, 송신기를 탐색하거나, 많은 송신기로부터의 정보를 수신하거나 하는 경우는, 이미지 센서(10080a)에 있어서 전체적으로 균등하게 분산하여 배치된 일부 촬상 소자만을 이용해 촬상한다.
또한, 수신기는, EX 줌을 행할 때는, 도 55의 (b)에 나타내는 바와 같이, 이미지 센서(10080a)에 있어서, 국소적으로 조밀하게 배치된 일부 촬상 소자(예를 들면, 도 55의 (b)에 있어서의 이미지 센서(1080a) 중의 검은 사각에 의해서 나타나는 16×12개의 촬상 소자)만을 촬상에 이용한다. 이에 따라, 화상(10080b) 중, 그 일부의 촬상 소자에 대응하는 부분이 줌되게 되어, 화상(10080d)이 얻어진다. 이러한 EX 줌에 의해서, 송신기를 크게 촬상함으로써, 가시광 신호를 장시간 수신할 수 있게 되어, 수신 속도가 향상하고, 또한, 멀리서 가시광 신호를 수신할 수 있다.
디지털 줌에서는, 가시광 신호를 받는 노광 라인의 수를 늘릴 수 없고, 가시광 신호의 수신 시간도 증가하지 않기 때문에, 가능한 한 다른 줌을 이용하는 편이 좋다. 광학 줌은, 렌즈나 이미지 센서의 물리적인 이동 시간이 필요하지만, EX 줌은 전자적인 설정 변경만으로 행해지기 때문에, 줌에 걸리는 시간이 짧다는 이점이 있다. 이 관점에서, 각 줌의 우선 순위는, (1) EX 줌, (2) 광학 줌, (3) 디지털 줌이다. 수신기는, 이 우선 순위와, 줌 배율의 필요성에 따라서, 어느 하나 또는 복수의 줌을 선택하여 이용해도 된다. 또한, 도 55의 (a) 및 (b)에 나타내는 촬상 방법에서는, 사용하고 있지 않은 촬상 소자를 이용함으로써, 화상 노이즈를 억제하는 것이 가능하다.
(실시의 형태 9)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와 LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
본 실시의 형태에서는, 노광 라인마다 또는 촬상 소자마다 노광 시간을 설정한다.
도 56, 도 57, 도 58은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도면이다.
도 56에 나타내는 바와 같이, 수신기에 구비되어 있는 촬상부인 이미지 센서(10010a)에서는, 노광 라인마다 노광 시간이 설정된다. 즉, 소정의 노광 라인(도 56 중에 있어서의 백색 노광 라인)에는, 통상 촬상용의 긴 노광 시간이 설정되고, 다른 노광 라인(도 56 중에 있어서의 검은 노광 라인)에는, 가시광 촬상용의 짧은 노광 시간이 설정되어 있다. 예를 들면, 수직 방향으로 배열되어 있는 각 노광 라인에 대하여, 긴 노광 시간과 짧은 노광 시간이 교호로 설정되어 있다. 이에 따라, 휘도 변화에 의해서 가시광 신호를 송신하는 송신기를 촬상할 때에, 통상 촬상과 가시광 촬상(가시광 통신)을 거의 동시에 행할 수 있다. 또한, 2개의 노광 시간은 1라인마다 교호로 설정되어도 되고, 수 라인마다 설정되어도 되고, 이미지 센서(10010a)의 상부와 하부에서 다른 노광 시간이 설정되어도 된다. 이와 같이 2개의 노광 시간을 이용함으로써, 동일한 노광 시간으로 설정된 복수의 노광 라인의 촬상에 의해서 얻어진 데이터를 각각 모으면, 통상 촬상 화상(10010b)과, 복수의 휘선의 패턴을 나타내는 휘선 화상인 가시광 촬상 화상(10010c)이 얻어진다. 통상 촬상 화상(10010b)에서는, 긴 노광 시간에 촬상하고 있지 않는 부분(즉, 짧은 노광 시간으로 설정된 복수의 노광 라인에 대응하는 화상)이 누락되어 있기 때문에, 그 부분을 보간함으로써, 프리뷰 화상(10010d)을 표시할 수 있다. 여기서, 프리뷰 화상(10010d)에는, 가시광 통신에 의해서 얻어진 정보를 중첩할 수 있다. 이 정보는, 가시광 촬상 화상(10010c)에 포함되는 복수의 휘선의 패턴을 복호함으로써 얻어진 가시광 신호에 관련지어진 정보이다. 또한, 수신기는, 통상 촬상 화상(10010b), 또는 그 통상 촬상 화상(10010b)에 대하여 보간이 행해진 화상을 촬상 화상으로서 보존하고, 수신한 가시광 신호, 또는 그 가시광 신호에 관련지어진 정보를 부가 정보로 하여, 보존되는 촬상 화상에 부가할 수도 있다.
도 57에 나타내는 바와 같이, 이미지 센서(10010a) 대신에 이미지 센서(10011a)를 이용해도 된다. 이미지 센서(1011a)에서는, 노광 라인마다가 아니라, 노광 라인과 수직인 방향을 따라서 배열된 복수의 촬상 소자로 이루어지는 열(이하, 수직 라인이라고 한다)마다, 노광 시간이 설정된다. 즉, 소정의 수직 라인(도 57 중에 있어서의 흰 수직 라인)에는, 통상 촬상용의 긴 노광 시간이 설정되고, 다른 수직 라인(도 57 중에 있어서의 검은 수직 라인)에는, 가시광 촬상용의 짧은 노광 시간이 설정되어 있다. 이 경우, 이미지 센서(10011a)에서는, 이미지 센서(10010a)와 동일하게, 노광 라인마다 서로 상이한 타이밍에 노광이 개시되지만, 노광 라인의 각각에서, 그 노광 라인에 포함되는 각 촬상 소자의 노광 시간이 상이하다. 수신기는, 이 이미지 센서(10011a)에 의한 촬상에 의해서, 통상 촬상 화상(10011b)과, 가시광 촬상 화상(10011c)을 얻는다. 추가로, 수신기는, 이 통상 촬상 화상(10011b)과, 가시광 촬상 화상(10011c)으로부터 얻어진 가시광 신호에 관련지어진 정보에 의거하여, 프리뷰 화상(10011d)을 생성하여 표시한다.
이 이미지 센서(10011a)에서는, 이미지 센서(10010a)와는 달리, 가시광 촬상에 모든 노광 라인을 이용할 수 있다. 그 결과, 이미지 센서(10011a)에 의해서 얻어지는 가시광 촬상 화상(10011c)에는, 가시광 촬상 화상(10010c)과 비교해 휘선이 많이 포함되어 있기 때문에, 가시광 신호의 수신 정밀도를 높게 할 수 있다.
또한, 도 58에 나타내는 바와 같이, 이미지 센서(10010a) 대신에 이미지 센서(10012a)를 이용해도 된다. 이미지 센서(10012a)에서는, 수평 방향 및 수직 방향을 따라서 각 촬상 소자에 대하여 연속해 동일한 노광 시간이 설정되지 않도록, 촬상 소자마다 노광 시간이 설정된다. 즉, 긴 노광 시간이 설정되는 복수의 촬상 소자와, 짧은 노광 시간이 설정되는 복수의 촬상 소자가, 격자 형상 또는 체크무늬와 같이 분포하도록, 각 촬상 소자에 대하여 노광 시간이 설정된다. 이 경우도, 이미지 센서(10010a)와 동일하게, 노광 라인마다 서로 상이한 타이밍에 노광이 개시되지만, 노광 라인의 각각에서, 그 노광 라인에 포함되는 각 촬상 소자의 노광 시간이 상이하다. 수신기는, 이 이미지 센서(10012a)에 의한 촬상에 의해서, 통상 촬상 화상(10012b)과, 가시광 촬상 화상(10012c)을 얻는다. 또한, 수신기는, 이 통상 촬상 화상(10012b)과, 가시광 촬상 화상(10012c)으로부터 얻어진 가시광 신호에 관련지어진 정보에 의거하여, 프리뷰 화상(10012d)을 생성하여 표시한다.
이미지 센서(10012a)에 의해서 얻어지는 통상 촬상 화상(10012b)은, 격자 형상으로 배치된, 또는 균일하게 배치된 복수의 촬상 소자의 데이터를 갖기 때문에, 통상 촬상 화상(10010b)과 통상 촬상 화상(10011b)보다도 정확하게 보간이나 리사이즈를 할 수 있다. 또한, 가시광 촬상 화상(10012c)은, 이미지 센서(10012a)의 모든 노광 라인을 이용한 촬상에 의해서 생성되고 있다. 즉, 이 이미지 센서(10012a)에서는, 이미지 센서(10010a)와는 달리, 가시광 촬상에 모든 노광 라인을 이용할 수 있다. 그 결과, 이미지 센서(10012a)에 의해서 얻어지는 가시광 촬상 화상(10012c)에는, 가시광 촬상 화상(10011c)과 동일하게, 가시광 촬상 화상(10010c)과 비교해 휘선이 많이 포함되어 있기 때문에, 가시광 신호의 수신을 고정밀도로 행할 수 있다.
여기서, 프리뷰 화상의 인터레이스 표시에 대해서 설명한다.
도 59는, 실시의 형태 9에 있어서의 수신기의 화면 표시 방법의 일 예를 나타내는 도면이다.
상술의 도 56에 나타내는 이미지 센서(10010a)를 구비하는 수신기는, 홀수번째의 노광 라인(이하, 홀수 라인이라고 한다)에 설정되는 노광 시간과, 짝수번째의 노광 라인(이하, 짝수 라인이라고 한다)에 설정되는 노광 시간을 소정의 시간마다 바꾸어 넣는다. 예를 들면, 도 59에 나타내는 바와 같이, 수신기는, 시각 t1에서, 홀수 라인의 각 촬상 소자에 대하여 긴 노광 시간을 설정하고, 짝수 라인의 각 촬상 소자에 대하여 짧은 노광 시간을 설정하고, 그들 설정된 노광 시간을 이용한 촬상을 행한다. 추가로, 수신기는, 시각 t2에서, 홀수 라인의 각 촬상 소자에 대하여 짧은 노광 시간을 설정하고, 짝수 라인의 각 촬상 소자에 대하여 긴 노광 시간을 설정하고, 그들 설정된 노광 시간을 이용한 촬상을 행한다. 그리고, 수신기는, 시각 t3에서, 시각 t1일 때와 동일하게 설정된 각 노광 시간을 이용한 촬상을 행하고, 시각 t4에서, 시각 t2일 때와 동일하게 설정된 각 노광 시간을 이용한 촬상을 행한다.
또한, 수신기는, 시각 t1에서는, 촬상에 의해서 복수의 홀수 라인의 각각으로부터 얻어지는 화상(이하, 홀수 라인상이라고 한다)과, 촬상에 의해서 복수의 짝수 라인의 각각으로부터 얻어지는 화상(이하, 짝수 라인상이라고 한다)을 포함하는 Image1을 취득한다. 이 때에는, 복수의 짝수 라인의 각각에서는 노광 시간이 짧기 때문에, 짝수 라인상의 각각에는, 피사체가 선명히 비추어지지 않는다. 따라서, 수신기는, 복수의 홀수 라인상에 대하여 화소치의 보간을 행함으로써, 복수의 보간 라인상을 생성한다. 그리고, 수신기는, 복수의 짝수 라인상 대신에 복수의 보간 라인상을 포함하는 프리뷰 화상을 표시한다. 즉, 프리뷰 화상에는, 홀수 라인상과 보간 라인상이 교호로 배열되어 있다.
수신기는, 시각 t2에서는, 촬상에 의해서 복수의 홀수 라인상과 짝수 라인상을 포함하는 Image2를 취득한다. 이 때에는, 복수의 홀수 라인의 각각에서는, 노광 시간이 짧기 때문에, 홀수 라인상의 각각에는, 피사체가 선명히 비추어지지 않는다. 따라서, 수신기는, Image2의 홀수 라인상 대신에, Image1의 홀수 라인상을 포함하는 프리뷰 화상을 표시한다. 즉, 프리뷰 화상에는, Image1의 홀수 라인상과 Image2의 짝수 라인상이 교호로 배열되어 있다.
추가로, 수신기는, 시각 t3에서는, 촬상에 의해서 복수의 홀수 라인상과 짝수 라인상을 포함하는 Image3을 취득한다. 이 때에는, 시각 t1일 때와 동일하게, 복수의 짝수 라인의 각각에서는, 노광 시간이 짧기 때문에, 짝수 라인상의 각각에는, 피사체가 선명히 비추어지지 않는다. 따라서, 수신기는, Image3의 짝수 라인상 대신에, Image2의 짝수 라인상을 포함하는 프리뷰 화상을 표시한다. 즉, 프리뷰 화상에는, Image2의 짝수 라인상과 Image3의 홀수 라인상이 교호로 배열되어 있다. 그리고, 수신기는, 시각 t4에서는, 촬상에 의해서 복수의 홀수 라인상과 짝수 라인상을 포함하는 Image4를 취득한다. 이 때에는, 시각 t2 일 때와 동일하게, 복수의 홀수 라인의 각각에서는, 노광 시간이 짧기 때문에, 홀수 라인상의 각각에는, 피사체가 선명히 비추어지지 않는다. 따라서, 수신기는, Image4의 홀수 라인상 대신에, Image3의 홀수 라인상을 포함하는 프리뷰 화상을 표시한다. 즉, 프리뷰 화상에는, Image3의 홀수 라인상과 Image4의 짝수 라인상이 교호로 배열되어 있다.
이와 같이, 수신기는, 취득된 타이밍이 서로 상이한 짝수 라인상과 홀수 라인상을 포함하는 Image를 표시하는, 이른바 인터레이스 표시를 행한다.
이러한 수신기는, 가시광 촬상을 행하면서 세밀한 프리뷰 화상을 표시할 수 있다. 또한, 동일한 노광 시간이 설정되는 복수의 촬상 소자는, 이미지 센서(10010a)와 같이 노광 라인에 수평인 방향을 따라서 배열되어 있는 복수의 촬상 소자라도 되고, 이미지 센서(10011a)와 같이 노광 라인에 수직인 방향을 따라서 배열되어 있는 복수의 촬상 소자라도 되고, 이미지 센서(10012a)와 같이 체크무늬에 따라서 배열되어 있는 복수의 촬상 소자라도 된다. 또한, 수신기는, 프리뷰 화상을 촬상 데이터로서 보존해도 된다.
다음으로, 통상 촬상과 가시광 촬상의 공간 비율에 대해서 설명한다.
도 60은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도면이다.
수신기에 구비되는 이미지 센서(10014b)에서는, 상술의 이미지 센서(10010a)와 동일하게, 노광 라인마다 긴 노광 시간 또는 짧은 노광 시간이 설정된다. 이 이미지 센서(10014b)에서는, 긴 노광 시간이 설정되는 촬상 소자의 수와, 짧은 노광 시간이 설정되는 촬상 소자의 수의 비는, 1：1이다. 또한, 이 비는, 통상 촬상과 가시광 촬상의 비이며, 이하, 공간 비율이라고 한다.
그러나, 본 실시의 형태에서는, 그 공간 비율은 1：1일 필요는 없다. 예를 들면, 수신기는, 이미지 센서(10014a)를 구비하고 있어도 된다. 이 이미지 센서(10014a)에서는, 짧은 노광 시간의 촬상 소자의 쪽이, 긴 노광 시간의 촬상 소자보다도 많고, 공간 비율은, 1：N(N＞1)이다. 또한, 수신기는, 이미지 센서(10014c)를 구비하고 있어도 된다. 이 이미지 센서(10014c)에서는, 짧은 노광 시간의 촬상 소자의 쪽이, 긴 노광 시간의 촬상 소자보다도 적고, 공간 비율은, N(N＞1)：1이다. 또한, 수신기는, 이미지 센서(10014a∼10014c) 대신에, 상술의 수직 라인마다 노광 시간이 설정되고, 각각 1：N, 1：1, 또는 N：1의 공간 비율을 갖는 이미지 센서(10015a∼10015c) 중 어느 것을 구비해도 된다.
이러한 이미지 센서(10014a, 10015a)에서는, 짧은 노광 시간의 촬상 소자가 많기 때문에, 가시광 신호의 수신 정밀도 또는 수신 속도를 높일 수 있다. 한편, 이미지 센서(10014c, 10015c)에서는, 긴 노광 시간의 촬상 소자가 많기 때문에, 세밀한 프리뷰 화상을 표시할 수 있다.
또한, 수신기는, 이미지 센서(10014a, 10014c, 10015a, 10015c)를 이용하여, 도 59에 나타내는 바와 같이, 인터레이스 표시를 행해도 된다.
다음으로, 통상 촬상과 가시광 촬상의 시간 비율에 대해서 설명한다.
도 61은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도면이다.
수신기는, 도 61의 (a)에 나타내는 바와 같이, 촬상 모드를 1프레임마다 통상 촬상 모드와 가시광 촬상 모드로 전환해도 된다. 통상 촬상 모드는, 수신기의 이미지 센서의 모든 촬상 소자에 대하여, 통상 촬상용의 긴 노광 시간이 설정되는 촬상 모드이다. 가시광 촬상 모드는, 수신기의 이미지 센서의 모든 촬상 소자에 대하여, 가시광 촬상용의 짧은 노광 시간이 설정되는 촬상 모드이다. 이와 같이, 노광 시간의 길고/짧음을 전환함으로써, 짧은 노광 시간에서의 촬상에 의해서 가시광 신호를 수신하면서, 긴 노광 시간에서의 촬상에 의해서 프리뷰 화상을 표시할 수 있다.
또한, 수신기는, 긴 노광 시간을 자동 노출에 의해서 결정하는 경우에는, 짧은 노광 시간에서의 촬상에 의해서 얻어진 화상을 무시하고, 긴 노광 시간에서의 촬상에 의해서 얻어진 화상의 밝기만을 기준으로 자동 노출을 행해도 된다. 이에 따라, 긴 노광 시간을 적절한 시간으로 결정할 수 있다.
또한, 수신기는, 도 61의 (b)에 나타내는 바와 같이, 촬상 모드를 복수 프레임의 세트마다 통상 촬상 모드와 가시광 촬상 모드로 전환해도 된다. 노광 시간의 전환에 시간이 걸리는 경우나, 노광 시간이 안정되기까지 시간이 걸리는 경우에는, 도 61의 (b)에 나타내는 바와 같이, 복수 프레임의 세트마다 노광 시간을 변화시킴으로써, 가시광 촬상(가시광 신호의 수신)과 통상 촬상을 양립시킬 수 있다. 또한, 세트에 포함되는 프레임의 수가 많을수록, 노광 시간의 전환의 회수가 적어지기 때문에, 수신기에 있어서의 전력 소비, 및, 발열을 억제할 수 있다.
여기서, 통상 촬상 모드에서의 긴 노광 시간의 촬상에 의해서 연속해 생성되는 적어도 1개의 프레임의 수와, 가시광 촬상 모드에서의 짧은 노광 시간의 촬상에 의해서 연속해 생성되는 적어도 1개의 프레임의 수의 비(이하, 시간 비율이라고 한다)는, 1：1이 아니어도 된다. 즉, 도 61의 (a) 및 (b)에 나타내는 경우에는, 시간 비율은 1：1이지만, 그 시간 비율은 1：1이 아니어도 된다.
예를 들면, 수신기는, 도 61의 (c)에 나타내는 바와 같이, 가시광 촬상 모드의 프레임을, 통상 촬상 모드의 프레임보다 많게 해도 된다. 이에 따라, 가시광 신호의 수신 속도를 빠르게 할 수 있다. 프리뷰 화상의 프레임 레이트가 소정의 레이트 이상이면, 프레임 레이트에 의한 프리뷰 화상의 차이는 인간의 눈에는 인식되지 않는다. 촬상의 프레임 레이트가 충분히 높은 경우, 예를 들면, 그 프레임 레이트가 120fps인 경우에는, 수신기는, 연속하는 3프레임에 대하여 가시광 촬상 모드를 설정하고, 다음 1프레임에 대하여 가시광 촬상 모드를 설정한다. 이에 따라, 수신기는, 상술의 소정의 레이트보다도 충분히 높은 30fps의 프레임 레이트로 프리뷰 화상을 표시하면서, 고속으로 가시광 신호를 수신할 수 있다. 또한, 전환의 횟수가 적어지기 때문에, 도 61의 (b)에서 설명한 효과도 얻어진다.
또한, 수신기는, 도 61의 (d)에 나타내는 바와 같이, 통상 촬상 모드의 프레임을, 가시광 촬상 모드의 프레임보다 많게 해도 된다. 이와 같이, 통상 촬상 모드의 프레임, 즉, 긴 노광 시간에서의 촬상에 의해서 얻어지는 프레임을 많게 함으로써, 프리뷰 화상을 원활하게 표시할 수 있다. 또한, 가시광 신호의 수신 처리를 행하는 횟수가 줄기 때문에, 전력 절약 효과가 있다. 또한, 전환의 횟수가 적어지기 때문에, 도 61의 (b)에서 설명한 효과도 얻어진다.
또한, 수신기는, 도 61의 (e)에 나타내는 바와 같이, 우선, 도 61의 (a)에 나타내는 경우와 동일하게, 1프레임마다 촬상 모드를 전환하고, 다음으로 가시광 신호의 수신이 완료하면, 도 61의 (d)에 나타내는 경우와 동일하게, 통상 촬상 모드의 프레임을 많게 해도 된다. 이에 따라, 가시광 신호의 수신 완료 후에는, 프리뷰 화상을 원활하게 표시하면서, 새로운 가시광 신호가 존재하지 않는지의 탐색을 계속할 수 있다. 또한, 전환의 회수가 적어지기 때문에, 도 61의 (b)에서 설명한 효과도 얻어진다.
도 62는, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 플로우차트이다.
수신기는, 가시광 신호를 수신하는 처리인 가시광 수신을 개시하고(단계 S10017a), 노광 시간 장단 설정비를, 유저가 지정한 값으로 설정한다(단계 S10017b). 노광 시간 장단 설정비는, 상술의 공간 비율과 시간 비율 중 적어도 1개이다. 유저는, 공간 비율만, 시간 비율만, 또는, 그 공간 비율 및 시간 비율의 쌍방의 값을 지정해도 되고, 수신기가 유저에 의한 지정에 상관없이 자동으로 설정해도 된다.
다음으로, 수신기는, 수신 성능이 소정의 값 이하인지 여부를 판정한다(단계 S10017c). 소정의 값 이하라고 판정하면(단계 S10017c의 Y), 수신기는, 짧은 노광 시간의 비율을 높게 설정한다(단계 S10017d). 이에 따라, 수신 성능을 높일 수 있다. 또한, 짧은 노광 시간의 비율은, 공간 비율의 경우, 긴 노광 시간이 설정되는 촬상 소자의 수에 대한, 짧은 노광 시간이 설정되는 촬상 소자의 수의 비율이며, 시간 비율의 경우, 통상 촬상 모드로 연속해 생성되는 프레임의 수에 대한, 가시광 촬상 모드로 연속해 생성되는 프레임의 수의 비율이다.
다음으로, 수신기는, 가시광 신호의 적어도 일부를 수신하고, 그 수신된 가시광 신호의 적어도 일부(이하, 수신 신호라고 한다)에 우선도가 설정되어 있는지 여부를 판정한다(단계 S10017e). 또한, 우선도가 설정되어 있는 경우에는, 우선도를 나타내는 식별자가 수신 신호에 포함되어 있다. 수신기는, 우선도가 설정되어 있다고 판정하면(단계 S10017e의 Y), 그 우선도에 따른 노광 시간 장단비를 설정한다(단계 S10017f). 즉, 우선도가 높으면, 수신기는, 짧은 노광 시간의 비율을 높게 설정한다. 예를 들면, 송신기로서 구성된 비상등이 휘도 변화함으로써, 높은 우선도를 나타내는 식별자를 발하고 있다. 이 경우, 수신기는, 짧은 노광 시간의 비율을 높게 함으로써 수신 속도를 올려, 신속하게 피난 경로 등을 표시할 수 있다.
다음으로, 수신기는, 가시광 신호의 모든 수신이 완료했는지 여부를 판정한다(단계 S10017g). 여기서, 완료하고 있지 않다고 판정했을 때에는(단계 S10017g의 N), 수신기는 단계 S10017c로부터의 처리를 반복해 실행한다. 한편, 완료했다고 판정했을 때에는(단계 S10017g의 Y), 수신기는, 긴 노광 시간의 비율을 높게 설정하고, 전력 절약 모드로 이행한다(단계 S10017h). 또한, 긴 노광 시간의 비율은, 공간 비율의 경우, 짧은 노광 시간이 설정되는 촬상 소자의 수에 대한, 긴 노광 시간이 설정되는 촬상 소자의 수의 비율이며, 시간 비율의 경우, 가시광 촬상 모드로 연속해 생성되는 프레임의 수에 대한, 통상 촬상 모드로 연속해 생성되는 프레임의 수의 비율이다. 이에 따라, 불필요한 가시광 수신을 행하지 않고, 프리뷰 화상을 원활하게 표시할 수 있다.
다음으로, 수신기는, 다른 가시광 신호를 발견했는지 여부를 판정한다(단계 S10017i). 여기서, 발견했다고 판정했을 때에는(단계 S10017i의 Y), 수신기는, 단계 S10017b로부터의 처리를 반복해 실행한다.
다음으로, 가시광 촬상과 통상 촬상의 동시 실행에 대해서 설명한다.
도 63은, 실시의 형태 9에 있어서의 신호 수신 방법의 일 예를 나타내는 도면이다.
수신기는, 이미지 센서에 2 이상의 노광 시간을 설정해도 된다. 즉, 도 63의 (a)에 나타내는 바와 같이, 이미지 센서에 포함되는 노광 라인의 각각은, 설정된 2 이상의 노광 시간 중, 가장 긴 노광 시간만큼 연속해 노광된다. 수신기는, 노광 라인마다, 상술의 설정된 2 이상의 노광 시간이 각각 경과한 시점에서, 그 노광 라인의 노광에 의해서 얻어진 촬상 데이터를 읽어낸다. 여기서, 수신기는, 가장 긴 노광 시간이 경과할 때까지는, 읽어내진 촬상 데이터를 리셋하지 않는다. 따라서, 수신기는, 읽어내진 촬상 데이터의 누적치를 기록해 둠으로써, 가장 긴 노광 시간의 노광만으로, 복수의 노광 시간에서의 촬상 데이터를 얻을 수 있다. 또한, 이미지 센서는, 촬상 데이터의 누적치의 기록을 행해도 되고, 행하지 않아도 된다. 이미지 센서가 행하지 않는 경우에는, 이미지 센서로부터 데이터를 읽어내는 수신기의 구성 요소가, 누적의 계산, 즉 촬상 데이터의 누적치의 기록을 행한다.
예를 들면, 노광 시간이 2개 설정되어 있는 경우에는, 도 63의 (a)에 나타내는 바와 같이, 수신기는 짧은 노광 시간의 노광에 의해서 생성된, 가시광 신호를 포함하는 가시광 촬상 데이터를 읽어내고, 계속하여, 긴 노광 시간의 노광에 의해서 생성된 통상 촬상 데이터를 읽어낸다.
이에 따라, 가시광 신호를 수신하기 위한 촬상인 가시광 촬상과, 통상 촬상을 동시에 행할 수 있어, 가시광 신호를 수신하면서 통상의 촬상을 행할 수 있다. 또한, 복수의 노광 시간의 데이터를 이용함으로써, 샘플링 정리 이상의 신호 주파수를 인식할 수 있어, 고주파 신호나 고밀도 변조 신호의 수신을 행할 수 있다.
또한, 수신기는, 촬상 데이터를 출력할 때, 도 63(b)에 나타내는 바와 같이, 그 촬상 데이터를 촬상 데이터 보디로서 포함하는 데이터열을 출력한다. 즉, 수신기는, 촬상 모드(가시광 촬상 또는 통상 촬상)를 나타내는 촬상 모드 식별자와, 촬상 소자 또는 촬상 소자가 속하는 노광 라인을 특정하기 위한 촬상 소자 식별자와, 촬상 데이터 보디가 몇번째의 노광 시간의 촬상 데이터인지를 나타내는 촬상 데이터 번호와, 촬상 데이터 보디의 사이즈를 나타내는 촬상 데이터 길이를 포함하는 부가 정보를, 촬상 데이터 보디에 부가함으로써, 상술의 데이터열을 생성하여 출력한다. 도 63의 (a)를 이용해 설명한 촬상 데이터의 읽어냄 방법에서는, 각각의 촬상 데이터가 노광 라인의 순서대로 출력된다고는 한정되지 않는다. 여기서, 도 63의 (b)에 나타내는 부가 정보를 부가함으로써, 촬상 데이터가 어느 노광 라인의 촬상 데이터인지를 특정할 수 있다.
도 64는, 실시의 형태 9에 있어서의 수신 프로그램의 처리를 나타내는 플로우차트이다.
이 수신 프로그램은, 수신기에 구비된 컴퓨터에 예를 들면 도 56∼도 63에 나타내는 처리를 실행시키는 프로그램이다.
즉, 이 수신 프로그램은, 휘도 변화하는 발광체로부터, 정보를 수신하기 위한 수신 프로그램이다. 구체적으로는, 이 수신 프로그램은, 단계 SA31, 단계 SA32 및 단계 SA33을 컴퓨터에 실행시킨다. 단계 SA31에서는, 이미지 센서에 포함되는 K개(K는 4 이상의 정수)의 촬상 소자 중 일부 복수의 촬상 소자에 대하여, 제1의 노광 시간을 설정하고, K개의 촬상 소자 중 나머지의 복수의 촬상 소자에 대하여, 제1의 노광 시간보다도 짧은 제2의 노광 시간을 설정한다. 단계 SA32에서는, 휘도 변화하는 발광체인 피사체를, 설정된 제1 및 제2의 노광 시간에 이미지 센서에 촬상시킴으로써, 제1의 노광 시간이 설정된 복수의 촬상 소자로부터의 출력에 따른 통상 화상을 취득함과 더불어, 제2의 노광 시간이 설정된 복수의 촬상 소자로부터의 출력에 따른 화상이며, 이미지 센서에 포함되는 복수의 노광 라인의 각각에 대응하는 휘선을 포함하는 화상인 휘선 화상을 취득한다. 단계 SA33에서는, 취득된 휘선 화상에 포함되는 복수의 휘선의 패턴을 복호함으로써 정보를 취득한다.
이에 따라, 제1의 노광 시간이 설정되는 복수의 촬상 소자와, 제2의 노광 시간이 설정되는 복수의 촬상 소자에 의해서 촬상이 행해지기 때문에, 이미지 센서에 의한 1회의 촬상으로, 통상 화상과 휘선 화상을 취득할 수 있다. 즉, 통상 화상의 촬상과, 가시광 통신에 의한 정보의 취득을 동시에 행할 수 있다.
또한, 노광 시간 설정 단계 SA31에서는, 이미지 센서에 포함되는 L개(L은 4이상의 정수)의 촬상 소자열 중 일부의 복수의 촬상 소자열에 대하여, 제1의 노광 시간을 설정하고, L개의 촬상 소자열 중의 나머지 복수의 촬상 소자열에 대하여, 제2의 노광 시간을 설정한다. 여기서, L개의 촬상 소자열의 각각은, 이미지 센서에 포함되는, 일렬로 배열된 복수의 촬상 소자로 이루어진다.
이에 따라, 작은 단위인 촬상 소자의 각각에 대하여 개별적으로 노광 시간을 설정하는 일 없이, 큰 단위인 촬상 소자열마다 노광 시간을 설정할 수 있어, 처리 부담을 경감할 수 있다.
예를 들면, L개의 촬상 소자열의 각각은, 도 56에 나타내는 바와 같이, 이미지 센서에 포함되는 노광 라인이다. 또는, L개의 촬상 소자열의 각각은, 도 57에 나타내는 바와 같이, 이미지 센서에 포함되는 노광 라인에 수직인 방향을 따라서 배열된 복수의 촬상 소자로 이루어진다.
또한, 도 59에 나타내는 바와 같이, 노광 시간 설정 단계 SA31에서는, 이미지 센서에 포함되는 L개의 촬상 소자열 중 홀수번째에 있는 촬상 소자열의 각각에 대하여 동일한 노광 시간인, 제1 및 제2의 노광 시간 중 한쪽을 설정하고, L개의 촬상 소자열 중 짝수번째에 있는 촬상 소자열의 각각에 대하여 동일한 노광 시간인, 제1 및 제2의 노광 시간 중 다른쪽을 설정해도 된다. 그리고, 노광 시간 설정 단계 SA31, 화상 취득 단계 SA32 및 정보 취득 단계 SA33을 반복하는 경우, 반복되는 노광 시간 설정 단계 SA31에서는, 직전의 노광 시간 설정 단계 SA31에서, 홀수번째의 촬상 소자열의 각각에 설정되어 있던 노광 시간과, 짝수번째의 촬상 소자열의 각각에 설정되어 있던 노광 시간을 바꿔 넣어도 된다.
이에 따라, 통상 화상의 취득이 행해질 때마다, 그 취득에 이용되는 복수의 촬상 소자열을, 홀수번째의 복수의 촬상 소자열과, 짝수번째의 복수의 촬상 소자열로 전환할 수 있다. 그 결과, 순차적으로 취득되는 통상 화상의 각각을 인터레이스에 의해서 표시할 수 있다. 또한, 연속해 취득된 2개의 통상 화상을 서로 보완함으로써, 홀수번째의 복수의 촬상 소자열에 의한 화상과, 짝수번째의 복수의 촬상 소자열에 의한 화상을 포함하는 새로운 통상 화상을 생성할 수 있다.
또한, 도 60에 나타내는 바와 같이, 노광 시간 설정 단계 SA31에서는, 설정 모드를 통상 우선 모드와 가시광 우선 모드로 전환하고, 통상 우선 모드로 전환되는 경우에는, 제1의 노광 시간이 설정되는 촬상 소자의 수를, 제2의 노광 시간이 설정되는 촬상 소자의 수보다도 많게 해도 된다. 또한, 가시광 우선 모드로 전환되는 경우에는, 제1의 노광 시간이 설정되는 촬상 소자의 수를, 제2의 노광 시간이 설정되는 촬상 소자의 수보다도 적게 해도 된다.
이에 따라, 설정 모드가 통상 우선 모드로 전환된 경우에는, 통상 화상의 화질을 향상할 수 있고, 가시광 우선 모드로 전환된 경우에는, 발광체로부터의 정보의 수신 효율을 향상할 수 있다.
또한, 도 58에 나타내는 바와 같이, 노광 시간 설정 단계 SA31에서는, 제1의 노광 시간이 설정되는 복수의 촬상 소자와, 제2의 노광 시간이 설정되는 복수의 촬상 소자가, 체크 무늬(Checkered pattern)와 같이 분포하도록, 이미지 센서에 포함되는 촬상 소자마다, 그 촬상 소자의 노광 시간을 설정해도 된다.
이에 따라, 제1의 노광 시간이 설정되는 복수의 촬상 소자와, 제2의 노광 시간이 설정되는 복수의 촬상 소자가 각각 균일하게 분포하기 때문에, 수평 방향 및 수직 방향으로 화질의 편중이 없는 통상 화상 및 휘선 화상을 취득할 수 있다.
도 65는, 실시의 형태 9에 있어서의 수신 장치의 블록도이다.
이 수신 장치(A30)는, 예를 들면 도 56∼도 63에 나타내는 처리를 실행하는 상술의 수신기이다.
즉, 이 수신 장치(A30)는, 휘도 변화하는 발광체로부터 정보를 수신하는 수신 장치로서, 복수 노광 시간 설정부(A31)와, 촬상부(A32)와, 복호부(A33)를 구비한다. 복수 노광 시간 설정부(A31)는, 이미지 센서에 포함되는 K개(K는 4 이상의 정수)의 촬상 소자 중의 일부 복수의 촬상 소자에 대하여 제1의 노광 시간을 설정하고, K개의 촬상 소자 중의 나머지 복수의 촬상 소자에 대하여, 제1의 노광 시간보다도 짧은 제2의 노광 시간을 설정한다. 촬상부(A32)는, 휘도 변화하는 발광체인 피사체를, 설정된 제1 및 제2의 노광 시간에 이미지 센서에 촬상시킴으로써, 제1의 노광 시간이 설정된 복수의 촬상 소자로부터의 출력에 따른 통상 화상을 취득함과 함께, 제2의 노광 시간이 설정된 복수의 촬상 소자로부터의 출력에 따른 화상이며, 이미지 센서에 포함되는 복수의 노광 라인의 각각에 대응하는 휘선을 포함하는 화상인 휘선 화상을 취득한다. 복호부(A33)는, 취득된 휘선 화상에 포함되는 복수의 휘선의 패턴을 복호함으로써 정보를 취득한다. 이러한 수신 장치(A30)에서는, 상술의 수신 프로그램과 동일한 효과를 발휘할 수 있다.
다음으로, 수신된 가시광 신호에 관한 내용의 표시에 대해서 설명한다.
도 66 및 도 67은, 가시광 신호를 수신했을 때의 수신기의 표시의 일 예를 나타내는 도면이다.
도 66의 (a)에 나타내는 바와 같이, 수신기는, 송신기(10020d)를 촬상하면, 그 송신기(10020d)가 비추어진 화상(10020a)을 표시한다. 또한, 수신기는, 화상(10020a)에 오브젝트(10020e)를 중첩함으로써, 화상(10020b)을 생성하여 표시한다. 오브젝트(10020e)는, 그 송신기(10020d)의 상이 있는 장소와, 그 송신기(10020d)로부터의 가시광 신호를 수신하고 있는 것을 나타내는 화상이다. 오브젝트(10020e)는, 가시광 신호의 수신 상태(수신중의 상태, 송신기를 탐색하고 있는 상태, 수신의 진행의 정도, 수신 속도, 또는 에러율 등)에 따라서 상이한 화상이어도 된다. 예를 들면, 수신기는, 오브젝트(1020e)의 색, 선의 굵기, 선의 종류(단선, 2중선, 또는 점선 등), 또는 점선의 간격 등을 변화시킨다. 이에 따라, 유저에게 수신 상태를 인식시킬 수 있다. 다음으로, 수신기는, 취득 데이터의 내용을 나타내는 화상을 취득 데이터 화상(10020f)으로서 화상(10020a)에 중첩함으로써, 화상(10020c)을 생성하여 표시한다. 취득 데이터는, 수신한 가시광 신호, 또는, 수신한 가시광 신호에 의해서 나타나는 ID에 관련지어진 데이터이다.
수신기는, 이 취득 데이터 화상(10020f)을 표시할 때, 도 66의 (a)에 나타내는 바와 같이, 송신기(10020d)로부터의 말풍선과 같이 취득 데이터 화상(10020f)을 표시하거나 송신기(10020d)의 가까이에 취득 데이터 화상(10020f)을 표시한다. 또한, 수신기는, 도 66의 (b)에 나타내는 바와 같이, 취득 데이터 화상(10020f)이 송신기(10020d)로부터 수신기측에 서서히 근접하도록, 그 취득 데이터 화상(10020f)을 표시해도 된다. 이에 따라, 취득 데이터 화상(10020f)이, 어느 송신기로부터 수신된 가시광 신호에 의거하는 것인지를, 유저에게 인식시킬 수 있다. 또한, 수신기는, 도 67에 나타내는 바와 같이, 취득 데이터 화상(10020f)이 수신기의 디스플레이의 단으로부터 서서히 나오도록, 그 취득 데이터 화상(10020f)을 표시해도 된다. 이에 따라, 그 때에 가시광 신호를 취득했다고 하는 것을 유저에게 알기 쉽게 인식시킬 수 있다.
다음으로, AR(Augmented Reality)에 대해서 설명한다.
도 68은, 취득 데이터 화상(10020f)의 표시의 일 예를 나타내는 도면이다.
수신기는, 디스플레이 내에서 송신기의 상이 이동한 경우에는, 취득 데이터 화상(10020f)을 송신기의 상의 이동에 맞추어 이동시킨다. 이에 따라, 취득 데이터 화상(10020f)이 그 송신기에 대응하고 있는 것을 유저에게 인식시킬 수 있다. 또한, 수신기는, 취득 데이터 화상(10020f)을, 그 송신기의 상이 아니라 다른 것에 대응시켜 표시해도 된다. 이에 따라, AR 표시를 행할 수 있다.
다음으로, 취득 데이터의 보존 및 파기에 대해서 설명한다.
도 69는, 취득 데이터를 보존하거나, 또는, 파기하는 경우의 조작의 일 예를 나타내는 도면이다.
예를 들면, 수신기는, 도 69의 (a)에 나타내는 바와 같이, 취득 데이터 화상(10020f)에 대하여, 하측으로의 스와이프가 유저에 의해서 행해지면, 그 취득 데이터 화상(10020f)에 의해서 나타나는 취득 데이터를 보존한다. 수신기는, 보존한 취득 데이터를 나타내는 취득 데이터 화상(10020f)을, 다른 이미 보존되어 있는 1개 또는 복수의 취득 데이터를 나타내는 취득 데이터 화상의 가장 단에 배치시킨다. 이에 따라, 취득 데이터 화상(10020f)에 의해서 나타나는 취득 데이터가 최후에 보존된 취득 데이터인 것을, 유저에게 인식시킬 수 있다. 예를 들면, 수신기는, 도 69의 (a)에 나타내는 바와 같이, 복수의 취득 데이터 화상 중에서 가장 바로 앞에 취득 데이터 화상(10020f)을 배치한다.
또한, 수신기는, 도 69의 (b)에 나타내는 바와 같이, 취득 데이터 화상(10020f)에 대하여, 우측으로의 스와이프가 유저에 의해서 행해지면, 그 취득 데이터 화상(10020f)에 의해서 나타나는 취득 데이터를 파기하거나. 또는, 수신기는, 유저가 수신기를 이동시킴으로써 송신기의 상이 디스플레이로부터 프레임 아웃하면, 취득 데이터 화상(10020f)에 의해서 나타나는 취득 데이터를 파기해도 된다. 또한, 스와이프하는 방향은, 상하 좌우의 어디라도, 상술과 동일한 효과가 얻어진다. 수신기는, 보존 또는 파기에 대응한 스와이프의 방향을 표시해도 된다. 이에 따라, 그 조작에 의해서 보존 또는 파기를 할 수 있는 것을 유저에게 인식시킬 수 있다.
다음에, 취득 데이터의 열람에 대해서 설명한다.
도 70은, 취득 데이터를 열람할 때의 표시예를 나타내는 도면이다.
수신기는, 도 70의 (a)에 나타내는 바와 같이, 보존되어 있는 복수의 취득 데이터의 취득 데이터 화상을, 디스플레이의 하단에 겹쳐 작게 표시하고 있다. 이 때에, 유저가 표시되어 있는 취득 데이터 화상의 일부를 탭하면, 수신기는, 도 70의 (b)에 나타내는 바와 같이, 복수의 취득 데이터 화상의 각각을 크게 표시한다. 이에 따라, 각 취득 데이터의 열람이 필요한 때에만, 그들 취득 데이터 화상을 크게 표시하고, 불필요한 때는, 다른 표시를 위해서 디스플레이를 유효하게 이용할 수 있다.
도 70의 (b)에 나타내는 상태에서, 유저가 표시하고 싶은 취득 데이터 화상을 탭하면, 수신기는, 도 70의 (c)에 나타내는 바와 같이, 그 탭된 취득 데이터 화상을 더욱 크게 표시하고, 그 취득 데이터 화상 중에서 많은 정보를 표시한다. 또한, 이면 표시 버튼(10024a)을 유저가 탭하면, 수신기는, 취득 데이터 화상의 이면을 표시하고, 그 취득 데이터에 관련된 다른 데이터를 표시한다.
다음으로, 사고 위치 추정시의 손떨림 보정을 오프로 하는 것에 대하여 설명한다.
수신기는, 손떨림 보정을 무효(오프)로 하거나, 또는, 손떨림 보정의 보정 방향과 보정량에 대응하여 촬상 화상을 변환함으로써, 정확한 촬상 방향을 취득하여, 정확하게 자기 위치 추정을 행할 수 있다. 또한, 촬상 화상은, 수신기의 촬상부에 의한 촬상에 의해서 얻어지는 화상이다. 또한, 자기 위치 추정은, 수신기가 스스로 위치를 추정하는 것이다. 자기 위치 추정에서는, 구체적으로는, 수신기는, 수신된 가시광 신호에 의거하여 송신기의 위치를 특정하고, 촬상 화상에 비치는 송신기의 크기, 위치 또는 형상 등에 의거하여, 수신기와 송신기의 사이의 상대적인 위치 관계를 특정한다. 그리고, 수신기는, 송신기의 위치와 수신기와 송신기의 사이의 상대적인 위치 관계에 의거하여, 수신기의 위치를 추정한다.
또한, 도 56 등에 나타내는, 일부 노광 라인만을 이용하여 촬상을 행하는 부분을 읽어낼 때에는, 즉, 도 56 등에 나타내는 촬상이 행해질 때에는, 수신기의 약간의 흔들림으로 송신기가 프레임 아웃되어 버린다. 이러한 경우, 수신기는, 손떨림 보정을 유효하게 함으로써, 계속해 신호를 수신할 수 있다.
다음으로, 비대칭형의 발광부를 이용한 자기 위치 추정에 대해서 설명한다.
도 71은, 실시의 형태 9에 있어서의 송신기의 일 예를 나타내는 도면이다.
상술의 송신기는 발광부를 구비하고, 그 발광부를 휘도 변화시킴으로써 가시광 신호를 송신한다. 상술의 자기 위치 추정에서는, 수신기는, 촬상 화상 중의 송신기(구체적으로는 발광부)의 형상에 의거하여, 수신기와 송신기의 사이의 상대적인 위치 관계로서, 수신기와 송신기의 사이의 상대 각도를 구한다. 여기서, 예를 들면, 도 71에 나타내는 바와 같이, 송신기가 회전 대칭 형상의 발광부(10090a)를 구비하고 있는 경우에는, 상술과 같이, 촬상 화상 중의 송신기의 형상에 의거하여, 송신기와 수신기의 사이의 상대 각도를 정확하게 구할 수 없다. 그래서, 송신기는, 회전 대칭이 아닌 형상의 발광부를 구비하고 있는 것이 바람직하다. 이에 따라, 수신기는 상술의 상대 각도를 정확하게 구할 수 있다. 즉, 각도를 취득하기 위한 방위 센서에서는 계측 결과의 오차가 크기 때문에, 수신기는, 상술의 방법으로 구한 상대 각도를 이용함으로써, 정확한 자기 위치 추정을 행할 수 있다.
여기서, 송신기는, 도 71에 나타내는 바와 같이, 완전한 회전 대칭의 형상이 아닌 발광부(10090b)를 구비하고 있어도 된다. 이 발광부(10090b)의 형상은, 90°의 회전에 대해서는 대칭형이지만, 완전한 회전 대칭은 아니다. 이 경우는, 수신기는, 대략적 각도를 방위 센서로 구하고, 또한, 촬상 화상 중의 송신기의 형상을 이용함으로써, 수신기와 송신기의 사이의 상대 각도를 일정하게 한정할 수 있어, 정확한 자기 위치 추정을 행할 수 있다.
또한, 송신기는, 도 71에 나타내는 발광부(10090c)를 구비하고 있어도 된다. 이 발광부(10090c)의 형상은, 기본적으로는 회전 대칭의 형상이다. 그러나, 그 발광부(10090c)의 일부분에 도광판 등이 설치되어 있으므로, 발광부(10090c)의 형상은, 회전 대칭이 아닌 형상으로 되어 있다.
또한, 송신기는, 도 71에 나타내는 발광부(10090d)를 구비해도 된다. 이 발광부(10090d)는, 각각 회전 대칭의 형상의 조명을 구비하고 있다. 그러나, 그들을 조합하여 배치됨으로써 구성되는 발광부(10090d)의 전체의 형상은, 회전 대칭의 형상은 아니다. 따라서, 수신기는, 그 송신기를 촬상함으로써, 정확한 자기 위치 추정을 행할 수 있다. 또한, 발광부(10090d)에 포함되는 모든 조명이, 가시광 신호를 송신하기 위해서 휘도 변화하는 가시광 통신용의 조명일 필요는 없고, 일부 조명만이 가시광 통신용의 조명이어도 된다.
또한, 송신기는, 도 71에 나타내는 발광부(10090e) 및 물체(10090f)를 구비해도 된다. 여기서, 물체(10090f)는, 발광부(10090e)와의 사이의 위치 관계가 변화하지 않도록 구성되어 있는 물체(예를 들면, 화재 경보기나 배관 등)이다. 발광부(10090e)와 물체(10090f)의 조합의 형상은 회전 대칭의 형상은 아니기 때문에, 수신기는, 발광부(10090e)와 물체(10090f)와 촬상함으로써, 정확하게 자기 위치 추정을 행할 수 있다.
다음으로, 자기 위치 추정의 시계열 처리에 대해서 설명한다.
수신기는, 촬상할 때마다, 촬상 화상 중의 송신기의 위치와 형상으로부터, 자기 위치 추정을 행할 수 있다. 그 결과, 수신기는, 촬상 중의 수신기의 이동 방향과 거리를 추정할 수 있다. 또한, 수신기는, 복수의 프레임 또는 화상을 이용한 삼각 측량을 행함으로써, 보다 정확한 자기 위치 추정을 행할 수 있다. 복수의 화상을 이용한 추정 결과나, 상이한 조합의 복수의 화상을 이용한 추정 결과를 종합함으로써, 수신기는, 보다 정확하게 자기 위치 추정을 행할 수 있다. 이 때, 수신기는, 최근의 촬상 화상으로부터 추정한 결과를 중요시하여 종합함으로써, 보다 정확하게 자기 위치 추정을 행할 수 있다.
다음으로, 옵티컬 블랙의 건너뛰고 읽음에 대해서 설명한다.
도 72는, 실시의 형태 9에 있어서의 수신 방법의 일 예를 나타내는 도면이다. 또한, 도 72에 나타내는 그래프의 가로축은, 시각을 나타내고, 세로축은, 이미지 센서 내의 각 노광 라인의 위치를 나타낸다. 또한, 그 그래프의 실선 화살표는, 이미지 센서 내의 각 노광 라인의 노광이 개시되는 시각(노광 타이밍)을 나타낸다.
수신기는, 통상 촬상시에는, 도 72의 (a)에 나타내는 바와 같이, 이미지 센서에 있어서의 수평 옵티컬 블랙의 신호를 읽어내지만, 도 72의 (b)에 나타내는 바와 같이, 수평 옵티컬 블랙의 신호를 건너뛰고 읽어도 된다. 이에 따라, 연속적인 가시광 신호를 수신할 수 있다.
수평 옵티컬 블랙은, 노광 라인에 수평 방향인 옵티컬 블랙이다. 또한, 수직 옵티컬 블랙은, 옵티컬 블랙 중 수평 옵티컬 블랙 이외의 부분이다.
수신기는, 옵티컬 블랙으로부터 읽어내지는 신호에 의해서 흑레벨의 조정을 행하기 때문에, 가시광 촬상 개시시에는 통상 촬상시와 동일하게 옵티컬 블랙을 이용하여, 흑레벨을 조정할 수 있다. 수직 옵티컬 블랙을 이용할 수 있는 경우는, 수신기는, 수직 옵티컬 블랙만을 이용해 흑레벨 조정을 행하는 것으로 함으로써, 연속 수신과 흑레벨 조정이 가능하다. 가시광 촬상 계속시는, 수신기는, 소정의 시간마다 수평 옵티컬 블랙을 이용해 흑레벨을 조정해도 된다. 수신기는, 통상 촬상과 가시광 촬상을 교호로 행하는 경우에 있어서, 가시광 촬상을 연속해 행할 때에는, 수평 옵티컬 블랙의 신호를 건너뛰고 읽고, 그 이외일 때에는, 수평 옵티컬 블랙의 신호를 읽어낸다. 그리고, 수신기는, 그 읽어내진 신호에 의거하여 흑레벨의 조정을 행함으로써, 연속적으로 가시광 신호를 수신하면서, 흑레벨의 조정을 행할 수 있다. 수신기는, 가시광 촬상 화상의 가장 어두운 부분을 흑으로 하여 흑레벨의 조정을 행하는 것으로 해도 된다.
이와 같이, 신호가 읽어내지는 옵티컬 블랙을 수직 옵티컬 블랙만으로 함으로써, 연속적인 가시광 신호의 수신이 가능하다. 또한, 수평 옵티컬 블랙의 신호를 건너뛰고 읽는 모드를 구비함으로써, 통상 촬상시에는 흑레벨 조정을 행하고, 가시광 촬상시에는 필요에 따라서 연속 통신을 행할 수 있다. 또한, 수평 옵티컬 블랙의 신호를 건너뛰고 읽음으로써, 노광 라인간의 노광을 개시하는 타이밍의 차가 커지기 때문에, 작게 밖에 비치지 않는 송신기로부터의 가시광 신호도 수신할 수 있다.
다음으로, 송신기의 종류를 나타내는 식별자에 대해서 설명한다.
송신기는, 송신기의 종류를 나타내는 송신기 식별자를 가시광 신호에 부가하여 송신해도 된다. 이 경우, 수신기는, 송신기 식별자를 수신한 시점에서, 그 송신기의 종류에 따른 수신 동작을 행할 수 있다. 예를 들면, 송신기 식별자가 디지털 사이네이지를 나타내는 경우는, 송신기는, 송신기의 개체 식별을 행하기 위한 송신기 ID 외에, 현재 어느 컨텐츠를 표시하고 있는지를 나타내는 컨텐츠 ID를 가시광 신호로서 송신하고 있다. 수신기는, 송신기 식별자에 의거하여, 이들 ID를 나누어 취급함으로써, 송신기가 현재 표시하고 있는 컨텐츠에 맞춘 정보를 표시할 수 있다. 또한, 예를 들면, 송신기 식별자가 디지털 사이네이지나 비상등을 나타내는 경우는, 수신기는, 감도를 올려 촬상함으로써, 수신 에러를 저감할 수 있다.
(실시의 형태 10)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와 LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
여기서, 동일한 어드레스의 데이터부를 비교하는 수신 방법에 대해서 설명한다.
도 73은, 본 실시의 형태에 있어서의 수신 방법의 일 예를 나타내는 플로우차트이다.
수신기는, 패킷을 수신하여(단계 S10101), 오류 정정을 행한다(단계 S10102). 그리고, 수신기는, 수신한 패킷의 어드레스와 동일한 어드레스의 패킷을 이미 수신하고 있는지 여부를 판정한다(단계 S10103). 여기서, 수신하고 있다고 판정한 경우는(단계 10103의 Y), 수신기는, 그들 데이터를 비교한다. 즉, 수신기는, 데이터부가 동일한지 여부를 판정한다(단계 S10104). 여기서, 동일하지 않다고 판정한 경우(단계 S10104의 N), 수신기는, 추가로 복수의 데이터부에 있어서의 차이가 소정의 수 이상인지, 구체적으로는, 상이한 비트의 수, 또는, 휘도 상태가 상이한 슬롯의 수가 소정의 수 이상인지 여부를 판정한다(단계 S10105). 여기서, 소정의 수 이상이라고 판정하면(단계 S10105의 N), 수신기는, 이미 수신하고 있던 패킷을 파기한다(단계 S10106). 이에 따라, 다른 송신기로부터 패킷을 수신하기 시작했을 때에, 이전의 송신기로부터 수신한 패킷과의 혼신을 피할 수 있다. 한편, 소정의 수 이상이 아니라고 판정하면(단계 S10105의 N), 수신기는, 동일한 데이터부를 갖는 패킷이 가장 많은 데이터부의 데이터를 그 어드레스의 데이터로 한다(단계 S10107).또는, 수신기는, 동일한 비트의 가장 많은 비트를, 그 어드레스의 그 비트의 값으로 한다. 또는, 수신기는, 동일한 휘도 상태가 가장 많은 휘도 상태를 그 어드레스의 그 슬롯의 휘도 상태로 하고, 그 어드레스의 데이터를 복조한다.
이와 같이, 본 실시의 형태에서는, 수신기는, 우선, 복수의 휘선의 패턴으로부터, 데이터부 및 어드레스부를 포함하는 제1의 패킷을 취득한다. 다음으로, 수신기는, 제1의 패킷보다도 전에 이미 취득되어 있는 적어도 1개의 패킷 중, 그 제1의 패킷의 어드레스부와 동일한 어드레스부를 포함하는 패킷인 적어도 1개의 제2의 패킷이 존재하는지 여부를 판정한다. 다음으로, 수신기는, 그 적어도 1개의 제2의 패킷이 존재한다고 판정한 경우에는, 그 적어도 1개의 제2의 패킷과 제1의 패킷의 각각의 데이터부가 모두 동일한지 여부를 판정한다. 각각의 데이터부가 모두 동일하지 않다고 판정한 경우에는, 수신기는, 그 적어도 1개의 제2의 패킷의 각각에 있어서, 제2의 패킷의 데이터부에 포함되는 각 부분 중, 제1의 패킷의 데이터부에 포함되는 각 부분과 상이한 부분의 수가, 소정의 수 이상 존재하는지 여부를 판정한다. 여기서, 수신기는, 그 적어도 1개의 제2의 패킷 중, 상이한 부분의 수가 소정의 수 이상 존재한다고 판정된 제2의 패킷이 있는 경우에는, 그 적어도 1개의 제2의 패킷을 파기한다. 한편, 그 적어도 1개의 제2의 패킷 중, 상이한 부분의 수가 소정의 수 이상 존재한다고 판정된 제2 패킷이 없는 경우에는, 수신기는, 제1의 패킷 및 적어도 1개의 제2의 패킷 중, 동일한 데이터부를 갖는 패킷의 수가 가장 많은 복수의 패킷을 특정한다. 그리고, 수신기는, 그 복수의 패킷의 각각에 포함되는 데이터부를, 제1의 패킷에 포함되는 어드레스부에 대응하는 데이터부로서 복호 함으로써, 가시광 식별자(ID)의 적어도 일부를 취득한다.
이에 따라, 동일한 어드레스부를 갖는 복수의 패킷이 수신되었을 때에, 그들 패킷의 데이터부가 상이해도, 적절한 데이터부를 복호할 수 있어, 가시광 식별자의 적어도 일부를 올바르게 취득할 수 있다. 즉, 동일한 송신기로부터 송신되는 동일한 어드레스부를 갖는 복수의 패킷은, 기본적으로 동일한 데이터부를 갖는다. 그러나, 수신기가, 패킷의 송신원이 되는 송신기를 전환하는 경우에는, 수신기는, 동일한 어드레스부를 갖고 있어도 서로 상이한 데이터부를 갖는 복수의 패킷을 수신하는 경우가 있다. 이러한 경우에는, 본 실시의 형태에서는, 도 73의 단계 S10106과 같이, 이미 수신되어 있는 패킷(제2의 패킷)이 파기되어, 최신의 패킷(제1의 패킷)의 데이터부를, 그 어드레스부에 대응하는 올바른 데이터부로서 복호할 수 있다. 또한, 상술과 같은 송신기의 전환이 없는 경우라도, 가시광 신호의 송수신 상황에 따라서, 동일한 어드레스부를 갖는 복수의 패킷의 데이터부가 조금 상이한 경우가 있다. 이러한 경우에는, 본 실시의 형태에서는, 도 73의 단계 S10107와 같이, 이른바 다수결에 의해서, 적절한 데이터부를 복호할 수 있다.
여기서, 복수의 패킷으로부터 데이터부의 데이터를 복조하는 수신 방법에 대해서 설명한다.
도 74는, 본 실시의 형태에 있어서의 수신 방법의 일 예를 나타내는 플로우차트이다.
우선, 수신기는, 패킷을 수신하고(단계 S10111), 어드레스부의 오류 정정을 행한다(단계 S10112). 이 때, 수신기는, 데이터부의 복조를 행하지 않고, 촬상에 의해서 얻어지는 화소치를 그대로 보존한다. 그리고, 수신기는, 이미 수신된 복수의 패킷에 있어서, 동일한 어드레스의 패킷이 소정의 수 이상 존재하는지 여부를 판정한다(단계 S10113). 여기서, 존재한다고 판정하면(단계 S10113의 Y), 수신기는, 동일한 어드레스를 갖는 복수의 패킷의 데이터부에 상당하는 부분의 화소치를 맞추어 복조 처리를 행한다(단계 S10114).
이와 같이 본 실시의 형태에 있어서의 수신 방법에서는, 복수의 휘선의 패턴으로부터, 데이터부 및 어드레스부를 포함하는 제1의 패킷을 취득한다. 그리고, 제1의 패킷보다도 전에 이미 취득되어 있는 적어도 1개의 패킷 중, 제1의 패킷의 어드레스부와 동일한 어드레스부를 포함하는 패킷인 제2의 패킷이 소정의 수 이상 존재하는지 여부를 판정한다. 제2의 패킷이 그 소정의 수 이상 존재한다고 판정한 경우에는, 그 소정의 수 이상의 제2의 패킷의 각각의 데이터부에 대응하는 휘선 화상의 일부 영역의 화소치와, 제1의 패킷의 데이터부에 대응하는 휘선 화상의 일부 영역의 화소치를 맞춘다. 즉, 화소치를 가산한다. 그 가산에 의해서, 합성 화소치를 산출하고, 그 합성 화소치를 포함하는 데이터부를 복호함으로써, 가시광 식별자(ID)의 적어도 일부를 취득한다.
복수의 패킷이 수신된 타이밍은 각각 상이하기 때문에, 데이터부의 화소치는 각각 미묘하게 상이한 시점의 송신기의 휘도를 반영한 값으로 되어 있다. 따라서, 상술과 같이 복조 처리되는 부분은, 단일의 패킷의 데이터부보다도 많은 데이터량(샘플수)을 포함하게 된다. 이에 따라, 보다 정확하게 데이터부를 복조할 수 있다. 또한, 샘플수의 증가에 의해, 보다 높은 변조 주파수로 변조된 신호를 복조할 수 있다.
데이터부와 그 오류 정정 부호부는, 헤더부, 어드레스부 및 어드레스부의 오류 정정 부호부보다도, 높은 주파수로 변조되어 있다. 상기의 복조 방법에 의해, 데이터부 이후는 높은 변조 주파수로 변조되어 있어도 복조 가능하기 때문에, 이 구성에 의해, 패킷 전체의 송신 시간을 짧게 할 수 있어, 보다 멀리부터도, 보다 작은 광원으로부터도, 보다 빠르게 가시광 신호를 수신할 수 있다.
다음으로, 가변 길이 어드레스의 데이터를 수신하는 수신 방법에 대해서 설명한다.
도 75는, 본 실시의 형태에 있어서의 수신 방법의 일 예를 나타내는 플로우차트이다.
수신기는, 패킷을 수신하고(단계 S10121), 데이터부의 모든 비트가 0으로 되어 있는 패킷(이하, 0 종단 패킷이라고 한다)을 수신했는지 여부를 판정한다(단계 S10122). 여기서, 수신했다고 판정하면, 즉, 0 종단 패킷이 존재한다고 판정하면(단계 S10122의 Y), 수신기는, 그 0 종단 패킷의 어드레스 이하의 어드레스의 패킷이 모두 갖추어져 있는지 여부, 즉 수신하고 있는지 여부를 판정한다(단계 S10123). 또한, 어드레스는, 송신되는 데이터를 분할함으로써 생성된 패킷의 각각에 대하여, 그들 패킷의 송신순에 따라서 커지는 값으로 설정되어 있다. 수신기는, 모두 갖추어져 있다고 판정하면(단계 S10123의 Y), 0 종단 패킷의 어드레스가, 송신기로부터 송신되는 패킷의 최후 어드레스라고 판단한다. 그리고, 수신기는, 0 종단 패킷까지의 각 어드레스의 패킷의 데이터를 연결함으로써, 데이터를 복원한다(단계 S10124). 또한, 수신기는, 복원된 데이터의 에러 체크를 행한다(단계 S10125). 이에 따라, 송신되는 데이터가 몇 개로 분할되어 있는지 모르는 경우, 즉, 어드레스가 고정 길이가 아니고 가변 길이인 경우에도, 가변 길이 어드레스의 데이터를 송수신할 수 있고, 고정 길이 어드레스의 데이터보다도 많은 ID를, 높은 효율로 송수신할 수 있다.
이와 같이, 본 실시의 형태에서는, 수신기는, 복수의 휘선의 패턴으로부터, 각각 데이터부 및 어드레스부를 포함하는 복수의 패킷을 취득한다. 그리고, 수신기는, 취득된 복수의 패킷 중, 데이터부에 포함되는 모든 비트가 0을 나타내는 패킷인 0 종단 패킷이 존재하는지 여부를 판정한다. 0 종단 패킷이 존재한다고 판정한 경우에는, 수신기는, 복수의 패킷 중, 그 0 종단 패킷의 어드레스부에 관련지어져 있는 어드레스부를 포함하는 패킷인 N개(N은 1 이상의 정수)의 관련 패킷이 모두 존재하는지 여부를 판정한다. 다음으로, 수신기는, N개의 관련 패킷이 모두 존재한다고 판정한 경우에는, N개의 관련 패킷의 각각의 데이터부를 나열하여 복호함으로써, 가시광 식별자(ID)를 취득한다. 여기서, 0 종단 패킷의 어드레스부에 관련지어져 있는 어드레스부는, 0 종단 패킷의 어드레스부에 나타나는 어드레스보다도 작고 0 이상의 어드레스를 나타내는 어드레스부이다.
다음으로, 변조 주파수의 주기보다 긴 노광 시간을 이용한 수신 방법에 대해서 설명한다.
도 76과 도 77은, 본 실시의 형태에 있어서의 수신기가, 변조 주파수의 주기(변조 주기)보다 긴 노광 시간을 이용한 수신 방법을 설명하기 위한 도면이다.
예를 들면 도 76의 (a)에 나타내는 바와 같이, 노광 시간이 변조 주기와 동일한 시간으로 설정되면, 가시광 신호를 올바르게 수신할 수 없는 경우가 있다. 또한, 변조 주기는, 상술의 1개의 슬롯의 시간이다. 즉, 이러한 경우에는, 어느 슬롯의 휘도 상태를 반영하고 있는 노광 라인(도 76 중의 흑으로 나타내고 있는 노광 라인)이 적다. 그 결과, 이들 노광 라인의 화소치에 노이즈가 우연히 많이 포함된 경우에는, 송신기의 휘도를 추정하는 것이 어렵다.
한편, 예를 들면 도 76의 (b)에 나타내는 바와 같이, 노광 시간이 변조 주기보다도 긴 시간으로 설정되면, 가시광 신호를 올바르게 수신할 수 있다. 즉, 이러한 경우에는, 어느 슬롯의 휘도를 반영하고 있는 노광 라인이 많기 때문에, 많은 노광 라인의 화소치로부터 송신기의 휘도를 추정할 수 있어, 노이즈에 강하다.
또한, 노광 시간이 너무 길면, 반대로, 가시광 신호를 올바르게 수신할 수 없다.
예를 들면, 도 77의 (a)에 나타내는 바와 같이, 노광 시간이 변조 주기와 동일한 경우에는, 수신기로 수신되는 휘도 변화(즉, 각 노광 라인의 화소치의 변화)는, 송신에 이용되는 휘도 변화에 추종한다. 그러나, 도 77의 (b)에 나타내는 바와 같이, 노광 시간이 변조 주기의 3배인 경우에는, 수신기로 수신되는 휘도 변화는, 송신에 이용되는 휘도 변화에 충분히 추종할 수 없다. 또한, 도 77의 (c)에 나타내는 바와 같이, 노광 시간이 변조 주기의 10배인 경우에는, 수신기로 수신되는 휘도 변화는, 송신에 이용되는 휘도 변화에 전혀 추종할 수 없다. 즉, 노광 시간이 긴 쪽이, 대부분의 노광 라인으로부터 휘도를 추정할 수 있기 때문에 노이즈 내성이 높아지지만, 노광 시간이 길어지면, 식별 마진이 내려가거나, 혹은 식별 마진이 작아짐으로써 노이즈 내성이 낮아진다. 이들 밸런스에 의해, 노광 시간을 변조 주기의 2∼5배 정도로 함으로써, 가장 노이즈 내성을 높게 할 수 있다.
다음으로, 패킷의 분할수에 대해서 설명한다.
도 78은, 송신 데이터의 사이즈에 대한 효율적인 분할수를 나타내는 도면이다.
송신기가 데이터를 휘도 변화에 의해서 송신하는 경우, 송신되는 모든 데이터(송신 데이터)를 1개의 패킷에 포함하면, 그 패킷의 데이터 사이즈는 크다. 그러나, 그 송신 데이터를 복수의 부분 데이터로 분할하고, 그들 부분 데이터를 각 패킷에 포함하면, 각각의 패킷의 데이터 사이즈는 작아진다. 여기서, 수신기는, 촬상에 의해서, 그 패킷을 수신한다. 그러나, 패킷의 데이터 사이즈가 클수록, 수신기는 그 패킷을 1회의 촬상에 의해서 수신하는 것이 어려워져, 촬상을 반복할 필요가 있다.
따라서, 송신기는, 도 78의 (a) 및 (b)에 나타내는 바와 같이, 송신 데이터의 데이터 사이즈가 클수록, 그 송신 데이터의 분할수를 많게 하는 쪽이 바람직하다. 그러나, 분할수가 지나치게 많으면, 그들 부분 데이터를 모두 수신하지 않으면 송신 데이터를 복원할 수 없기 때문에, 반대로, 수신 효율이 저하한다.
따라서, 도 78의 (a)에 나타내는 바와 같이, 어드레스의 데이터 사이즈(어드레스 사이즈)가 가변이고, 송신 데이터의 데이터 사이즈가, 2－16비트, 16－24비트, 24－64비트, 66－78비트, 78－128비트, 128비트 이상인 경우에는, 각각, 1－2개, 2－4개, 4개, 4－6개, 6－8개, 7개 이상의 부분 데이터로 송신 데이터를 분할하면, 송신 데이터를 효율적으로 가시광 신호에 의해서 송신할 수 있다. 또한, 도 78의 (b)에 나타내는 바와 같이, 어드레스의 데이터 사이즈(어드레스 사이즈)가 4비트에 고정되고, 송신 데이터의 데이터 사이즈가, 2－8비트, 8－16비트, 16－30비트, 30－64비트, 66－80비트, 80－96비트, 96－132비트, 132비트 이상인 경우에는, 각각, 1－2개, 2－3개, 2－4개, 4－5개, 4－7개, 6개, 6－8개, 7개 이상의 부분 데이터에 송신 데이터를 분할하면, 송신 데이터를 효율적으로 가시광 신호에 의해서 송신할 수 있다.
또한, 송신기는, 복수의 부분 데이터의 각각을 포함하는 각 패킷에 의거하는 휘도 변화를 순차로 행한다. 예를 들면, 송신기는, 각 패킷의 어드레스순으로, 그 패킷에 의거하는 휘도 변화를 행한다. 또한, 송신기는, 어드레스순과 상이한 순서로, 그 복수의 부분 데이터에 의거하는 휘도 변화를 재차 행해도 된다. 이에 따라, 각 부분 데이터를 확실히 수신기에 수신시킬 수 있다.
다음으로, 수신기에 의한 통지 동작의 설정 방법에 대해서 설명한다.
도 79a는, 본 실시의 형태에 있어서의 설정 방법의 일 예를 나타내는 도면이다.
우선, 수신기는, 통지 동작을 식별하기 위한 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를, 수신기의 가까이에 있는 서버로부터 취득한다(단계 S10131). 여기서, 통지 동작은, 복수의 부분 데이터의 각각을 포함하는 각 패킷이 휘도 변화에 의해서 송신되어 수신기에 수신되었을 때에, 그들 패킷이 수신된 것을 수신기의 유저에게 통지하는 수신기의 동작이다. 예를 들면, 그 동작은, 음의 명동, 바이브레이션, 또는 화면 표시 등이다.
다음으로, 수신기는, 패킷화된 가시광 신호, 즉 복수의 부분 데이터의 각각을 포함하는 각 패킷을 수신한다(단계 S10132). 여기서, 수신기는, 그 가시광 신호에 포함되어 있는, 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를 취득한다(단계 S10133).
또한, 수신기는, 수신기의 현재의 통지 동작의 설정 내용, 즉, 수신기에 미리 설정되어 있는 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를 읽어낸다(단계 S10134). 또한, 수신기에 미리 설정되어 있는 통지 동작 식별자는, 예를 들면, 유저의 조작에 의해서 설정되어 있다.
그리고, 수신기는, 미리 설정되어 있는 통지 동작 식별자와, 단계 S10131 및 단계 S10133의 각각에서 취득된 통지 동작 식별자 중, 우선도가 가장 높은 식별자를 선택한다(단계 S10135). 다음으로, 수신기는, 선택한 통지 동작 식별자를 다시 스스로 고쳐 설정함으로써, 선택한 통지 동작 식별자에 의해서 나타나는 동작을 행하고, 가시광 신호의 수신을 유저에게 통지한다(단계 S10136).
또한, 수신기는, 단계 S10131 및 단계 S10133의 어느 한쪽을 행하지 않고, 2개의 통지 동작 식별자 중에서 우선도가 높은 통지 동작 식별자를 선택해도 된다.
또한, 극장 또는 미술관 등에 설치되어 있는 서버로부터 송신되는 통지 동작 식별자의 우선도, 또는, 그들 시설 내에서 송신되는 가시광 신호에 포함되는 통지 동작 식별자의 우선도는 높게 설정되어도 된다. 이에 따라, 유저의 설정에 상관없이, 그 시설 내에서는, 수신 통지를 위한 음을 울리지 않도록 할 수 있다. 또한, 그 외의 시설에서는, 통지 동작 식별자의 우선도를 낮게 해 둠으로써, 수신기는, 유저의 설정에 따른 동작에 의해서 수신을 통지할 수 있다.
도 79b는, 본 실시의 형태에 있어서의 설정 방법의 다른 예를 나타내는 도면이다.
우선, 수신기는, 통지 동작을 식별하기 위한 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를, 수신기의 가까이에 있는 서버로부터 취득한다(단계 S10141). 다음으로, 수신기는, 패킷화된 가시광 신호, 즉 복수의 부분 데이터의 각각을 포함하는 각 패킷을 수신한다(단계 S10142). 여기서, 수신기는, 그 가시광 신호에 포함되어 있는, 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를 취득한다(단계 S10143).
또한, 수신기는, 수신기의 현재의 통지 동작의 설정 내용, 즉, 수신기에 미리 설정되어 있는 통지 동작 식별자와, 그 통지 동작 식별자의 우선도(구체적으로는, 우선도를 나타내는 식별자)를 읽어낸다(단계 S10144).
그리고, 수신기는, 미리 설정되어 있는 통지 동작 식별자와, 단계 S10141 및 단계 S10143의 각각에서 취득된 통지 동작 식별자 중에, 통지음의 발생을 금지하는 동작을 나타내는 동작 통지 식별자가 포함되어 있는지 여부를 판정한다(단계 S10145). 여기서, 포함되어 있다고 판정하면(단계 S10145의 Y), 수신기는, 수신 완료를 통지하기 위한 통지음을 울린다(단계 S10146). 한편, 포함되어 있지 않다고 판정하면(단계 S10145의 N), 수신기는, 예를 들면 바이브레이션 등에 의해서, 수신 완료를 유저에게 통지한다(단계 S10147).
또한, 수신기는, 단계 S10141 및 단계 S10143의 어느 한쪽을 행하지 않고, 2개의 통지 동작 식별자 중에, 통지음의 발생을 금지하는 동작을 나타내는 동작 통지 식별자가 포함되어 있는지 여부를 판정해도 된다.
또한, 수신기는, 촬상에 의해서 얻어지는 화상에 의거하여 자기 위치 추정을 행하고, 추정된 위치, 또는 그 위치에 있는 시설에 대응지어진 동작에 의해서, 수신을 유저에게 통지해도 된다.
도 80은, 실시의 형태 10에 있어서의 정보 처리 프로그램의 처리를 나타내는 플로우차트이다.
이 정보 처리 프로그램은, 상술의 송신기의 발광체를 도 78에 나타내는 분할수에 따라서 휘도 변화시키기 위한 프로그램이다.
즉, 이 정보 처리 프로그램은, 송신 대상의 정보를 휘도 변화에 의해서 송신하기 위해서, 송신 대상의 정보를 컴퓨터에 처리시키는 정보 처리 프로그램이다. 구체적으로는, 이 정보 처리 프로그램은, 송신 대상의 정보를 부호화함으로써 부호화 신호를 생성하는 부호화 단계 SA41와, 생성된 부호화 신호의 비트수가 24∼64비트의 범위에 있는 경우, 부호화 신호를 4개의 부분 신호로 분할하는 분할 단계 SA42와, 4개의 부분 신호를 순차적으로 출력하는 출력 단계 SA43를, 컴퓨터에 실행시킨다. 또한, 이들 부분 신호는 패킷으로서 출력된다. 또한, 정보 처리 프로그램은, 부호화 신호의 비트수를 특정하고, 그 특정된 비트수에 의거하여, 부분 신호의 수를 결정하는 것을 컴퓨터에 시켜도 된다. 이 경우, 정보 처리 프로그램은, 부호화 신호를 분할함으로써, 그 결정된 수의 부분 신호를 생성하는 것을 컴퓨터에 시킨다.
이에 따라, 부호화 신호의 비트수가 24∼64비트의 범위에 있는 경우에는, 부호화 신호가 4개인 부분 신호로 분할되어 출력된다. 그 결과, 출력되는 4개의 부분 신호에 따라서 발광체가 휘도 변화하면, 그 4개의 부분 신호는 각각 가시광 신호로서 송신되어 수신기에 의해서 수신된다. 여기서, 출력되는 신호의 비트수가 많을수록, 수신기는 촬상에 의해서 그 신호를 적절히 수신하는 것이 어려워져, 수신 효율이 저하한다. 여기서, 그 신호를 비트수가 적은 신호, 즉 작은 신호로 분할해 두는 것이 바람직하다. 그러나, 신호를 많은 작은 신호로 지나치게 세세하게 분할하면, 수신기는, 모든 작은 신호의 각각을 개별적으로 수신하지 않으면 원래의 신호를 수신할 수 없기 때문에, 수신 효율이 저하한다. 따라서, 상술과 같이, 부호화 신호의 비트수가 24∼64비트의 범위에 있는 경우에는, 부호화 신호를 4개의 부분 신호로 분할하여 순차적으로 출력함으로써, 송신 대상의 정보를 나타내는 부호화 신호를 가장 좋은 수신 효율로 가시광 신호로서 송신할 수 있다. 그 결과, 다양한 기기간의 통신을 가능하게 할 수 있다.
또한, 출력 단계 SA43에서는, 제1의 순서에 따라서 4개의 부분 신호를 출력하고, 추가로, 제1의 순서와 상이한 제2의 순서에 따라서 4개의 부분 신호를 다시 출력해도 된다.
이에 따라, 그들 4개의 부분 신호가 순서를 바꾸어 반복 출력되기 때문에, 출력되는 각 신호가 가시광 신호로서 수신기에 송신되는 경우에는, 그들 4개의 부분 신호의 수신 효율을 더욱 높일 수 있다. 즉, 4개의 부분 신호를 동일한 순서로 반복 출력해도, 동일한 부분 신호가 수신기에 수신되지 않는 경우가 발생하지만, 그 순서를 바꿈으로써, 그러한 경우가 발생하는 것을 억제할 수 있다.
또한, 도 79a 및 도 79b에 나타내는 바와 같이, 출력 단계 SA43에서는, 추가로, 4개의 부분 신호에 통지 동작 식별자를 부수시켜 출력해도 된다. 통지 동작 식별자는, 4개의 부분 신호가 휘도 변화에 의해서 송신되어 수신기에 수신되었을 때에, 4개의 부분 신호가 수신된 것을 수신기의 유저에게 통지하는 수신기의 동작을 식별하기 위한 식별자이다.
이에 따라, 그 통지 동작 식별자가 가시광 신호로서 송신되어 수신기에 수신되는 경우에는, 수신기는, 그 통지 동작 식별자에 의해서 식별되는 동작에 따라서, 4개의 부분 신호의 수신을 유저에게 통지할 수 있다. 즉, 송신 대상의 정보를 송신하는 측에서, 수신기에 의한 통지 동작을 설정할 수 있다.
또한, 도 79a 및 도 79b에 나타내는 바와 같이, 출력 단계 SA43에서는, 추가로 통지 동작 식별자의 우선도를 식별하기 위한 우선도 식별자를 4개의 부분 신호에 부수시켜 출력해도 된다.
이에 따라, 그 우선도 식별자 및 통지 동작 식별자가 가시광 신호로서 송신되어 수신기에 수신되는 경우에는, 수신기는, 그 우선도 식별자에 의해서 식별되는 우선도에 따라서 통지 동작 식별자를 취급할 수 있다. 즉, 수신기가 다른 통지 동작 식별자를 취득하고 있는 경우에는, 수신기는, 가시광 신호로서 송신된 통지 동작 식별자에 의해서 식별되는 통지 동작과, 다른 통지 동작 식별자에 의해서 식별되는 통지 동작 중 한쪽을, 그 우선도에 의거하여 선택할 수 있다.
본 개시된 일양태에 관련된 정보 처리 프로그램은, 송신 대상의 정보를 휘도 변화에 의해서 송신하기 때문에, 상기 송신 대상의 정보를 컴퓨터에 처리시키는 정보 처리 프로그램으로서, 상기 송신 대상의 정보를 부호화함으로써 부호화 신호를 생성하는 부호화 단계와, 생성된 상기 부호화 신호의 비트수가 24∼64비트의 범위에 있는 경우, 상기 부호화 신호를 4개의 부분 신호로 분할하는 분할 단계와, 상기 4개의 부분 신호를 순차적으로 출력하는 출력 단계를, 상기 컴퓨터에 실행시킨다.
이에 따라, 도 77∼도 80에 나타내는 바와 같이, 부호화 신호의 비트수가 24∼64비트의 범위에 있는 경우에는, 부호화 신호가 4개의 부분 신호로 분할되어 출력된다. 그 결과, 출력되는 4개의 부분 신호에 따라서 발광체가 휘도 변화하면, 그 4개의 부분 신호는 각각 가시광 신호로서 송신되어 수신기에 의해서 수신된다. 여기서, 출력되는 신호의 비트수가 많을수록, 수신기는 촬상에 의해서 그 신호를 적절히 수신하는 것이 어려워져, 수신 효율이 저하한다. 여기서, 그 신호를 비트수가 적은 신호, 즉 작은 신호로 분할해 두는 것이 바람직하다. 그러나, 신호를 많은 작은 신호로 지나치게 세세하게 분할하면, 수신기는, 모든 작은 신호의 각각을 개별적으로 수신하지 않으면 원래의 신호를 수신할 수 없기 때문에, 수신 효율이 저하한다. 따라서, 상술과 같이, 부호화 신호의 비트수가 24∼64비트의 범위에 있는 경우에는, 부호화 신호를 4개의 부분 신호로 분할하여 순차적으로 출력함으로써, 송신 대상의 정보를 나타내는 부호화 신호를 가장 좋은 수신 효율로 가시광 신호로서 송신할 수 있다. 그 결과, 다양한 기기간의 통신을 가능하게 할 수 있다.
또한, 상기 출력 단계에서는, 제1의 순서에 따라서 상기 4개의 부분 신호를 출력하고, 추가로, 상기 제1의 순서와 상이한 제2의 순서에 따라서 상기 4개의 부분 신호를 다시 출력해도 된다.
이에 따라, 그들 4개의 부분 신호가 순서를 바꾸어 반복 출력되기 때문에, 출력되는 각 신호가 가시광 신호로서 수신기에 송신되는 경우에는, 그들 4개의 부분 신호의 수신 효율을 더욱 높일 수 있다. 즉, 4개의 부분 신호를 동일한 순서로 반복 출력해도, 동일한 부분 신호가 수신기에 수신되지 않는 경우가 발생하지만, 그 순서를 바꿈으로써, 그러한 경우가 발생하는 것을 억제할 수 있다.
또한, 상기 출력 단계에서는, 추가로, 상기 4개의 부분 신호에 통지 동작 식별자를 부수시켜 출력하고, 상기 통지 동작 식별자는, 상기 4개의 부분 신호가 휘도 변화에 의해서 송신되어 수신기에 수신되었을 때에, 상기 4개의 부분 신호가 수신된 것을 상기 수신기의 유저에게 통지하는 상기 수신기의 동작을 식별하기 위한 식별자여도 된다.
이에 따라, 그 통지 동작 식별자가 가시광 신호로서 송신되어 수신기에 수신되는 경우에는, 수신기는, 그 통지 동작 식별자에 의해서 식별되는 동작에 따라서, 4개의 부분 신호의 수신을 유저에게 통지할 수 있다. 즉, 송신 대상의 정보를 송신하는 측에서, 수신기에 의한 통지 동작을 설정할 수 있다.
또한, 상기 출력 단계에서는, 추가로, 상기 통지 동작 식별자의 우선도를 식별하기 위한 우선도 식별자를 상기 4개의 부분 신호에 부수시켜 출력해도 된다.
이에 따라, 그 우선도 식별자 및 통지 동작 식별자가 가시광 신호로서 송신되어 수신기에 수신되는 경우에는, 수신기는, 그 우선도 식별자에 의해서 식별되는 우선도에 따라서 통지 동작 식별자를 취급할 수 있다. 즉, 수신기가 다른 통지 동작 식별자를 취득하고 있는 경우에는, 수신기는, 가시광 신호로서 송신된 통지 동작 식별자에 의해서 식별되는 통지 동작과, 다른 통지 동작 식별자에 의해서 식별되는 통지 동작 중 한쪽을, 그 우선도에 의거하여 선택할 수 있다.
다음으로, 전자 기기의 네트워크 접속의 등록에 대해서 설명한다.
도 81은, 본 실시의 형태에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
이 송수신 시스템은, 예를 들면 세탁기 등의 전자 기기로서 구성되는 송신기(10131b)와, 예를 들면 스마트 폰으로서 구성되는 수신기(10131a)와, 액세스 포인트 또는 라우터로서 구성되는 통신 장치(10131c)를 구비한다.
도 82는, 본 실시의 형태에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우차트이다.
송신기(10131b)는, 개시 버튼이 눌려지면(단계 S10165), SSID, 패스워드, IP 어드레스, MAC 어드레스, 또는 암호 키 등의, 자신에게 접속하기 위한 정보를, Wi－Fi, Bluetooth(등록상표), 또는 이더넷(ethernet)(등록상표) 등을 통하여 송신하고(단계 S10166), 접속을 대기한다. 송신기(10131b)는, 이들 정보를, 직접적으로 송신해도 되고, 간접적으로 송신해도 된다. 간접으로 송신하는 경우, 송신기(10131b)는, 그들 정보에 관련지어진 ID를 송신한다. 그 ID를 수신한 수신기(10131a)는, 예를 들면, 그 ID에 관련지어져 있는 정보를 서버 등으로부터 다운로드한다.
수신기(10131a)는, 그 정보를 수신하여(단계 S10151), 송신기(10131b)에 접속하고, 액세스 포인트나 라우터로서 구성되는 통신 장치(10131c)에 접속하기 위한 정보(SSID, 패스워드, IP 어드레스, MAC 어드레스, 또는 암호키 등)를 송신기(10131b)에 송신한다(단계 S10152). 수신기(10131a)는, 송신기(10131b)가 통신 장치(10131c)에 접속하기 위한 정보(MAC 어드레스, IP 어드레스 또는 암호키 등)를 통신 장치(10131c)에 등록하고, 통신 장치(10131c)에 접속을 대기시킨다. 또한, 수신기(10131a)는, 송신기(10131b)로부터 통신 장치(10131c)에의 접속 준비가 완료한 것을 송신기(10131b)에 통지한다(단계 S10153).
송신기(10131b)는, 수신기(10131a)와의 접속을 절단하고(단계 S10168), 통신 장치(10131c)에 접속한다(단계 S10169). 접속이 성공하면(단계 S10170의 Y), 송신기(10131b)는, 통신 장치(10131c)를 통하여 수신기(10131a)에 접속 성공을 통지하고, 화면 표시나 LED 상태나 음성 등으로 유저에게 접속 성공을 통지한다(단계 S10171). 접속이 실패하면(단계 S10170의 N), 송신기(10131b)는, 가시광 통신으로 수신기(10131a)에 접속 실패를 통지하고, 성공시와 동일하게 유저에게 통지한다(단계 S10172). 또한, 접속 성공을 가시광 통신으로 통지해도 된다.
수신기(10131a)는, 통신 장치(10131c)에 접속하고(단계 S10154), 접속 성공이나 실패의 통지가 없으면(단계 S10155의 N, 또한 단계 S10156의 N), 통신 장치(10131c) 경유로 송신기(10131b)에 액세스가 가능한지 여부를 확인한다(단계 S10157). 할 수 없으면(단계 S10157의 N), 수신기(10131a)는, 송신기(10131b)로부터 수신한 정보를 이용한 송신기(10131b)에 접속이 소정의 횟수 이상 행해졌는지 여부를 판정한다(단계 S10158). 여기서, 소정의 횟수 이상 행해지지 않는다고 판정하면(단계 S10158의 N), 수신기(10131a)는, 단계 S10152로부터의 처리를 반복한다. 한편, 소정의 회수 이상 행해졌다고 판정하면(단계 S10158의 Y), 수신기(10131a)는, 처리 실패를 유저에게 통지한다(단계 S10159). 또한, 수신기(10131a)는, 단계 S10156에서, 접속 성공의 통지가 있었다고 판정하면(단계 S10156의 Y), 처리 성공을 유저에게 통지한다(단계 S10160). 즉, 수신기(10131a)는, 송신기(10131b)가 통신 장치(10131c)에 접속할 수 있었는 여부를, 화면 표시나 음성 등으로 유저에게 통지한다. 이에 따라, 유저에게 복잡한 입력을 시키지 않아도, 송신기(10131b)를 통신 장치(10131c)에 접속시킬 수 있다.
다음으로, 전자 기기의 네트워크 접속의 등록(다른 전자 기기를 통하여 접속하는 경우)에 대해서 설명한다.
도 83은, 본 실시의 형태에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
이 송수신 시스템은, 에어콘(10133b)과, 에어콘(10133b)에 접속된 무선 어댑터 등의 전자 기기로서 구성되는 송신기(10133c)와, 예를 들면 스마트 폰으로서 구성되는 수신기(10133a), 액세스 포인트 또는 라우터로서 구성되는 통신 장치(10133d)와, 예를 들면 무선 어댑터, 무선 액세스 포인트 또는 라우터 등으로서 구성되는 다른 전자 기기(10133e)를 구비한다.
도 84는, 본 실시의 형태에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우차트이다. 또한, 이하, 에어콘(10133b) 또는 송신기(10133c)를 전자 기기 A로 칭하고, 전자 기기(10133e)를 전자 기기 B라고 칭한다.
우선, 전자 기기 A는, 개시 버튼이 눌려지면(단계 S10188), 자신에게 접속하기 위한 정보(개체 ID, 패스워드, IP 어드레스, MAC 어드레스, 또는 암호키 등)를 송신하고(단계 S10189), 접속을 대기한다(단계 S10190). 전자 기기 A는, 이들 정보를, 상술과 동일하게, 직접적으로 송신해도 되고, 간접적으로 송신해도 된다.
수신기(10133a)는, 그 정보를 전자 기기 A로부터 수신하고(단계 S10181), 전자 기기 B에 그 정보를 송신한다(단계 S10182). 전자 기기 B는, 그 정보를 수신하면(단계 S10196), 그 수신한 정보에 따라서 전자 기기 A에 접속한다(단계 S10197). 그리고, 전자 기기 B는, 전자 기기 A와의 접속이 이루어졌는지 여부를 판정하고(단계 S10198), 그 성공 여부를 수신기(10133a)에 통지한다(단계 S10199 또는 단계 S101200).
전자 기기 A는, 소정의 시간의 사이에 전자 기기 B와 접속되면(단계 S10191의 Y), 전자 기기 B 경유로 수신기(10133a)에 접속 성공을 통지하고(단계 S10192), 접속되지 않으면(단계 S10191의 N), 가시광 통신으로 수신기(10133a)에 접속 실패를 통지한다(단계 S10193). 또한, 전자 기기 A는, 화면 표시, 발광 상태 또는 음성 등에 의해서, 접속의 성공 여부를 유저에게 통지한다. 이에 따라, 유저에게 복잡한 입력을 시키지 않아도, 전자 기기 A(송신기(10133c))를 전자 기기 B(전자 기기(10133e))에 접속시킬 수 있다. 또한, 도 83에 나타내는 에어콘(10133b)과 송신기(10133c)는 일체로 구성되어 있어도 되고, 동일하게 통신 장치(10133d)와 전자 기기(10133e) 함께 일체로 구성되어 있어도 된다.
다음으로, 적절한 촬상 정보의 송신에 대해서 설명한다.
도 85는, 본 실시의 형태에 있어서의 송수신 시스템의 응용예를 설명하기 위한 도면이다.
이 송수신 시스템은, 예를 들면 디지털 카메라나 디지털 비디오 카메라로서 구성되는 수신기(10135a)와, 예를 들면 조명으로서 구성되는 송신기(10135b)를 구비한다.
도 86은, 본 실시의 형태에 있어서의 송수신 시스템의 처리 동작을 나타내는 플로우차트이다.
우선, 수신기(10135a)는, 송신기(10135b)에, 촬상 정보 송신 명령을 보낸다(단계 S10211). 다음으로, 송신기(10135b)는, 촬상 정보 송신 명령을 수신한 경우, 촬상 정보 송신 버튼이 눌려진 경우, 촬상 정보 송신 스위치가 온으로 되어 있는 경우, 전원이 넣어진 경우에(단계 S10221의 Y), 촬상 정보를 송신한다(단계 S10222). 촬상 정보 송신 명령은, 촬상 정보를 송신시키기 위한 명령으로서, 촬상 정보는, 예를 들면 조명의 색 온도, 스펙트럼 분포, 조도 또는 배광을 나타낸다. 송신기(10135b)는, 촬상 정보를, 상술과 동일하게, 직접적으로 송신해도 되고, 간접적으로 송신해도 된다. 간접으로 송신하는 경우, 송신기(10135b)는, 촬상 정보에 관련지어진 ID를 송신한다. 그 ID를 수신한 수신기(10135a)는, 예를 들면, 그 ID에 관련지어져 있는 촬상 정보를 서버 등으로부터 다운로드한다. 이 때, 송신기(10135b)는, 자신에게 송신 정지 명령을 송신하기 위한 방법(송신 정지 명령을 전송하는 전파, 적외선, 또는 음파의 주파수, 혹은, 자신에 접속하기 위한 SSID, 패스워드 또는 IP 어드레스 등)을 송신해도 된다.
수신기(10135a)는, 촬상 정보를 수신하면(단계 S10212), 송신 정지 명령을 송신기(10135b)에 송신한다(단계 S10213). 여기서, 송신기(10135b)는, 수신기(10135a)로부터 송신 정지 명령을 수신하면(단계 S10223의), 촬상 정보의 송신을 정지하고, 일정하게 발광한다(단계 S10224).
또한, 수신기(10135a)는, 단계 S10212에서 수신한 촬상 정보에 따라서 촬상 파라미터를 설정한다(단계 S10214), 혹은, 촬상 정보를 유저에게 통지한다. 촬상 파라미터는, 예를 들면 화이트 밸런스, 노광 시간, 촛점 거리, 감도 또는 씬 모드이다. 이에 따라, 조명에 맞추어 최적의 설정으로 촬상할 수 있다. 다음으로, 수신기(10135a)는, 송신기(10135b)로부터의 촬상 정보의 송신이 정지되고 나서(단계 S10215의 Y), 촬상한다(단계 S10216). 이에 따라, 신호 송신에 의한 피사체의 밝기의 변화를 없애고 촬상을 행할 수 있다. 또한, 수신기(10135a)는, 단계 S10216의 후, 촬상 정보의 송신 개시를 촉구하는 송신 개시 명령을 송신기(10135b)에 송신해도 된다(단계 S10217).
다음으로, 충전 상태의 표시에 대해서 설명한다.
도 87은, 본 실시의 형태에 있어서의 송신기의 응용예를 설명하기 위한 도면이다.
예를 들면 충전기로서 구성되는 송신기(10137b)는, 발광부를 구비하고, 배터리의 충전 상태를 나타내는 가시광 신호를 발광부로부터 송신한다. 이에 따라, 고가의 표시 장치를 구비하지 않아도, 배터리의 충전 상태를 통지할 수 있다. 또한, 발광부로서 작은 LED를 이용한 경우에는, 가까이로부터 그 LED를 촬상하지 않으면 가시광 신호를 수신할 수 없다. 또한, 그 LED의 가까이에 돌기부가 있는 송신기(10137c)에서는, 돌기부가 방해로 LED를 근접 촬영하기 어렵다. 따라서, 송신기(10137c)로부터의 가시광 신호보다도, LED의 부근에 돌기부가 없는 송신기(10137b)로부터의 가시광 신호의 쪽이, 용이하게 수신할 수 있다.
(실시의 형태 11)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와 LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
우선, 데모 모드시와 고장시의 송신에 대해서 설명한다.
도 88은, 본 실시의 형태에 있어서의 송신기의 동작의 일 예를 설명하는 도면이다.
송신기는, 에러가 발생하고 있는 경우에는, 에러가 발생하고 있는 것을 나타내는 신호, 또는, 에러 코드에 대응하는 신호를 송신함으로써, 수신기에 에러가 발생하고 있는 것이나 에러 내용을 전달할 수 있다. 수신기는, 에러 내용에 맞추어 적절한 대응을 나타냄으로써, 에러를 수복하거나 서비스 센터에 에러 내용을 적절히 보고하거나 할 수 있다.
송신기는, 데모 모드로 되어 있는 경우는, 데모 코드를 송신한다. 이에 따라, 예를 들면 매장에서 상품인 송신기의 데모를 행하고 있는 경우에, 내점자가 데모 코드를 수신하고, 데모 코드에 관련지어진 상품 설명을 취득할 수 있다. 데모 모드인지 여부의 판단은, 송신기의 동작 설정이 데모 모드로 되어 있는, 매장용 CAS 카드가 삽입되어 있는, CAS 카드가 삽입되어 있지 않은, 기록용 미디어가 삽입되어 있지 않다고 하는 점으로부터 판단할 수 있다.
다음으로, 리모콘으로부터의 신호 송신에 대해서 설명한다.
도 89는, 본 실시의 형태에 있어서의 송신기의 동작의 일 예를 설명하는 도면이다.
예를 들면 에어콘의 리모콘으로서 구성되는 송신기가, 본체 정보를 수신했을 때에, 송신기가 본체 정보를 송신함으로써, 수신기는, 멀리의 본체의 정보를 가까이에 있는 송신기로부터 정보를 수신할 수 있다. 수신기는, 네트워크 넘어 등, 가시광 통신이 불가능한 장소에 존재하는 본체로부터의 정보를 수신할 수도 있다.
다음으로, 밝은 장소에 있을 때만 송신하는 처리에 대해서 설명한다.
도 90은, 본 실시의 형태에 있어서의 송신기의 동작의 일 예를 설명하는 도면이다.
송신기는, 주위의 밝기가 일정 이상이면 송신을 행하고, 일정 이하가 되면 송신을 정지한다. 이에 따라, 예를 들면 전철의 광고로서 구성되는 송신기는, 차량이 차고에 들어갔을 때에 자동으로 동작을 정지할 수 있어, 전지의 소모를 억제할 수 있다.
다음으로, 송신기의 표시에 맞춘 컨텐츠 전송(관련지음의 변경·스케줄링)에 대해서 설명한다.
도 91은, 본 실시의 형태에 있어서의 송신기의 동작의 일 예를 설명하는 도면이다.
송신기는, 표시하는 컨텐츠의 표시 타이밍에 맞추어, 수신기에 취득시키고 싶은 컨텐츠를 송신 ID에 관련짓는다. 표시 컨텐츠가 변경될 때마다, 관련지음의 변경을 서버에 등록한다.
송신기는, 표시 컨텐츠의 표시 타이밍을 이미 알고 있는 경우는, 표시 컨텐츠의 변화 타이밍에 맞추어 다른 컨텐츠가 수신기에 넘겨지도록, 서버에 설정한다. 서버는, 수신기로부터 송신 ID에 관련지어진 컨텐츠의 요구가 맞았을 때에는, 설정된 스케줄에 맞춘 컨텐츠를 수신기에 송신한다.
이에 따라, 예를 들면 디지털 사이네이지로서 구성되는 송신기가 표시 내용을 순차적으로로 변경하고 있는 경우에, 수신기는, 송신기가 표시하고 있는 컨텐츠에 맞춘 컨텐츠를 취득할 수 있다.
다음으로, 송신기의 표시에 맞춘 컨텐츠 전송(시각에 의한 동기)에 대해서 설명한다.
도 92는, 본 실시의 형태에 있어서의 송신기의 동작의 일 예를 설명하는 도면이다.
소정의 ID에 관련지어진 컨텐츠 취득의 요구에 대하여, 시각에 따라 상이한 컨텐츠를 넘기도록, 미리 서버에 등록해 둔다.
송신기는, 서버와 시각을 동기하고, 소정의 시각에 소정의 부분이 표시되도록 타이밍을 조정하여 컨텐츠를 표시한다.
이에 따라, 예를 들면 디지털 사이네이지로서 구성되는 송신기가 표시 내용을 순차적으로로 변경하고 있는 경우에, 수신기는, 송신기가 표시하고 있는 컨텐츠에 맞춘 컨텐츠를 취득할 수 있다.
다음으로, 송신기의 표시에 맞춘 컨텐츠 전송(표시 시각의 송신)에 대해서 설명한다.
도 93은, 본 실시의 형태에 있어서의 송신기와 수신기의 동작의 일 예를 설명하는 도면이다.
송신기는, 송신기의 ID에 더하여, 표시 중의 컨텐츠의 표시 시각을 송신한다. 컨텐츠 표시 시각은, 현재 표시하고 있는 컨텐츠를 특정할 수 있는 정보이며, 예를 들면 컨텐츠의 개시 시점으로부터의 경과 시각 등으로 표현할 수 있다.
수신기는, 수신한 ID에 관련지어진 컨텐츠를 서버로부터 취득하고, 수신한 표시 시각에 맞추어 컨텐츠를 표시한다. 이에 따라, 예를 들면 디지털 사이네이지로서 구성되는 송신기가 표시 내용을 순차적으로로 변경하고 있는 경우에, 수신기는, 송신기가 표시하고 있는 컨텐츠에 맞춘 컨텐츠를 취득할 수 있다.
또한, 수신기는, 시간의 경과에 따라서, 표시하는 컨텐츠를 변경한다. 이에 따라, 송신기의 표시 컨텐츠가 변화했을 때에 재차 신호를 수신하지 않아도, 표시 컨텐츠에 맞춘 컨텐츠가 표시된다.
다음으로, 유저의 허락 상황에 맞춘 데이터의 업로드에 대해서 설명한다.
도 94는, 본 실시의 형태에 있어서의 수신기의 동작의 일 예를 설명하는 도면이다.
수신기는, 유저가 어카운트 등록을 하고 있는 경우에는, 어카운트 등록시 등에 유저가 액세스 허가를 행하고 있는 정보(수신기의 위치나 전화 번호나 ID나 인스톨되어 있는 어플리케이션이나 유저의 연령이나 성별이나 직업이나 기호 등)를 수신한 ID와 함께 서버에 송신한다.
어카운트 등록이 되어 있지 않은 경우에는, 유저가 상기와 같은 정보의 업로드를 허가하고 있으면, 동일하게 서버에 송신하고, 허가하고 있지 않은 경우에는, 수신한 ID만을 서버에 송신한다.
이에 따라, 유저는 수신시의 상황이나 자신의 퍼스낼리티에 맞춘 컨텐츠를 수신할 수 있고, 또한, 서버는 유저의 정보를 얻음으로써 데이터 해석에 도움이 될 수 있다.
다음으로, 컨텐츠 재생 어플리케이션의 기동에 대해서 설명한다.
도 95는, 본 실시의 형태에 있어서의 수신기의 동작의 일 예를 설명하는 도면이다.
수신기는, 수신한 ID에 관련지어진 컨텐츠를 서버로부터 취득한다. 기동 중의 어플리케이션케이션이 취득 컨텐츠를 취급할 수 있는(표시하거나 재생하거나 할 수 있다) 경우에는, 기동 중의 어플리케이션에서 취득 컨텐츠를 표시·재생한다. 취급할 수 없는 경우는, 취급할 수 있는 어플리케이션이 수신기에 인스톨되어 있는지 여부를 확인하고, 인스톨되어 있는 경우는, 그 어플리케이션을 기동하여 취득 컨텐츠의 표시·재생을 행한다. 인스톨되어 있지 않은 경우는, 자동으로 인스톨 하거나 인스톨을 촉구하는 표시를 하거나, 다운로드 화면을 표시시키거나 하여, 인스톨 후에 취득 컨텐츠의 표시·재생을 행한다.
이에 따라, 취득 컨텐츠를 적절히 취급하는(표시·재생 등을 행한다) 것이 가능하다.
다음으로, 지정 어플리케이션의 기동에 대해서 설명한다.
도 96은, 본 실시의 형태에 있어서의 수신기의 동작의 일 예를 설명하는 도면이다.
수신기는, 수신한 ID에 관련지어진 컨텐츠와, 기동해야 할 어플리케이션을 지정하는 정보(어플리케이션 ID)를 서버로부터 취득한다. 기동 중의 어플리케이션이 지정 어플리케이션인 경우는, 취득한 컨텐츠를 표시·재생한다. 지정 어플리케이션이 수신기에 인스톨되어 있는 경우는, 지정 어플리케이션을 기동하여 취득 컨텐츠의 표시·재생을 행한다. 인스톨되어 있지 않은 경우는, 자동으로 인스톨하거나 인스톨을 촉구하는 표시를 하거나, 다운로드 화면을 표시시키거나 하여, 인스톨 후에 취득 컨텐츠의 표시·재생을 행한다.
수신기는, 어플리케이션 ID만을 서버로부터 취득하고, 지정 어플리케이션을 기동하는 것으로 해도 된다.
수신기는, 지정된 설정을 행하는 것으로 해도 된다. 수신기는, 지정된 파라미터를 설정하고, 지정된 어플리케이션을 기동하는 것으로 해도 된다.
다음으로, 스트리밍 수신과 통상 수신의 선택에 대해서 설명한다.
도 97은, 본 실시의 형태에 있어서의 수신기의 동작의 일 예를 설명하는 도면이다.
수신기는, 수신한 데이터의 소정의 어드레스의 값이 소정의 값인 경우나, 수신한 데이터가 소정의 식별자를 포함하는 경우는, 신호가 스트리밍 전송되어 있다고 판단하고, 스트리밍 데이터의 수신 방법으로 수신을 행한다. 그렇지 않은 경우는, 통상의 수신 방법으로 수신한다.
이에 따라, 스트리밍 전송과 통상 전송의 어느 방법으로 신호가 송신되어 있어도 수신을 행할 수 있다.
다음으로, 프라이빗 데이터에 대해서 설명한다.
도 98은, 본 실시의 형태에 있어서의 수신기의 동작의 일 예를 설명하는 도면이다.
수신기는, 수신한 ID의 값이 소정의 범위 내인 경우나, 소정의 식별자를 포함하는 경우에는, 어플리케이션 내에 테이블을 참조하고, 수신 ID가 테이블에 존재하면, 그 테이블에서 지정된 컨텐츠를 취득한다. 그렇지 않은 경우에는, 서버로부터 수신 ID로 하고 있던 컨텐츠를 취득한다.
이에 따라, 서버에 등록을 행하지 않아도 컨텐츠를 수신할 수 있다. 또한, 서버와의 통신을 행하지 않기 때문에, 민첩한 응답이 얻어진다.
다음으로, 주파수에 맞춘 노광 시간의 설정에 대해서 설명한다.
도 99는, 본 실시의 형태에 있어서의 수신기의 동작의 일 예를 설명하는 도면이다.
수신기는, 신호를 검지하고, 신호의 변조 주파수를 인식한다. 수신기는, 변조 주파수의 주기(변조 주기)에 맞추어 노광 시간을 설정한다. 예를 들면, 변조 주기와 동일한 정도의 노광 시간으로 함으로써, 신호를 수신하기 쉽게 할 수 있다. 또한, 예를 들면, 변조 주기의 정수배, 또는, 그에 가까운 값(대체로 ±30%정도)으로 노광 시간을 설정함으로써, 컨볼루션 복호에 의해서 신호를 수신하기 쉽게 할 수 있다.
다음으로, 송신기의 최적 파라미터 설정에 대해서 설명한다.
도 100은, 본 실시의 형태에 있어서의 수신기의 동작의 일 예를 설명하는 도면이다.
수신기는, 송신기로부터 수신한 데이터에 더하여, 현재 위치 정보나 유저에 관련된 정보(어드레스나 성별이나 연령이나 기호 등)를 서버에 송신한다. 서버는, 수신한 정보에 맞추어, 송신기가 최적으로 동작하기 위한 파라미터를 수신기에 송신한다. 수신기는, 수신한 파라미터를 송신기에 설정할 수 있는 경우에는 설정한다. 설정할 수 없는 경우에는, 파라미터를 표시하고, 유저가 송신기에 그 파라미터를 설정하도록 촉구한다.
이에 따라, 예를 들면, 송신기가 사용되고 있는 지역의 물의 성질에 최적화하여 세탁기를 동작시키거나, 유저가 사용하고 있는 쌀의 종류에 최적의 방법으로 밥을 하도록 밥솥을 동작시키거나 할 수 있다.
다음으로, 데이터의 구성을 나타내는 식별자에 대해서 설명한다.
도 101은, 본 실시의 형태에 있어서의 송신 데이터의 구성의 일 예를 설명하는 도면이다.
송신되는 정보는 식별자를 포함하고, 수신기는, 그 값에 의해서 후속하는 부분 구성을 알 수 있다. 예를 들면, 데이터의 길이, 에러 정정 부호의 종류나 길이, 데이터의 분할점 등을 특정할 수 있다.
이에 따라, 송신기는, 송신기나 통신로의 성질에 따라서 데이터 본체나 에러 정정 부호의 종류나 길이를 변경할 수 있다. 또한, 송신기는, 송신기의 ID에 더하여, 컨텐츠 ID를 송신함으로써, 수신기에 컨텐츠 ID에 따른 ID를 취득시킬 수 있다.
(실시의 형태 12)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
도 102는, 본 실시의 형태에 있어서의 수신기의 동작을 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 수신기(1210a)는, 이미지 센서에 의한 연속한 촬영을 행할 때에, 예를 들면 프레임 단위로 셔터 속도를 고속과 저속으로 전환한다. 추가로, 수신기(1210a)는, 그 촬영에 의해서 얻어지는 프레임에 의거하여, 그 프레임에 대한 처리를, 바코드 인식 처리와 가시광 인식 처리로 전환한다. 여기서, 바코드 인식 처리란, 저속의 셔터 속도에 의해서 얻어지는 프레임에 비쳐 있는 바코드를 디코딩하는 처리이다. 가시광 인식 처리란, 고속의 셔터 속도에 의해서 얻어지는 프레임에 비쳐 있는 상술의 휘선의 패턴을 디코딩하는 처리이다.
이러한 수신기(1210a)는, 영상 입력부(1211)와 바코드·가시광 식별부(1212)와, 바코드 인식부(1212a)와, 가시광 인식부(1212b)와, 출력부(1213)를 구비하고 있다.
영상 입력부(1211)는, 이미지 센서를 구비하고, 이미지 센서에 의한 촬영의 셔터 속도를 전환한다. 즉, 영상 입력부(1211)는, 예를 들면 프레임 단위로 셔터 속도를 저속과 고속으로 교호로 전환한다. 보다 구체적으로는, 영상 입력부(1211)는, 홀수번째의 프레임에 대해서는 셔터 속도를 고속으로 전환하고, 짝수번째의 프레임에 대해서는 셔터 속도를 저속으로 전환한다. 저속의 셔터 속도의 촬영은, 상술의 통상 촬영 모드에 의한 촬영이며, 고속의 셔터 속도의 촬영은, 상술의 가시광 통신 모드에 의한 촬영이다. 즉, 셔터 속도가 저속인 경우에는, 이미지 센서에 포함되는 각 노광 라인의 노광 시간은 길고, 피사체가 비추어진 통상 촬영 화상이 프레임으로서 얻어진다. 또한, 셔터 속도가 고속인 경우에는, 이미지 센서에 포함되는 각 노광 라인의 노광 시간은 짧고, 상술의 휘선이 비추어진 가시광 통신 화상을 프레임으로서 얻어진다.
바코드·가시광 식별부(1212)는, 영상 입력부(1211)에 의해서 얻어지는 화상에, 바코드가 나타나 있는지 여부, 또는 휘선이 나타나 있는지 여부를 판별함으로써, 그 화상에 대한 처리를 전환한다. 예를 들면, 바코드·가시광 식별부(1212)는, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 바코드가 나타나 있으면, 그 화상에 대한 처리를 바코드 인식부(1212a)에 실행시킨다. 한편, 바코드·가시광 식별부(1212)는, 고속의 셔터 속도의 촬영에 의해서 얻어진 화상에 휘선이 나타나 있으면, 그 화상에 대한 처리를 가시광 인식부(1212b)에 실행시킨다.
바코드 인식부(1212a)는, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 나타나 있는 바코드를 디코딩한다. 바코드 인식부(1212a)는, 그 디코딩에 의해서, 바코드의 데이터(예를 들면 바코드 식별자)를 취득하고, 그 바코드 식별자를 출력부(1213)에 출력한다. 또한, 바코드는, 일차원의 코드여도, 이차원의 코드(예를 들면, QR 코드(등록상표))여도 된다.
가시광 인식부(1212b)는, 고속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 나타나 있는 휘선의 패턴을 디코딩한다. 가시광 인식부(1212b)는, 그 디코딩에 의해서, 가시광의 데이터(예를 들면 가시광 식별자)를 취득하고, 그 가시광 식별자를 출력부(1213)에 출력한다. 또한, 가시광의 데이터는 상술의 가시광 신호이다.
출력부(1213)는, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임만을 표시한다. 따라서, 영상 입력부(1211)에 의한 촬영의 피사체가 바코드인 경우에는, 출력부(1213)는 바코드를 표시한다. 또한, 영상 입력부(1211)에 의한 촬영의 피사체가, 가시광 신호를 송신하는 디지털 사이네이지 등인 경우에는, 출력부(1213)는, 휘선의 패턴을 표시하는 일 없이, 그 디지털 사이네이지의 상을 표시한다. 그리고, 출력부(1213)는, 바코드 식별자를 취득한 경우에는, 그 바코드 식별자에 대응지어져 있는 정보를 예를 들면 서버 등으로부터 취득하고, 그 정보를 표시한다. 또한, 출력부(1213)는, 가시광 식별자를 취득한 경우에는, 그 가시광 식별자에 대응지어져 있는 정보를 예를 들면 서버 등으로부터 취득하고, 그 정보를 표시한다.
즉, 단말 장치인 수신기(1210a)는, 이미지 센서를 구비하고, 이미지 센서의 셔터 속도를, 제1의 속도와, 제1의 속도보다도 고속의 제2의 속도로 교호로 전환하면서, 이미지 센서에 의한 연속한 촬영을 행한다. 그리고, (a) 이미지 센서에 의한 촬영의 피사체가 바코드인 경우에는, 수신기(1210a)는, 셔터 속도가 제1의 속도일 때의 촬영에 의해서, 바코드가 비쳐 있는 화상을 취득하고, 그 화상에 비쳐 있는 바코드를 디코딩함으로써, 바코드 식별자를 취득한다. 또한, (b) 이미지 센서에 의한 촬영의 피사체가 광원(예를 들면 디지털 사이네이지 등)인 경우에는, 수신기(1210a)는, 셔터 속도가 제2의 속도일 때의 촬영에 의해서, 이미지 센서에 포함되는 복수의 노광 라인의 각각에 대응하는 휘선을 포함하는 화상인 휘선 화상을 취득한다. 그리고, 수신기(1210a)는, 취득된 휘선 화상에 포함되는 복수의 휘선의 패턴을 디코딩함으로써 가시광 신호를 가시광 식별자로서 취득한다. 또한, 이 수신기(1210a)는, 셔터 속도가 제1의 속도일 때의 촬영에 의해서 얻어지는 화상을 표시한다.
이러한 본 실시의 형태에 있어서의 수신기(1210a)에서는, 바코드 인식 처리와 가시광 인식 처리를 전환하여 행함으로써, 바코드의 디코딩을 행함과 더불어, 가시광 신호를 수신할 수 있다. 또한, 전환에 의해서, 소비 전력을 억제할 수 있다.
본 실시의 형태에 있어서의 수신기는, 바코드 인식 처리 대신에 화상 인식 처리를 가시광 처리와 동시에 행해도 된다.
도 103a는, 본 실시의 형태에 있어서의 수신기의 다른 동작을 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 수신기(1210b)는, 이미지 센서에 의한 연속된 촬영을 행할 때에, 예를 들면 프레임 단위로 셔터 속도를 고속과 저속으로 전환한다. 또한, 수신기(1210b)는, 그 촬영에 의해서 얻어지는 화상(프레임)에 대하여, 화상 인식 처리와 상술의 가시광 인식 처리를 동시에 실행한다. 화상 인식 처리는, 저속의 셔터 속도에 의해서 얻어지는 프레임에 비쳐 있는 피사체를 인식하는 처리이다.
이러한 수신기(1210b)는, 영상 입력부(1211)와, 화상 인식부(1212c)와, 가시광 인식부(1212b)와, 출력부(1215)를 구비하고 있다.
영상 입력부(1211)는, 이미지 센서를 구비하고, 이미지 센서에 의한 촬영의 셔터 속도를 전환한다. 즉, 영상 입력부(1211)는, 예를 들면 프레임 단위로 셔터 속도를 저속과 고속으로 교호로 전환한다. 보다 구체적으로는, 영상 입력부(1211)는, 홀수번째의 프레임에 대해서는 셔터 속도를 고속으로 전환하고, 짝수번째의 프레임에 대해서는 셔터 속도를 저속으로 전환한다. 저속의 셔터 속도의 촬영은, 상술의 통상 촬영 모드에 의한 촬영이며, 고속의 셔터 속도의 촬영은, 상술의 가시광 통신 모드에 의한 촬영이다. 즉, 셔터 속도가 저속인 경우에는, 이미지 센서에 포함되는 각 노광 라인의 노광 시간은 길고, 피사체가 비추어진 통상 촬영 화상을 프레임으로서 얻어진다. 또한, 셔터 속도가 고속인 경우에는, 이미지 센서에 포함되는 각 노광 라인의 노광 시간은 짧고, 상술의 휘선이 비추어진 가시광 통신 화상이 프레임으로서 얻어진다.
화상 인식부(1212c)는, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 나타나 있는 피사체를 인식함과 더불어, 그 피사체의 프레임 내의 위치를 특정한다. 화상 인식부(1212c)는, 인식의 결과, 그 피사체가 AR(Augmented　Reality)의 대상으로 되는 것(이하, AR 대상물이라고 한다)인지 여부를 판단한다. 그리고, 화상 인식부(1212c)는, 피사체가 AR 대상물이다고 판단하면, 그 피사체에 관한 정보를 표시하기 위한 데이터(예를 들면, 피사체의 위치 및 AR 마커 등)인 화상 인식 데이터를 생성하고, 그 AR 마커를 출력부(1215)에 출력한다.
출력부(1215)는, 상술의 출력부(1213)와 동일하게, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임만을 표시한다. 따라서, 영상 입력부(1211)에 의한 촬영의 피사체가, 가시광 신호를 송신하는 디지털 사이네이지 등인 경우에는, 출력부(1213)는, 휘선의 패턴을 표시하는 일 없이, 그 디지털 사이네이지의 상을 표시한다. 또한, 출력부(1215)는, 화상 인식부(1212c)로부터 화상 인식 데이터를 취득하면, 화상 인식 데이터에 의해서 나타나는 프레임 내의 피사체의 위치에 의거하여, 그 피사체를 둘러싸는 백색 테두리 형상의 인디케이터를 그 프레임에 중첩한다.
도 103b는, 출력부(1215)에 의해서 표시되는 인디케이터의 예를 나타내는 도면이다.
출력부(1215)는, 예를 들면 디지털 사이네이지로서 구성된 피사체의 상(1215a)를 둘러싸는 백색 테두리 형상의 인디케이터(1215b)를 프레임에 중첩한다. 즉, 출력부(1215)는, 화상 인식된 피사체를 나타내는 인디케이터(1215b)를 표시한다. 또한, 출력부(1215)는, 가시광 인식부(1212b)로부터 가시광 식별자를 취득하면, 그 인디케이터(1215b)의 색을 예를 들면 백색으로부터 적색으로 변경한다.
도 103c는, AR의 표시예를 나타내는 도면이다.
출력부(1215)는, 추가로, 그 가시광 식별자에 대응지어져 있는, 피사체에 관한 정보를 관련 정보로 하여 예를 들면 서버 등으로부터 취득한다. 출력부(1215)는, 화상 인식 데이터에 의해서 나타나는 AR 마커(1215c)에 관련 정보를 기재하고, 관련 정보가 기재된 AR 마커(1215c)를, 프레임 내의 피사체의 상(1215a)에 관련지어 표시한다.
이러한 본 실시의 형태에 있어서의 수신기(1210b)에서는, 화상 인식 처리와 가시광 인식 처리를 동시에 행함으로써, 가시광 통신을 이용한 AR을 실현할 수 있다. 또한, 도 103a에 나타내는 수신기(1210a)도, 수신기(1210b)와 동일하게, 도 103b에 나타내는 인디케이터(1215b)를 표시해도 된다. 이 경우, 수신기(1210a)는,저속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 있어서 바코드가 인식되면, 그 바코드를 둘러싸는 백색 테두리 형상의 인디케이터(1215b)를 표시한다. 그리고, 수신기(1210a)는, 그 바코드가 디코딩되면, 그 인디케이터(1215b)의 색을 백색으로부터 적색으로 변경한다. 동일하게, 수신기(1210a)는, 고속의 셔터 속도의 촬영에 의해서 얻어진 프레임에 있어서 휘선의 패턴이 인식되면, 그 휘선의 패턴이 있는 부위에 대응하는, 저속 프레임 내의 부위를 특정한다. 예를 들면, 디지털 사이네이지가 가시광 신호를 송신하고 있는 경우에는, 저속 프레임 내의 디지털 사이네이지의 상이 특정된다. 또한, 저속 프레임이란, 저속의 셔터 속도의 촬영에 의해서 얻어진 프레임이다. 그리고, 수신기(1210a)는, 저속 프레임 내에 있어서의 특정된 부위(예를 들면, 상술의 디지털 사이네이지의 상)를 둘러싸는 백색 테두리 형상의 인디케이터(1215b)를 저속 프레임에 중첩해 표시한다. 그리고, 수신기(1210a)는, 그 휘선의 패턴이 디코딩되면, 그 인디케이터(1215b)의 색을 백색으로부터 적색으로 변경한다.
도 104a는, 본 실시의 형태에 있어서의 송신기의 일 예를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 송신기(1220a)는, 송신기(1230)와 동기하여 가시광 신호를 송신한다. 즉, 송신기(1220a)는, 송신기(1230)가 가시광 신호를 송신하는 타이밍에서, 그 가시광 신호와 동일한 가시광 신호를 송신한다. 또한, 송신기(1230)는, 발광부(1231)를 구비하고, 그 발광부(1231)가 휘도 변화함으로써, 가시광 신호를 송신한다.
이러한 송신기(1220a)는, 수광부(1221)와, 신호 해석부(1222)와, 송신 클록 조정부(1223a)와, 발광부(1224)를 구비한다. 발광부(1224)는, 송신기(1230)로부터 송신되는 가시광 신호와 동일한 가시광 신호를 휘도 변화에 의해서 송신한다. 수광부(1221)는, 송신기(1230)로부터의 가시광을 수광함으로써, 송신기(1230)로부터 가시광 신호를 수신한다. 신호 해석부(1222)는, 수광부(1221)에 의해서 수신된 가시광 신호를 해석하고, 그 해석 결과를 송신 클록 조정부(1223a)에 송신한다. 송신 클록 조정부(1223a)는, 그 해석 결과에 의거하여, 발광부(1224)로부터 송신되는 가시광 신호의 타이밍을 조정한다. 즉, 송신 클록 조정부(1223a)는, 송신기(1230)의 발광부(1231)로부터 가시광 신호가 송신되는 타이밍과, 발광부(1224)로부터 가시광 신호가 송신되는 타이밍이 일치하도록, 발광부(1224)에 의한 휘도 변화의 타이밍을 조정한다.
이에 따라, 송신기(1220a)에 의해서 송신되는 가시광 신호의 파형과, 송신기(1230)에 의해서 송신되는 가시광 신호의 파형을 타이밍적으로 일치시킬 수 있다.
도 104b는, 본 실시의 형태에 있어서의 송신기의 다른 예를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 송신기(1220b)는, 송신기(1220a)와 동일하게, 송신기(1230)와 동기하여 가시광 신호를 송신한다. 즉, 송신기(1200b)는, 송신기(1230)가 가시광 신호를 송신하는 타이밍에서, 그 가시광 신호와 동일한 가시광 신호를 송신한다.
이러한 송신기(1220b)는, 제1의 수광부(1221a)와, 제2의 수광부(1221b)와, 비교부(1225)와, 송신 클록 조정부(1223b)와, 발광부(1224)를 구비한다.
제1의 수광부(1221a)는, 수광부(1221)와 동일하게, 송신기(1230)로부터의 가시광을 수광함으로써, 그 송신기(1230)로부터 가시광 신호를 수신한다. 제2의 수광부(1221b)는, 발광부(1224)로부터의 가시광을 수광한다. 비교부(1225)는, 제1의 수광부(1221a)에 의해서 가시광이 수광된 제1의 타이밍과, 제2의 수광부(1221b)에의해서 가시광이 수광된 제2의 타이밍을 비교한다. 그리고, 비교부(1225)는, 그 제1의 타이밍과 제2의 타이밍의 차(즉 지연 시간)를 송신 클록 조정부(1223b)에 출력한다. 송신 클록 조정부(1223b)는, 그 지연 시간이 단축되도록, 발광부(1224)로부터 송신되는 가시광 신호의 타이밍을 조정한다.
이에 따라, 송신기(1220b)에 의해서 송신되는 가시광 신호의 파형과, 송신기(1230)에 의해서 송신되는 가시광 신호의 파형을 타이밍적으로 보다 정확하게 일치시킬 수 있다.
또한, 도 104a 및 도 104b에 나타내는 예에서는, 2개의 송신기가 동일한 가시광 신호를 송신했지만, 상이한 가시광 신호를 송신해도 된다. 즉, 2개의 송신기는, 동일한 가시광 신호를 송신할 때에는, 상술과 같이 동기를 구하여 송신한다. 그리고, 2개의 송신기는, 상이한 가시광 신호를 송신할 때에는, 2개의 송신기 중의 한쪽의 송신기만이 가시광 신호를 송신하고, 그 사이, 다른쪽의 송신기는 일정하게 점등 또는 소등한다. 그 후, 한쪽의 송신기는 일정하게 점등 또는 소등하고, 그 사이, 다른쪽의 송신기만이 가시광 신호를 송신한다. 또한, 2개의 송신기가, 서로 상이한 가시광 신호를 동시에 송신해도 된다.
도 105a는, 본 실시의 형태에 있어서의 복수의 송신기에 의한 동기 송신의 일 예를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 복수의 송신기(1220)는, 도 105a에 나타내는 바와 같이, 예를 들면 일렬로 배열된다. 또한, 이들 송신기(1220)는, 도 104a에 나타내는 송신기(1220a) 또는 도 104b에 나타내는 송신기(1220b)와 동일한 구성을 갖는다. 이러한 복수의 송신기(1220)의 각각은, 양 인접하는 송신기(1220) 중 한쪽의 송신기(1220)와 동기하여 가시광 신호를 송신한다.
이에 따라, 대부분의 송신기가 가시광 신호를 동기하여 송신할 수 있다.
도 105b는, 본 실시의 형태에 있어서의 복수의 송신기에 의한 동기 송신의 일 예를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 복수의 송신기(1220) 중의 1개의 송신기(1220)는, 가시광 신호의 동기를 취하기 위한 기준이 되고, 나머지 복수의 송신기(1220)는, 그 기준에 맞추도록 가시광 신호를 송신한다.
이에 따라, 대부분의 송신기가 가시광 신호를 보다 정확하게 동기하여 송신할 수 있다.
도 106은, 본 실시의 형태에 있어서의 복수의 송신기에 의한 동기 송신의 다른 예를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 복수의 송신기(1240)의 각각은, 동기 신호를 수신하고, 그 동기 신호에 따라 가시광 신호를 송신한다. 이에 따라, 복수의 송신기(1240)의 각각으로부터 가시광 신호가 동기하여 송신된다.
구체적으로는, 복수의 송신기(1240)의 각각은, 제어부(1241)와, 동기 제어부(1242)와, 포토 커플러(1243)와, LED 드라이브 회로(1244)와, LED(1245)와, 포토 다이오드(1246)를 구비한다.
제어부(1241)는, 동기 신호를 수신하고, 그 동기 신호를 동기 제어부(1242)에 출력한다.
LED(1245)는, 가시광을 방출하는 광원으로서, LED 드라이브 회로(1244)에 의한 제어에 따라서 명멸(즉 휘도 변화)한다. 이에 따라, 가시광 신호가 LED(1245)로부터 송신기(1240)의 외부로 송신된다.
포토 커플러(1243)는, 동기 제어부(1242)와 LED 드라이브 회로(1244)의 사이를 전기적으로 절연하면서, 그 사이에서 신호를 전달한다. 구체적으로는, 포토 커플러(1243)는, 동기 제어부(1242)로부터 송신되는 후술의 송신 개시 신호를 LED 드라이브 회로(1244)에 전달한다.
LED 드라이브 회로(1244)는, 동기 제어부(1242)로부터 포토 커플러(1243)를 통하여 송신 개시 신호를 수신하면, 그 송신 개시 신호를 수신한 타이밍에서, 가시광 신호의 송신을 LED(1245)에 개시시킨다.
포토 다이오드(1246)는, LED(1245)로부터 발해지는 가시광을 검출하고, 가시광을 검출한 것을 나타내는 검출 신호를 동기 제어부(1242)에 출력한다.
동기 제어부(1242)는, 동기 신호를 제어부(1241)로부터 수신하면, 송신 개시 신호를, 포토 커플러(1243)를 통하여 LED 드라이브 회로(1244)에 송신한다. 이 송신 개시 신호가 송신됨으로써, 가시광 신호의 송신이 개시된다. 또한, 동기 제어부(1242)는, 그 가시광 신호의 송신에 의해서 포토 다이오드(1246)로부터 검출 신호를 수신하면, 그 검출 신호를 수신한 타이밍과, 제어부(1241)로부터 동기 신호를 수신한 타이밍의 차인 지연 시간을 산출한다. 동기 제어부(1242)는, 다음의 동기 신호를 제어부(1241)로부터 수신하면, 그 산출된 지연 시간에 의거하여, 다음의 송신 개시 신호를 송신하는 타이밍을 조정한다. 즉, 동기 제어부(1242)는, 다음의 동기 신호에 대한 지연 시간이 미리 정해진 설정 지연 시간이 되도록, 다음의 송신 개시 신호를 송신하는 타이밍을 조정한다. 이에 따라, 동기 제어부(1242)는, 그 조정된 타이밍에서, 다음의 송신 개시 신호를 송신한다.
도 107은, 송신기(1240)에 있어서의 신호 처리를 설명하기 위한 도면이다.
동기 제어부(1242)는, 동기 신호를 수신하면, 소정의 타이밍에 지연 시간 설정 펄스가 발생하는 지연 시간 설정 신호를 생성한다. 또한, 동기 신호를 수신한다는 것은, 구체적으로는 동기 펄스를 수신하는 것이다. 즉, 동기 제어부(1242)는, 동기 펄스의 하강으로부터, 상술의 설정 지연 시간만큼 경과한 타이밍에 지연 시간 설정 펄스가 상승하도록 지연 시간 설정 신호를 생성한다.
그리고, 동기 제어부(1242)는, 동기 펄스의 하강으로부터, 전회에 얻어진 보정치 N만큼 늦은 타이밍에 송신 개시 신호를, 포토 커플러(1243)를 통하여 LED 드라이브 회로(1244)에 송신한다. 그 결과, LED 드라이브 회로(1244)에 의해서 LED(1245)로부터 가시광 신호가 송신된다. 여기서, 동기 제어부(1242)는, 동기 펄스의 하강으로부터, 고유 지연 시간과 보정치 N의 합만큼 늦은 타이밍에서, 포토 다이오드(1246)로부터 검출 신호를 수신한다. 즉, 그 타이밍으로부터 가시광 신호의 송신이 개시된다. 이하, 그 타이밍을 송신 개시 타이밍이라고 한다. 또한, 상술의 고유 지연 시간은, 포토 커플러(1243) 등의 회로에 기인하는 지연 시간이고, 동기 제어부(1242)가 동기 신호를 수신하고 곧장 송신 개시 신호를 송신해도 발생하는 지연 시간이다.
동기 제어부(1242)는, 송신 개시 타이밍으로부터 지연 시간 설정 펄스의 상승까지의 시간차를, 수정 보정치 N으로서 특정한다. 그리고, 동기 제어부(1242)는, 보정치(N＋1)를, 보정치(N＋1)=보정치 N＋수정 보정치 N에 의해서 산출해 보존해 둔다. 이에 따라, 동기 제어부(1242)는, 다음의 동기 신호(동기 펄스)를 수신했을 때에는, 그 동기 펄스의 하강으로부터, 보정치(N＋1)만큼 늦은 타이밍에서 송신 개시 신호를 LED 드라이브 회로(1244)에 송신한다. 또한, 수정 보정치 N은 양의 값뿐만 아니라 음의 값으로도 될 수 있다.
이에 따라, 복수의 송신기(1240)의 각각은, 동기 신호(동기 펄스)를 수신하고 나서, 설정 지연 시간 경과 후에 가시광 신호를 송신하기 때문에, 정확하게 동기하여 가시광 신호를 송신할 수 있다. 즉, 복수의 송신기(1240)의 각각에서, 포토 커플러(1243) 등의 회로에 기인하는 고유 지연 시간에 편차가 있다고 해도, 그 편차에 영향을 받는 일 없이, 복수의 송신기(1240)의 각각으로부터의 가시광 신호의 송신을 정확하게 동기시킬 수 있다.
또한, LED 드라이브 회로는, 큰 전력을 소비하는 것이고, 동기 신호를 취급하는 제어 회로에서는 포토 커플러 등을 이용해 전기적으로 절연된다. 따라서, 이러한 포토 커플러가 이용되는 경우에는, 상술의 고유 지연 시간의 편차에 의해서, 복수의 송신기로부터의 가시광 신호의 송신을 동기시키는 것이 어렵다. 그러나, 본 실시의 형태에 있어서의 복수의 송신기(1240)에서는, 포토 다이오드(1246)에 의해서 LED(1245)의 발광 타이밍이 검지되어, 동기 제어부(1242)에 의해서 동기 신호로부터의 지연 시간이 검지되고, 그 지연 시간이 미리 설정된 지연 시간(상술의 설정 지연 시간)이 되도록 조정된다. 이에 따라, 각각 예를 들면 LED 조명으로서 구성되는 복수의 송신기에 구비되는 포토 커플러에, 개체 편차가 있어도, 복수의 LED 조명으로부터 가시광 신호(예를 들면 가시광 ID)를 고정밀도로 동기한 상태로 송신시킬 수 있다.
또한, 가시광 신호 송신 기간 이외는 LED 조명을 점등시켜도, 소등시켜도 된다. 상기 가시광 신호 송신 기간 이외를 점등시키는 경우는, 가시광 신호의 최초의 하강 엣지를 검출하면 된다. 상기 가시광 신호 송신 기간 이외를 소등시키는 경우는, 가시광 신호의 최초의 상승 엣지를 검출하면 된다.
또한, 상술의 예에서는, 송신기(1240)는, 동기 신호를 수신할 때마다, 가시광 신호를 송신하지만, 동기 신호를 수신하지 않아도, 가시광 신호를 송신해도 된다. 즉, 송신기(1240)는, 동기 신호의 수신에 따라 가시광 신호를 한번 송신하면, 동기 신호를 수신하지 않아도 가시광 신호를 순차적으로 송신해도 된다. 구체적으로는, 송신기(1240)는, 동기 신호의 한 번의 수신에 대하여, 가시광 신호의 송신을 2∼수천회, 순차적으로 행해도 된다. 또한, 송신기(1240)는, 100m초에 1회의 비율 또는 몇 초에 1회의 비율로, 동기 신호에 따른 가시광 신호의 송신을 행해도 된다.
또한, 동기 신호에 따른 가시광 신호의 송신이 반복해 행해질 때는, 상술의 설정 지연 시간에 의해서 LED(1245)의 발광의 연속성이 없어질 가능성이 있다. 즉, 조금 긴 블랭킹 기간이 발생할 가능성이 있다. 그 결과, LED(1245)의 점멸이 사람에게 시인되어 버려, 이른바 플리커가 발생할 가능성이 있다. 여기서, 송신기(1240)는, 60Hz 이상의 주기로, 동기 신호에 따른 가시광 신호의 송신을 행해도 된다. 이에 따라, 점멸이 고속으로 행해져, 그 점멸은 사람에게 시인되기 어려워진다. 그 결과, 플리커의 발생을 억제할 수 있다. 또는, 송신기(1240)는, 예를 들면 몇분에 1회의 주기 등의 충분히 긴 주기로, 동기 신호에 따른 가시광 신호의 송신을 행해도 된다. 이에 따라, 점멸이 사람에게 시인되어 버리지만, 점멸이 반복 연속하여 시인되는 것을 방지할 수 있어, 플리커가 사람에게 주는 불쾌감을 경감할 수 있다.
(수신 방법의 전 처리)
도 108은, 본 실시의 형태에 있어서의 수신 방법의 일 예를 나타내는 플로우차트이다. 또한, 도 109는, 본 실시의 형태에 있어서의 수신 방법의 일 예를 설명하기 위한 설명도이다.
우선, 수신기는, 노광 라인에 평행한 방향으로 배열되어 있는 복수의 화소의 각각의 화소치의 평균치를 계산한다(단계 S1211). 중심 극한 정리에 의해, N개의 화소의 화소치를 평균하면, 노이즈량의 기대치는 N의 마이너스 1/2승이 되어, SN비가 개선된다.
다음으로, 수신기는, 모든 색의 각각에서, 화소치가 수직 방향으로 동일한 변화를 하고 있는 부분만 남기고, 상이한 변화를 하고 있는 부분에서는 화소치의 변화를 제거한다(단계 S1212). 송신기에 구비되어 있는 발광부의 휘도에 의해서 송신 신호(가시광 신호)가 표현되는 경우, 송신기인 조명이나 디스플레이의 백 라이트의 휘도가 변화한다. 이 때에는, 도 109의 (b)의 부분과 같이, 모든 색의 각각에서 화소치가 동일한 방향으로 변화한다. 도 109의 (a) 및 (c)의 부분에서는, 각 색에서 화소치가 상이한 변화를 하고 있다. 이들 부분에서는, 수신 노이즈 혹은 디스플레이 또는 사이네이지의 그림에 의해서 화소치가 변동하고 있기 때문에, 이들 변동을 제거함으로써, SN비를 개선할 수 있다.
다음으로, 수신기는, 휘도치를 구한다(단계 S1213). 휘도는 색에 의한 변화를 받기 어렵기 때문에, 디스플레이 또는 사이네이지의 그림에 의한 영향을 배제할 수 있어, SN비를 개선할 수 있다.
다음으로, 수신기는, 휘도치를 로우패스 필터에 넣는다(단계 S1214). 본 실시의 형태에 있어서의 수신 방법에서는, 노광 시간의 길이에 의한 이동 평균 필터가 걸려 있기 때문에, 고주파수 영역에는 거의 신호는 포함되지 않고, 노이즈가 지배적이 된다. 그 때문에, 고주파수 영역을 컷하는 로우패스 필터를 이용함으로써, SN비를 개선할 수 있다. 노광 시간의 역수까지의 주파수까지는 신호 성분이 많기 때문에, 그 이상의 주파수를 차단함으로써, SN비의 개선의 효과를 크게 할 수 있다. 신호에 포함되어 있는 주파수 성분이 유한인 경우는, 그 주파수보다 높은 주파수를 차단함으로써, SN비를 개선할 수 있다. 로우패스 필터에는, 주파수 진동 성분을 포함하지 않는 필터(버터워스 필터 등)가 적합하다.
(컨볼루션 최우(最尤) 복호에 의한 수신 방법)
도 110은, 본 실시의 형태에 있어서의 수신 방법의 다른 예를 나타내는 플로우차트이다. 이하, 이 도면을 이용하여, 노광 시간이 송신 주기보다 긴 경우의 수신 방법에 대해서 설명한다.
노광 시간이 송신 주기의 정수배인 경우에, 가장 정밀도 좋게 수신을 행할 수 있다. 정수배가 아닌 경우에도, (N±0.33)배(N은 정수) 정도의 범위이면 수신을 행할 수 있다.
우선, 수신기는, 송수신 오프셋을 0으로 설정한다(단계 S1221). 송수신 오프셋이란, 송신의 타이밍과 수신의 타이밍의 어긋남을 수정하기 위한 값이다. 이 어긋남은 불명확하기 때문에, 수신기는, 그 송수신 오프셋의 후보가 되는 값을 조금씩 변화시켜, 가장 앞뒤가 맞는 값을 송수신 오프셋에 채용한다.
다음으로, 수신기는, 송수신 오프셋이 송신 주기 미만인지 여부를 판정한다(단계 S1222). 여기서, 수신의 주기와 송신 주기는 동기하고 있지 않기 때문에, 송신 주기에 맞춘 수신치가 얻어진다고는 한정되지 않는다. 그 때문에, 수신기는, 단계 S1222에서, 송신 주기 미만이라고 판정하면(단계 S1222의 Y), 그 부근의 수신치를 이용하여, 송신 주기마다, 송신 주기에 맞춘 수신치(예를 들면 화소치)를 보간에 의해서 계산한다(단계 S1223). 보간 방법에는, 선형 보간, 최근 방치(傍値), 또는 스플라인 보간 등을 이용할 수 있다. 다음으로, 수신기는, 송신 주기마다 구한 수신치의 차분을 구한다(단계 S1224).
수신기는, 송수신 오프셋에 소정의 값을 더하고(단계 S1226), 단계 S1222로부터의 처리를 반복 실행한다. 또한, 수신기는, 단계 S1222에서, 송신 주기 미만이 아니라고 판정하면(단계 S1222의 N), 각 송수신 오프셋에 대하여 계산된 수신 신호의 우도 중 가장 높은 우도를 특정한다. 그리고, 수신기는, 그 가장 높은 우도가 소정의 값 이상인지 여부를 판정한다(단계 S1227). 소정의 값 이상으로 판정하면(단계 S1227의 Y), 수신기는, 가장 우도가 높았던 수신 신호를 최종적인 추정 결과로서 이용한다. 또는, 수신기는, 가장 높았던 우도로부터 소정의 값을 뺀 값 이상의 우도를 갖는 수신 신호를 수신 신호 후보로서 이용한다(단계 S1228). 한편, 단계 S1227에 있어서, 가장 높은 우도가 소정의 값 미만으로 판정하면(단계 S1227의 N), 수신기는, 추정 결과를 파기한다(단계 S1229).
노이즈가 지나치게 많은 경우에는 수신 신호의 추정을 적절히 할 수 없는 경우가 많아, 동시에 우도가 낮아진다. 따라서, 우도가 낮은 경우에는 추정 결과를 파기함으로써, 수신 신호의 신뢰성을 향상시킬 수 있다. 또한, 입력 화상에 유효한 신호가 포함되어 있지 않은 경우라도, 최우 복호에서는 유효한 신호를 추정 결과로서 출력해 버린다고 하는 문제가 있다. 그러나, 이 경우도 우도가 낮아지기 때문에, 우도가 낮은 경우는 추정 결과를 파기함으로써, 이 문제를 회피할 수도 있다.
(실시의 형태 13)
본 실시의 형태에서는, 가시광 통신의 프로토콜 송출 방식에 대해서 설명한다.
(다치 진폭 펄스 신호)
도 111, 도 112 및 도 113은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
펄스의 진폭에 의미를 갖게 함으로써, 단위 시간당에 보다 많은 정보를 표현할 수 있다. 예를 들면, 진폭을 3단계로 분류하면, 도 111과 같이, 평균 휘도는 50%로 유지한 채로, 2슬롯의 송신 시간에 3치를 표현할 수 있다. 단, 도 111의 (c)를 연속으로 송신하면 휘도 변화가 없기 때문에, 신호의 존재를 알기 어렵다. 또한, 디지털 처리에서는 3치는 조금 취급하기 어렵다.
여기서, 도 112의 (a) 내지 (d)의 4종류의 심볼을 이용함으로써, 평균 휘도는 50%로 유지한 채, 평균 3슬롯의 송신 시간에 4치를 표현할 수 있다. 심볼에 따라 송신 시간이 상이하지만, 심볼의 최후의 상태를 휘도가 낮은 상태로 함으로써, 심볼의 종료 시점을 인식할 수 있다. 휘도가 높은 상태와 낮은 상태를 바꿔 넣어도 동일한 효과가 얻어진다. 도 112의 (e)는, (a)를 2회 송신하는 것과 구별이 되지 않기 때문에, 적합하지 않다. 도 112의 (f)와 (g)는, 중간 휘도가 연속하기 때문에, 약간 인식하기 어렵지만, 이용할 수 있다.
도 113의 (a)나 (b)의 패턴을 헤더로서 이용하는 것을 생각할 수 있다. 이들 패턴은 주파수 해석에 있어서 특정의 주파수 성분을 강하게 갖기 때문에, 이들 패턴을 헤더로 함으로써, 주파수 해석에 의해서 신호 검출을 행할 수 있다.
도 113의 (c)와 같이, (a)나 (b)의 패턴을 이용해 송신 패킷을 구성한다. 특정 길이의 패턴을 패킷 전체의 헤더로 하고, 상이한 길이의 패턴을 세퍼레이터로서 이용함으로써, 데이터를 단락지을 수 있다. 또한, 도중의 개소에 이 패턴을 포함함으로써, 신호 검출을 용이하게 할 수 있다. 이에 따라, 1패킷이 1프레임의 화상의 촬상 시간보다도 긴 경우라도, 수신기는, 데이터를 이어 맞추어 복호할 수 있다. 또한, 이에 따라, 세퍼레이터의 수를 조정함으로써, 패킷의 길이를 가변으로 할 수 있다. 패킷 헤더의 패턴의 길이로 패킷 전체의 길이를 표현한다고 해도 된다. 또한, 세퍼레이터를 패킷 헤더로 하고, 세퍼레이터의 길이를 데이터의 어드레스로 함으로써, 수신기는, 부분적으로 수신한 데이터를 합성할 수 있다.
송신기는, 이와 같이 구성한 패킷을 반복하여 송신한다. 도 113의 (c)의 패킷 1∼4의 내용은 모두 동일해도 되고, 상이한 데이터로서 수신측에서 합성하는 것으로 해도 된다.
(실시의 형태 14)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 스마트 폰 등의 수신기와, LED나 유기 EL의 점멸 패턴으로서 정보를 송신하는 송신기를 이용한 각 적용예에 대해서 설명한다.
도 114a는, 본 실시의 형태에 있어서의 송신기를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 송신기는, 예를 들면 액정 디스플레이의 백 라이트로서 구성되어, 청색 LED(2303)와, 녹색 형광 성분(2304) 및 적색 형광 성분(2305)으로 이루어지는 형광체(2310)를 구비한다.
청색 LED(2303)는, 청색(B)의 광을 발한다. 형광체(2310)는, 청색 LED(2303)로부터 발해진 청색의 광을 여기광으로서 받으면 황색(Y)으로 발광한다. 즉, 형광체(2310)는, 황색 광을 발한다. 상세하게는, 형광체(2130)는, 녹색 형광 성분(2304) 및 적색 형광 성분(2305)으로 이루어지 때문에, 이들 형광 성분의 발광에 의해서 황색의 광을 발한다. 그들 2개의 형광 성분 중 녹색 형광 성분(2304)은, 청색 LED(2303)로부터 발해진 청색의 광을 여기광으로서 받으면 녹색으로 발광한다. 즉, 녹색 형광 성분(2304)은, 녹색(G)의 광을 발한다. 상술의 2개의 형광 성분 중 적색 형광 성분(2305)은, 청색 LED(2303)로부터 발해진 청색의 광을 여기광으로서 받으면 적색으로 발광한다. 즉, 적색 형광 성분(2305)은, 적색(R)의 광을 발한다. 이에 따라, RGB 또는 Y(RG) B의 각각의 광이 발해지기 때문에, 송신기는 백 라이트로서 백색광을 출력한다.
이 송신기는, 청색 LED(2303)를 상기 각 실시의 형태와 동일하게 휘도 변화시킴으로써, 백색광의 가시광 신호를 송신한다. 이 때, 백색광의 휘도가 변화함으로써 소정의 반송 주파수를 갖는 가시광 신호가 출력된다.
여기서, 바코드 리더는, 적색 레이저광을 바코드에 조사하고, 바코드로부터 반사되는 적색 레이저광의 휘도 변화에 의거하여, 그 바코드를 판독한다. 이 적색 레이저광에 있어서의 바코드의 판독 주파수는, 현재 실용화되고 있는 일반적인 송신기로부터 출력되는 가시광 신호의 반송 주파수와 일치 또는 근사해 있는 경우가 있다. 따라서, 이러한 경우에, 바코드 리더가, 그 일반적인 송신기로부터의 가시광 신호인 백색광에 비추어진 바코드를 판독하고자 하면, 그 백색광에 포함되는 적색의 광의 휘도 변화에 의해서, 그 판독에 실패해 버리는 경우가 있다. 즉, 가시광 신호(특히 적색의 광)의 반송 주파수와, 바코드의 판독 주파수의 간섭에 의해서, 바코드의 판독 에러가 발생한다.
여기서 본 실시의 형태에 있어서의, 적색 형광 성분(2305)에는, 녹색 형광 성분(2304)보다도, 잔광의 계속 시간이 긴 형광 재료가 이용된다. 즉, 본 실시의 형태에 있어서의 적색 형광 성분(2305)은, 청색 LED(2303) 및 녹색 형광 성분(2304)의 휘도 변화의 주파수보다도 충분히 낮은 주파수로 휘도 변화한다. 바꾸어 말하면, 적색 형광 성분(2305)은, 가시광 신호에 포함되는 적색의 휘도 변화의 주파수를 무디어지게 한다.
도 114b는, RGB의 각각의 휘도 변화를 나타내는 도면이다.
청색 LED(2303)로부터의 청색의 광은, 도 114b의 (a)에 나타내는 바와 같이, 가시광 신호에 포함되어 출력된다. 녹색 형광 성분(2304)은, 도 114b의 (b)에 나타내는 바와 같이, 청색 LED(2303)로부터의 청색의 광을 받으면, 녹색으로 발광한다. 이 녹색 형광 성분(2304)에 있어서의 잔광의 계속 시간은 짧다. 따라서, 그 청색 LED(2303)가 휘도 변화하고 있으면, 녹색 형광 성분(2304)은, 그 청색 LED(2303)의 휘도 변화의 주파수(즉 가시광 신호의 반송 주파수)와 대략 동일한 주파수로 휘도 변화하는 녹색의 광을 발한다.
적색 형광 성분(2305)은, 도 114b의 (c)에 나타내는 바와 같이, 청색 LED(2303)로부터의 청색의 광을 받으면, 적색으로 발광한다. 이 적색 형광 성분(2305)에 있어서의 잔광의 계속 시간은 길다. 따라서, 그 청색 LED(2303)가 휘도 변화하고 있으면, 적색 형광 성분(2305)은, 그 청색 LED(2303)의 휘도 변화의 주파수(즉 가시광 신호의 반송 주파수)보다도, 낮은 주파수로 휘도 변화하는 적색의 광을 발한다.
도 115는, 본 실시의 형태에 있어서의 녹색 형광 성분(2304) 및 적색 형광 성분(2305)의 잔광 특성을 나타내는 도면이다.
녹색 형광 성분(2304)은, 예를 들면, 청색 LED(2303)가 휘도 변화하는 일 없이 점등하고 있는 경우, 강도 I=I0의 녹색의 광을 휘도 변화시키는 일 없이(즉 휘도 변화의 주파수 f=0의 광을) 발한다. 또한, 청색 LED(2303)가 낮은 주파수로 휘도 변화해도, 녹색 형광 성분(2304)은, 그 낮은 주파수와 대략 동일한 주파수 f로 휘도 변화하는, 강도 I=I0의 녹색의 광을 발한다. 그러나, 청색 LED(2303)가 높은 주파수로 휘도 변화하면, 그 높은 주파수와 대략 동일한 주파수 f로 휘도 변화한다. 녹색 형광 성분(2304)으로부터 발해지는 녹색의 광의 강도 I는, 녹색 형광 성분(2304)에 있어서의 잔광의 영향에 의해서, 강도 I0보다도 작아진다. 그 결과, 녹색 형광 성분(2304)으로부터 발해지는 녹색의 광의 강도 I는, 도 115의 점선으로 나타내는 바와 같이, 그 광의 휘도 변화의 주파수 f가 역치 fb 미만인 경우에는, I=I0로 유지되지만, 주파수 f가 역치 fb를 초과하여 높아지면, 점차 작아진다.
또한, 본 실시의 형태에 있어서의 적색 형광 성분(2305)의 잔광의 계속 시간은, 녹색 형광 성분(2304)의 잔광의 계속 시간보다도 길다. 따라서, 적색 형광 성분(2305)으로부터 발해지는 적색의 광의 강도 I는, 도 115의 실선으로 나타내는 바와 같이, 그 광의 휘도 변화의 주파수 f가, 상기 역치 fb보다도 낮은 역치 fa 미만까지, I=I0로 유지되지만, 주파수 f가 역치 fb를 초과하여 높아지면, 점차 작아진다. 바꾸어 말하면, 적색 형광 성분(2305)으로부터 발해지는 적색의 광은, 녹색 형광 성분(2304)으로부터 발해지는 녹색의 광의 주파수 대역 중, 고주파 영역에는 존재하지 않고, 저주파 영역에만 존재한다.
보다 구체적으로는, 본 실시의 형태에 있어서의 적색 형광 성분(2305)에는, 가시광 신호의 반송 주파수 f1와 동일한 주파수 f로 발해지는 적색의 광의 강도 I가 I=I1로 되는 형광 재료가 이용된다. 반송 주파수 f1은, 송신기에 구비되어 있는 청색 LED(2303)에 의한 휘도 변화의 반송 주파수이다. 또한, 상술의 강도 I1는, 강도 I0의 1/3의 강도, 또는, 강도 I0의-10dB의 강도이다. 예를 들면, 반송 주파수 f1은 10kHz, 또는 5∼100kHz이다.
즉, 본 실시의 형태에 있어서의 송신기는, 가시광 신호를 송신하는 송신기로서, 휘도 변화하는 청색의 광을 상기 가시광 신호에 포함되는 광으로서 발하는 청색 LED와, 상기 청색의 광을 받는 것에 의해서 녹색의 광을 상기 가시광 신호에 포함되는 광으로서 발하는 녹색 형광 성분과, 상기 청색의 광을 받는 것에 의해서 적색의 광을 상기 가시광 신호에 포함되는 광으로서 발하는 적색 형광 성분을 구비한다. 그리고, 상기 적색 형광 성분에 있어서의 잔광의 계속 시간은, 녹색 형광 성분에 있어서의 잔광의 계속 시간보다도 길다. 또한, 상기 녹색 형광 성분 및 상기적색 형광 성분은, 상기 청색의 광을 받는 것에 의해서 황색의 광을 상기 가시광 신호에 포함되는 광으로서 발하는 단일의 형광체에 포함되어 있어도 된다. 혹은, 상기 녹색 형광 성분은, 녹색 형광체에 포함되고, 또한, 상기 적색 형광 성분은, 상기 녹색 형광체와는 별체의 적색 형광체에 포함되어 있어도 된다.
이에 따라, 적색 형광 성분에 있어서의 잔광의 계속 시간이 길기 때문에, 청색 및 녹색의 광의 휘도 변화에 있어서의 주파수보다도 낮은 주파수로 적색의 광을 휘도 변화시킬 수 있다. 따라서, 백색광의 가시광 신호에 포함되는 청색 및 녹색의 광의 휘도 변화에 있어서의 주파수가, 적색 레이저광에 있어서의 바코드의 판독 주파수와 동일 또는 근사하고 있어도, 백색광의 가시광 신호에 포함되는 적색의 광의 주파수를, 바코드의 독해 주파수로부터 크게 다르게 할 수 있다. 그 결과, 바코드의 판독 에러의 발생을 억제할 수 있다.
여기서, 상기 적색 형광 성분은, 청색 LED로부터 발해지는 광의 휘도 변화의 주파수보다도 낮은 주파수로 휘도 변화하는 적색의 광을 발해도 된다.
또한, 상기 적색 형광 성분은, 청색의 광을 받는 것에 의해서 적색의 광을 발하는 적색 형광 재료와, 소정의 주파수 대역의 광만을 투과시키는 로우패스 필터를 구비해도 된다. 예를 들면, 상기 로우패스 필터는, 상기 청색 LED로부터 발해지는 청색의 광 중, 저역의 주파수 대역의 광만을 투과시켜 상기 적색 형광 재료에 맞힌다. 또한, 상기 적색 형광 재료는, 상기 녹색 형광 성분과 동일한 잔광 특성을 갖는 것이어도 된다. 또는, 상기 로우패스 필터는, 상기 청색 LED로부터 발해진 청색의 광이 상기 적색 형광 재료에 닿음으로써, 상기 적색 형광 재료로부터 발해지는 적색의 광 중, 저역의 주파수 대역의 광만을 투과시킨다. 이러한 로우패스 필터를 이용하는 경우에도, 상술과 동일하게, 바코드의 판독 에러의 발생을 억제할 수 있다.
또한, 상기 적색 형광 성분은, 미리 정해진 잔광 특성을 갖는 형광 재료로 이루어져도 된다. 예를 들면, 미리 정해진 잔광 특성은, (a) 상기 적색 형광 성분으로부터 발해지는 적색의 광의 휘도 변화의 주파수 f가 0인 경우에 있어서의 상기적색의 광의 강도를 I0으로 하고, (b) 상기 청색 LED로부터 발해지는 광의 휘도 변화에 있어서의 반송 주파수를 f1로 하는 경우, 상기 적색의 광의 주파수 f가 f=f1일 때에, 상기 적색의 광의 강도가, 상기 I0의 1/3 이하, 또는 -10dB 이하가 되는, 특성이다.
이에 따라, 가시광 신호에 포함되는 적색의 광의 주파수를, 바코드의 판독 주파수로부터 확실히 크게 상이하게 할 수 있다. 그 결과, 바코드의 판독 에러의 발생을 확실히 억제할 수 있다.
또한, 상기 반송 주파수 f1은 대략 10kHz여도 된다.
이에 따라, 현재 실용화되고 있는, 가시광 신호의 송신에 이용되는 반송 주파수는 9.6kHz이기 때문에, 이 실용화되고 있는 가시광 신호의 송신에 있어서, 바코드의 판독 에러의 발생을 유효하게 억제할 수 있다.
또한, 상기 반송 주파수 f1은 대략 5∼100kHz여도 된다.
가시광 신호를 수신하는 수신기의 이미지 센서(촬상 소자)의 진보에 의해, 향후의 가시광 통신에 있어서, 20kHz, 40kHz, 80kHz 또는 100kHz 등의 반송 주파수가 이용되는 것이 상정된다. 따라서, 상술의 반송 주파수 f1을 대략 5∼100kHz로 함으로써, 향후의 가시광 통신에 있어서도, 바코드의 판독 에러의 발생을 유효하게 억제할 수 있다.
또한, 본 실시의 형태에서는, 녹색 형광 성분 및 적색 형광 성분이 단일 형광체에 포함되어 있는지, 그들 2개의 형광 성분의 각각이 별체의 형광체에 포함되어 있는가에 상관없이, 상기 각 효과를 발휘할 수 있다. 즉, 단일 형광체가 이용되는 경우라도, 그 형광체로부터 발해지는 적색의 광 및 녹색의 광의 각각의 잔광 특성, 즉 주파수 특성은 상이하다. 따라서, 적색의 광에 있어서의 잔광 특성 또는 주파수 특성이 뒤떨어지고, 녹색의 광에 있어서의 잔광 특성 또는 주파수 특성이 우수한 단일 형광체를 이용함으로써도, 상기 각 효과를 발휘할 수 있다. 또한, 잔광 특성 또는 주파수 특성이 뒤떨어진다는 것은, 잔광의 계속 시간이 길거나, 또는, 고주파수 대역에 있어서의 광의 강도가 약하다는 것이고, 잔광 특성 또는 주파수 특성이 우수한다는 것은, 잔광의 계속 시간이 짧거나, 또는, 고주파수 대역에 있어서의 광의 강도가 강하다는 것이다.
여기서, 도 114a∼도 115에 나타내는 예에서는, 가시광 신호에 포함되는 적색의 휘도 변화의 주파수를 무디게 함으로써, 바코드의 판독 에러의 발생을 억제했지만, 가시광 신호의 반송 주파수를 높게 함으로써, 그 판독 에러의 발생을 억제해도 된다.
도 116은, 바코드의 판독 에러의 발생을 억제하기 위해서 새롭게 발생하는 과제를 설명하기 위한 도면이다.
도 116에 나타내는 바와 같이, 가시광 신호의 반송 주파수 fc가 약 10kHz인 경우, 바코드의 판독에 이용되는 적색 레이저광의 판독 주파수도 약 10∼20kHz이기 때문에, 서로의 주파수가 간섭하여, 바코드의 판독 에러가 발생한다.
여기서, 가시광 신호의 반송 주파수 fc를 약 10kHz로부터 예를 들면 40kHz로 올림으로써, 바코드의 판독 에러의 발생을 억제할 수 있다.
그러나, 가시광 신호의 반송 주파수 fc가 약 40kHz이면, 수신기가 촬영에 의해서 가시광 신호를 샘플링하기 위한 샘플링 주파수 fs는, 80kHz 이상일 필요가 있다.
즉, 수신기에 있어서 필요해지는 샘플링 주파수 fs가 높기 때문에, 수신기의 처리 부담이 증대한다고 하는 새로운 과제가 발생한다. 여기서, 이 새로운 과제를 해결하기 위해서, 본 실시의 형태에 있어서의 수신기는 다운 샘플링을 행한다.
도 117은, 본 실시의 형태에 있어서의 수신기에서 행해지는 다운 샘플링을 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 송신기(2301)는, 예를 들면 액정 디스플레이, 디지털 사이네이지 또는 조명 기기로서 구성되어 있다. 그리고, 송신기(2301)는, 주파수 변조된 가시광 신호를 출력한다. 이 때, 송신기(2301)는, 그 가시광 신호의 반송 주파수 fc를 예를 들면 40kHz와 45kHz로 전환한다.
본 실시의 형태에 있어서의 수신기(2302)는, 그 송신기(2301)를 예를 들면 30fps의 프레임 레이트로 촬영한다. 이 때, 수신기(2302)는, 상기 각 실시의 형태에 있어서의 수신기와 동일하게, 촬영에 의해서 얻어지는 각 화상(구체적으로는 각 프레임)에 휘선이 발생하도록, 짧은 노광 시간에 촬영을 행한다. 또한, 수신기(2302)의 촬영에 이용되는 이미지 센서에는, 예를 들면 1000개의 노광 라인이 있다. 따라서, 1프레임의 촬영에서는, 1000개의 노광 라인이 각각 상이한 타이밍에 노광을 개시함으로써, 가시광 신호가 샘플링된다. 그 결과, 1초간에는, 30fps×1000개=30000회의 샘플링(30ks/초)이 행해진다. 바꾸어 말하면, 가시광 신호의 샘플링 주파수 fs는 30kHz가 된다.
일반적인 샘플링 정리에 따르면, 샘플링 주파수 fs=30kHz에서는, 15kHz 이하의 반송 주파수의 가시광 신호밖에 복조할 수 없다.
그러나, 본 실시의 형태에 있어서의 수신기(2302)는, 샘플링 주파수 fs=30kHz에서, 반송 주파수 fc=40kHz 또는 45kHz의 가시광 신호를 다운 샘플링한다. 이 다운 샘플링에 의해서, 프레임에는 에일리어스(alias)가 발생하지만, 본 실시의 형태에 있어서의 수신기(2302)는, 그 에일리어스를 관찰 및 분석함으로써, 가시광 신호의 반송 주파수 fc를 추정한다.
도 118은, 본 실시의 형태에 있어서의 수신기(2302)의 처리 동작을 나타내는 플로우차트이다.
우선, 수신기(2302)는, 피사체를 촬영함으로써, 반송 주파수 fc=40kHz 또는 45kHz의 가시광 신호에 대하여, 샘플링 주파수 fs=30kHz의 다운 샘플링을 행한다(단계 S2310).
다음으로, 수신기(2302)는, 그 다운 샘플링에 의해서 얻어지는 프레임에 발생하는 에일리어스를 관찰 및 분석한다(단계 S2311). 이에 따라, 수신기(2302)는, 그 에일리어스의 주파수를 예를 들면 5.1kHz 또는 5.5kHz로서 특정한다.
그리고, 수신기(2302)는, 그 특정된 에일리어스의 주파수에 의거하여, 가시광 신호의 반송 주파수 fc를 추정한다(단계 S2311). 즉, 수신기(2302)는, 에일리어스로부터 원래의 주파수를 복원한다. 이에 따라, 수신기(2302)는, 가시광 신호의 반송 주파수 fc를 예를 들면 40kHz 또는 45kHz로서 추정한다.
이와 같이, 본 실시의 형태에 있어서의 수신기(2302)는, 다운 샘플링과, 에일리어스에 의거하는 주파수의 복원을 행함으로써, 높은 반송 주파수의 가시광 신호를 적절히 수신할 수 있다. 예를 들면, 수신기(2302)는, 샘플링 주파수가 fs=30kHz여도, 30kHz∼60kHz의 반송 주파수의 가시광 신호를 수신할 수 있다. 따라서, 가시광 신호의 반송 주파수를, 현재 실용화되고 있는 주파수(약 10kHz)로부터 30kHz∼60kHz로 올릴 수 있다. 그 결과, 가시광 신호의 반송 주파수와 바코드의 판독 주파수(10∼20kHz)를 크게 상이하게 할 수 있어, 서로의 주파수의 간섭을 억제할 수 있다. 그 결과, 바코드의 판독 에러의 발생을 억제할 수 있다.
이러한 본 실시의 형태에 있어서의 수신 방법은, 피사체로부터 정보를 취득하는 수신 방법으로서, 이미지 센서에 의한 상기 피사체의 촬영에 의해서 얻어지는 프레임에, 상기 이미지 센서에 포함되는 복수의 노광 라인에 대응하는 복수의 휘선이 상기 피사체의 휘도 변화에 따라 발생하도록, 상기 이미지 센서의 노광 시간을 설정하는 노광 시간 설정 단계와, 상기 이미지 센서에 포함되는 상기 복수의 노광 라인의 각각이 순차적으로 상이한 시각에 노광을 개시하는 것을 반복함으로써, 상기 이미지 센서가, 소정의 프레임 레이트로, 또한, 설정된 상기 노광 시간에, 휘도 변화하는 상기 피사체를 촬영하는 촬영 단계와, 상기 촬영에 의해서 얻어지는 프레임마다, 당해 프레임에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 데이터를 복조함으로써 정보를 취득하는 정보 취득 단계를 포함한다. 그리고, 상기 촬영 단계에서는, 상기 복수의 노광 라인의 각각이 순차적으로 상이한 시각에 노광을 개시하는 것을 반복함으로써, 상기 피사체의 휘도 변화에 의해서 송신되는 가시광 신호의 반송 주파수보다도 낮은 샘플링 주파수로, 상기 가시광 신호를 다운 샘플링하고, 상기 정보 취득 단계에서는, 상기 촬영에 의해서 얻어지는 프레임마다, 당해 프레임에 포함되는 상기 복수의 휘선의 패턴에 의해서 특정되는 에일리어스의 주파수를 특정하고, 특정된 상기 에일리어스의 주파수로부터 상기 가시광 신호의 주파수를 추정하고, 추정된 상기 가시광 신호의 주파수를 복조함으로써 상기 정보를 취득한다.
이러한 수신 방법에서는, 다운 샘플링과, 에일리어스에 의거하는 주파수의 복원을 행함으로써, 높은 반송 주파수의 가시광 신호를 적절히 수신할 수 있다.
또한, 상기 다운 샘플링에서는, 30kHz보다도 높은 반송 주파수의 가시광 신호를 다운 샘플링해도 된다. 이에 따라, 가시광 신호의 반송 주파수와 바코드의 판독 주파수(10∼20kHz)의 간섭을 피할 수 있어, 바코드의 판독 에러를 보다 효과적으로 억제할 수 있다.
(실시의 형태 15)
도 119는, 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다. 구체적으로, 도 119는, 가시광 통신을 수신하는 경우에 있어서의, 통상 촬상 모드와 매크로 촬상 모드의 전환 처리의 일 예에 대해서 설명하기 위한 도면이다.
여기서, 수신 장치(1610)는, 복수의 광원(도 119에서는, 4개의 광원)으로 구성되는 송신 장치가 발광하고 있는 가시광을 수신한다.
우선, 수신 장치(1610)는, 가시광 통신을 행하는 모드로 전이한 경우, 통상 촬상 모드로 촬상부를 기동한다(S1601). 또한, 수신 장치(1610)는, 가시광 통신을 행하는 모드로 전이한 경우, 광원을 촬상하는 테두리(1611)를 화면에 표시한다.
소정 시간 후에, 수신 장치(1610)는, 촬상부의 촬상 모드를 매크로 촬상 모드로 전환한다(S1602). 또한, 단계 S1601로부터 단계 S1602로의 전환의 타이밍은, 단계 S1601로부터 소정 시간 후가 아니라, 수신 장치(1610)가 테두리(1611) 내에 광원이 수용되도록 촬상된 것을 판단한 때로 해도 좋다. 이와 같이 매크로 촬상 모드로 전환하면, 유저는, 매크로 촬상 모드에 의해 화상이 흐려지기 전의 통상 촬상 모드에서의 선명한 화상으로 광원을 테두리(1611) 내에 수용하면 되기 때문에, 용이하게 광원을 테두리(1611) 내에 수용할 수 있다.
다음으로, 수신 장치(1610)는, 광원으로부터의 신호를 수신했는지 여부를 판정한다(S1603). 광원으로부터의 신호를 수신했다고 판정하면(S1603에서 Yes), 단계 S1601의 통상 촬상 모드로 되돌아가고, 광원으로부터의 신호를 수신하고 있지 않다고 판정하면(S1603로 No), 단계 1602의 매크로 촬상 모드를 계속한다. 또한, 단계 S1603에서 Yes인 경우에는, 수신한 신호에 의거한 처리(예를 들면, 수신한 신호에 나타나는 화상을 표시하는 처리)를 행해도 된다.
이 수신 장치(1610)에 의하면, 유저가 스마트 폰의 광원(1611)의 표시부를 손가락으로 터치함으로써 통상 촬상 모드로부터 매크로 촬상 모드로 전환함으로써, 복수의 광원을 흐린 상태로 촬상할 수 있다. 이 때문에, 매크로 촬상 모드로 촬상한 화상에는, 통상 촬상 모드로 촬상한 경우의 화상보다도 밝은 영역을 많이 포함한다. 특히, 복수의 광원 중의 인접하는 2개의 광원의 사이에서는, 2개의 광원으로부터의 광이 서로 겹치기 때문에, 도 119의 (a)의 좌측도에 나타내는 바와 같이 스트라이프상의 영상이 떨어져 있기 때문에, 연속 신호로서 수신할 수 없다고 하는 과제를, 우측도와 같이 연속한 스트라이프가 되기 위한 연속 수신 신호로서, 복조할 수 있다. 한 번에 긴 부호를 수신할 수 있기 때문에, 응답 시간이 짧아진다는 효과가 있다. 도 119의 (b)와 같이, 촬영 화상을 우선 통상 셔터와 통상 초점으로 촬영하면 아름다운 통상의 화상이 얻어진다. 그러나 문자와 같이 광원이 떨어져 있으면 셔터를 고속화해도 연속 데이터를 취할 수 없기 때문에 복조할 수 없다. 다음으로 셔터를 고속화함과 함께 렌즈의 초점용 구동부를 근거리(매크로)로 하면 광원이 흐려져 퍼져, 4개의 광원이, 연결되기 때문에, 데이터를 수신할 수 있다. 다음으로 초점을 되돌리고, 셔터 속도를 통상으로 되돌리면 원래의 깨끗한 화상이 얻어진다. (c)와 같이 표시부에는, 깨끗한 화상을 메모리에 기록하고, 표시함으로써, 표시부에는 깨끗한 화상만이 표시된다는 효과가 있다. 통상 촬상 모드로 촬상한 화상보다도 매크로 촬상 모드로 촬상한 화상의 쪽이 소정의 밝기보다 밝은 영역을 많이 포함한다. 따라서, 매크로 촬상 모드에서는, 그 피사체에 대하여 휘선을 생성하는 것이 가능한 노광 라인의 수를 늘릴 수 있다.
도 120은, 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다. 구체적으로는, 도 120은, 가시광 통신을 수신하는 경우에 있어서의, 통상 촬상 모드와 매크로 촬상 모드의 전환 처리의 다른 일 예에 대해서 설명하기 위한 도면이다.
여기서, 수신 장치(1620)는, 복수의 광원(도 120에서는, 4개의 광원)으로 구성되는 송신 장치가 발광하고 있는 가시광을 수신한다.
우선, 수신 장치(1620)는, 가시광 통신을 행하는 모드로 전이한 경우, 통상 촬상 모드로 촬상부를 기동하고, 수신 장치(1620)의 화면에 표시되어 있는 화상(1622)보다도 넓은 범위의 화상(1623)을 촬상한다. 그리고, 촬상한 화상(1623)을 나타내는 화상 데이터와, 해당 화상(1623)을 촬상했을 때의 수신 장치(1620)의 쟈이로 센서, 지자기 센서 및 가속도 센서에 의해 검출된 수신 장치(1620)의 자세를 나타내는 자세 정보를 메모리에 보존한다(S1611). 또한, 촬상한 화상(1623)은, 수신 장치(1620)의 화면에 표시되어 있는 화상(1622)을 기준으로 하여 상하 방향 및 좌우 방향으로 소정의 폭만큼 넓은 범위의 화상이다. 또한, 수신 장치(1620)는, 가시광 통신을 행하는 모드로 전이한 경우, 광원을 촬상하는 테두리(1621)를 화면에 표시한다.
소정 시간 후에, 수신 장치(1620)는, 촬상부의 촬상 모드를 매크로 촬상 모드로 전환한다(S1612). 또한, 단계 S1611로부터 단계 S1612로의 전환의 타이밍은, 단계 S1611로부터 소정 시간 후가 아니라, 화상(1623)을 촬상하고, 촬상한 화상(1623)을 나타내는 화상 데이터가 메모리에 보존된 것을 판단했을 때로 해도 된다. 이 때, 수신 장치(1620)는, 메모리에 보존된 화상 데이터에 의거하여 화상(1623) 중의 수신 장치(1620)의 화면 사이즈에 대응하는 사이즈의 화상(1624)을 표시한다.
또한, 이 때 수신 장치(1620)에 표시되는 화상(1624)은, 화상(1623) 중의 일부의 화상이며, 단계 S1611에서 취득된 자세 정보로 나타나는 수신 장치(1620)의 자세(흰색 파선으로 나타나는 위치)와, 현재의 수신 장치(1620)의 자세의 차분으로부터 현재의 수신 장치(1620)에 의해 촬상되고 있다고 예측되는 영역의 화상이다. 즉, 화상(1624)은, 화상(1623) 중의 일부의 화상이며, 실제로 매크로 촬상 모드로 촬상되고 있는 화상(1625)의 촬상 대상에 대응하는 영역의 화상이다. 즉, 단계 S1612에서는, 단계 S1611의 시점으로부터 변화한 자세(촬상 방향)를 취득하고, 취득한 현재의 자세(촬상 방향)로부터 현재 촬상되고 있다고 추측되는 촬상 대상을 특정하고, 미리 촬상한 화상(1623)으로부터 현재의 자세(촬상 방향)에 따른 화상(1624)을 특정하고, 화상(1624)을 표시하는 처리를 행하고 있다. 이 때문에, 수신 장치(1620)는, 도 120의 화상(1623)으로 나타내는 바와 같이, 흰색 파선으로 나타내는 위치로부터 색이없는 화살표의 방향으로 수신 장치(1620)가 이동한 경우에, 당해 이동량에 따라 화상(1623)으로부터 잘라내는 화상(1624)의 영역을 결정하고, 결정된 영역에 있어서의 화상(1623)인 화상(1624)을 표시할 수 있다.
이에 따라, 수신 장치(1620)는, 매크로 촬상 모드로 촬상하고 있는 경우라도, 매크로 촬상 모드로 촬상되고 있는 화상(1625)을 표시하지 않고, 보다 선명한 통상 촬상 모드로 촬상한 화상(1623)으로부터, 현재의 수신 장치(1620)의 자세에 따라서 잘라낸 화상(1624)을 표시할 수 있다. 초점을 흐리게 한 화상으로부터 거리가 떨어진 복수의 광원으로부터, 연속한 가시광 정보를 얻음과 동시에, 기억한 통상면상을 표시부에 표시시키는 본 개시된 방식에 있어서는, 유저가 스마트 폰을 이용하여 촬영할 때, 손떨림이 발생하고, 실제의 촬영 화상과 메모리로부터 표시하는 정지 화상의 방향이 어긋나, 목표로 하는 광원에 유저가 방향을 맞출 수 없다는 과제가 발생하는 것이 예상된다. 이 경우, 광원으로부터의 데이터를 수신할 수 없게 되기 때문에 대책이 필요하다. 그러나, 개량한 본 개시에 의해, 손떨림이 있어도, 화상 요동 검지 수단이나 진동 쟈이로당의 요동 검출 수단에 의해, 손떨림을 검지하여, 정지 화상 중의 목표 화상이 소정의 방향으로 시프트되어 카메라의 방향과의 어긋남을 유저가 알 수 있다. 이 표시에 의해, 유저가 목표로 하는 광원에 카메라를 향하게 하는 것이 가능해지기 때문에, 통상 화상을 표시하면서 분할된 복수의 광원을, 광학적으로 연결시켜 촬영할 수 있어, 연속적으로 신호를 수신할 수 있다. 이에 따라, 통상 화상을 표시시키기 때문에 복수로 분할된 광원을 수신할 수 있다. 이 경우, 복수의 광원이 테두리(1621)에 맞도록 수신 장치(1620)의 자세를 조정하는 것을 용이하게 할 수 있다. 또한, 초점을 흐리게 하는 경우, 광원이 분산되기 때문에, 등가적으로 휘도가 떨어지기 때문에, 카메라의 ISO 등의 감도를 올림으로써, 보다 확실하게 가시광 데이터를 수신할 수 있다는 효과가 있다.
다음으로, 수신 장치(1620)는, 광원으로부터의 신호를 수신했는지 여부를 판정한다(S1613). 광원으로부터의 신호를 수신했다고 판정하면(S1613에서 Yes), 단계 S1611의 통상 촬상 모드로 되돌아가고, 광원으로부터의 신호를 수신하고 있지 않다고 판정하면(S1613에서 No), 단계 1612의 매크로 촬상 모드를 계속한다. 또한, 단계 S1613에서 Yes인 경우에는, 수신한 신호에 의거한 처리(예를 들면, 수신한 신호에 나타나는 화상을 표시하는 처리)를 행해도 된다.
이 수신 장치(1620)에 있어서도 수신 장치(1610)와 동일하게, 매크로 촬상 모드에 있어서 보다 밝은 영역을 포함하는 화상을 촬상할 수 있다. 이 때문에, 매크로 촬상 모드에서는, 그 피사체에 대하여 휘선을 생성하는 것이 가능한 노광 라인의 수를 늘릴 수 있다.
도 121은, 수신 장치(촬상 장치)의 처리 동작을 나타내는 도면이다.
여기서, 송신 장치(1630)는, 예를 들면, 텔레비전 등의 표시 장치이고, 소정 시간 간격 Δ1630에서 가시광 통신에 따라 상이한 송신 ID를 송신하고 있다. 구체적으로는, 시각 t1631, t1632, t1633, t1634에 있어서, 각각 표시되는 화상 1631, 1632, 1633, 1634에 대응하는 데이터에 각각 링크된 송신 ID인 ID1631, ID1632, ID1633, ID1634를 송신한다. 즉, 송신 장치(1630)에서는, ID1631∼ID1634가 소정 시간 간격 Δt1630로 순차적으로로 송신된다.
수신 장치(1640)는, 가시광 통신에 의해 수신한 송신 ID에 의거하여 서버(1650)에, 각 송신 ID에 링크된 데이터를 요구하고, 서버로부터 데이터를 수신하여, 당해 데이터에 대응한 화상을 표시한다. 구체적으로는, ID1631, ID1632, ID1633, ID1634에 각각 대응한, 화상 1641, 1642, 1643, 1644을, 각각 시각 t1631, t1632, t1633, t1634에 있어서 표시한다.
수신 장치(1640)는, 시각 t1631에서 수신한 ID1631을 취득한 경우, 서버(1650)로부터, 그 후의 시각 t1632∼t1634에서 송신 장치(1630)로부터 송신될 예정의 송신 ID를 나타내는 ID 정보를 취득해도 된다. 이 경우, 수신 장치(1640)는, 취득한 ID 정보를 이용함으로써, 송신 장치(1630)로부터 송신 ID를 그때마다 수신하지 않아도, 시각 t1632∼t1634에서의 ID1632∼ID1634에 링크된 데이터를 서버(1650)에 요구하고, 수신한 데이터를 각 시각 t1632∼t1634로 표시할 수 있다.
또한, 수신 장치(1640)는, 서버(1650)로부터 그 후의 시각 t1632∼t1634에서 송신 장치(1630)로부터 송신될 예정의 송신 ID를 나타내는 정보를 취득하지 않아도, 시각 t1631에 있어서 ID1631에 대응하는 데이터를 요구하면, 서버(1650)로부터 그 후의 시각 t1632∼t1634에 대응하는 송신 ID에 링크된 데이터를 수신하고, 수신한 데이터를 각 시각 t1632∼t1634로 표시하도록 해도 된다. 즉, 서버(1650)는, 수신 장치(1640)로부터 시각 t1631에 송신된 ID1631에 링크된 데이터의 요구를 수신한 경우, 그 후의 시각 t1632∼t1634에 대응하는 송신 ID에 링크된 데이터를 수신 장치(1640)로부터의 요구가 없어도 수신 장치(1640)에 대하여 각 시각 t1632∼t1634에 있어서 송신한다. 즉, 이 경우, 서버(1650)는, 각 시각 t1631∼1634와, 각 시각 t1631∼1634에 대응하는 송신 ID에 링크된 데이터가 관련지어진 관련지음 정보를 보존하고 있고, 관련지음 정보에 의거하여 소정의 시각에 당해 소정의 시각에 관련지어진 소정의 데이터를 송신한다.
이와 같이, 수신 장치(1640)는, 시각 t1631에 있어서 송신 ID1631를 가시광 통신에 의해 취득할 수 있으면, 그 후의 시각 t1632∼t1634에서는, 가시광 통신을 행하지 않아도 서버(1650)로부터 각 시각 t1632∼t1634에 대응하는 데이터를 수신할 수 있다. 이 때문에, 유저는, 가시광 통신에 의해 송신 ID를 취득하기 위해서 송신 장치(1630)에 수신 장치(1640)를 계속 향할 필요가 없어져, 용이하게 수신 장치(1640)에 서버(1650)로부터 취득한 데이터를 표시시킬 수 있다. 이 경우, 수신 장치(1640)는, 서버로부터 ID에 대응하는 데이터를 매회 취득하면, 서버로부터의 시간 늦어짐이 발생하여 응답 시간이 길어진다. 따라서, 응답을 빠르게 하기 위해서는, 서버 등으로부터 미리, ID에 대응한 데이터를 수신기의 기억부에 기억해 두고, 기억부 중의 ID에 대응하는 데이터를 표시함으로써, 응답 시간을 빠르게 할 수 있다. 이 방식에 있어서는, 가시광 송신기로부터의 송신 신호에 다음의 ID를 출력하는 시간 정보를 넣어 두면, 수신기측은, 연속적으로 가시광 신호를 수신하지 않아도, 그 시간이 되면, 다음의 ID의 송신 시간을 알 수 있기 때문에, 수신 장치를 광원의 쪽으로 계속, 향하여 둘 필요가 없어진다고 하는 효과가 있다. 이 방식은, 가시광을 수신했을 때에, 송신기측의 시간 정보(시계)를 수신기측의 시간 정보(시계)의 동기를 취하는 것만으로, 동기 후는, 송신기의 데이터를 수취하지 않아도, 송신기와 동기한 화면을 연속적으로 표시할 수 있다는 효과가 있다.
또한, 상술의 예에서는, 수신 장치(1640)는, 시각 t1631, t1632, t1633, 및 t1634의 각각에 있어서, 송신 ID인 ID1631, ID1632, ID1633 및 ID1634에 각각 대응한, 화상 1641, 1642, 1643, 1644를 각각 표시했다. 여기서, 수신 장치(1640)는, 도 122에 나타내는 바와 같이, 상기 각 시각에 있어서 화상뿐만 아니라 다른 정보를 제시해도 된다. 즉, 수신 장치(1640)는, 시각 t1631에 있어서, ID1631에 대응한 화상 1641을 표시함과 함께, 그 ID1631에 대응한 음 또는 음성을 출력한다. 이 때 추가로, 수신 장치(1640)는, 그 화상에 비추어져 있는 예를 들면 상품의 구입 사이트를 표시해도 된다. 이러한 음의 출력 및 구입 사이트의 표시는, 시각 t1631 이외의 시각 t1632, t1633, 및 t1634의 각각에 있어서도, 동일하게 행해진다.
다음으로 도 119의 (b)과 같이 입체용의 좌우 2개의 카메라를 탑재한 스마트 폰의 경우는, 좌안용으로 통상의 셔터 속도, 통상의 초점으로 통상의 화질의 화상을 표시한다. 동시에 우안용 카메라에서는, 좌안보다 고속의 셔터로, 또한/혹은, 짧은 거리의 초점이나 매크로로 설정하고, 본 개시된 스트라이프상의 휘선을 얻어, 데이터를 복조한다. 이에 따라, 표시부에는 통상의 화질의 화상이 표시됨과 함께, 우안 카메라에 의해, 거리적으로 분할된 복수의 광원의 광 통신 데이터를 수신할 수 있다는 효과가 얻어진다.
(실시의 형태 16)
여기서, 음성 동기 재생의 응용예에 대해서 이하에 설명한다.
도 123은, 실시의 형태 16에 있어서의 어플리케이션케이션의 일 예를 나타내는 도면이다.
예를 들면 스마트 폰으로서 구성되는 수신기(1800a)는, 예를 들면 가두 디지털 사이네이지로서 구성되는 송신기(1800b)로부터 송신된 신호(가시광 신호)를 수신한다. 즉, 수신기(1800a)는, 송신기(1800b)에 의한 화상 재생의 타이밍을 수신한다. 수신기(1800a)는, 그 화상 재생과 동일한 타이밍에서, 음성을 재생한다. 바꾸어 말하면, 수신기(1800a)는, 송신기(1800b)에 의해서 재생되는 화상과 음성이 동기하도록, 그 음성의 동기 재생을 행한다. 또한, 수신기(1800a)는, 송신기(1800b)에 의해서 재생되는 화상(재생 화상)과 동일한 화상, 또는, 그 재생 화상에 관련된 관련 화상을, 음성과 함께 재생해도 된다. 또한, 수신기(1800a)는, 수신기(1800a)에 접속된 기기에, 음성 등의 재생을 시켜도 된다. 또한, 수신기(1800a)는, 가시광 신호를 수신한 후에는, 그 가시광 신호에 대응지어져 있는 음성 또는 관련 화상 등의 컨텐츠를 서버로부터 다운로드해도 된다. 수신기(1800a)는, 그 다운로드 후에 동기 재생을 행한다.
이에 따라, 송신기(1800b)로부터의 음성이 들리지 않는 경우나, 가두 음성 재생이 금지되고 있기 때문에 송신기(1800b)로부터의 음성이 재생되어 있지 않은 경우라도, 유저는, 송신기(1800b)의 표시에 맞춘 음성을 들을 수 있다. 또한, 음성 도달까지 시간이 걸리는 거리가 있는 경우라도, 표시에 맞춘 음성을 들을 수 있다.
여기서, 음성 동기 재생에 의한 다언어 대응에 대해서 이하에 설명한다.
도 124는, 실시의 형태 16에 있어서의 어플리케이션의 일 예를 나타내는 도면이다.
수신기(1800a) 및 수신기(1800c)의 각각은, 그 수신기에 설정된 언어의 음성으로서, 송신기(1800d)에 표시되어 있는 예를 들면 영화 등의 영상에 대응하는 음성을, 서버로부터 취득하여 재생한다. 구체적으로는, 송신기(1800d)는, 표시되어 있는 영상을 식별하기 위한 ID를 나타내는 가시광 신호를 수신기에 송신한다. 수신기는, 그 가시광 신호를 수신하면, 그 가시광 신호에 나타나는 ID와, 스스로 설정되어 있는 언어를 포함하는 요구 신호를 서버에 송신한다. 수신기는, 그 요구 신호에 대응하는 음성을 서버로부터 취득하여 재생한다. 이에 따라, 유저는, 자신이 설정한 언어로 송신기(1800d)에 표시된 작품을 즐길 수 있다.
여기서, 음성 동기 방법에 대해서 이하에 설명한다.
도 125 및 도 126은, 실시의 형태 16에 있어서의 송신 신호의 예와 음성 동기 방법의 예를 나타내는 도면이다.
각각 상이한 데이터(예를 들면 도 125에 나타내는 데이터：1∼6 등)는, 일정 시간(N초)마다의 시각에 관련지어져 있다. 이들 데이터는, 예를 들면, 시간을 식별하기 위한 ID여도 되고, 시간이어도 되고, 음성 데이터(예를 들면 64Kbps의 데이터)여도 된다. 이하, 데이터가 ID인 것을 전제로 설명한다. 각각 상이한 ID는, ID에 부수하는 부가 정보 부분이 상이한 것으로 해도 된다.
ID를 구성하는 패킷은 상이한 쪽이 바람직하다. 그 때문에 ID는 연속해 있지 않은 쪽이 바람직하다. 혹은, ID를 패킷화할 때에, 비연속인 부분을 하나의 패킷으로서 구성하는 패킷화 방법이 바람직하다. 오류 정정 신호는, 연속한 ID라도 상이한 패턴이 되는 경향이 높기 때문에, 오류 정정 신호를 하나의 패킷에 모으는 것이 아니라, 복수의 패킷에 분산시켜 구성하는 것으로 해도 된다.
송신기(1800d)는, 예를 들면 표시하고 있는 화상의 재생 시각에 맞추어 ID를 송신한다. 수신기는, ID가 변경된 타이밍을 검출함으로써, 송신기(1800d)의 화상의 재생 시각(동기 시각)을 인식할 수 있다.
(a)의 경우는, ID：1과 ID：2의 변화 시점을 수신하고 있기 때문에, 정확하게 동기 시각을 인식할 수 있다.
ID가 송신되고 있는 시간 N이 긴 경우는, 이러한 기회가 적고, (b)와 같이 ID가 수신되는 경우가 있다. 이 경우에도, 이하의 방법으로 동기 시각을 인식할 수 있다.
(b1) ID가 변화한 수신 구간의 중점을 ID 변화점으로 상정한다. 또한, 과거에 추정한 ID 변화점으로부터 시간 N의 정수배 후의 시각도 ID 변화점으로 추정하고, 복수의 ID 변화점의 중점을 보다 정확한 ID 변화점으로 추정한다. 이러한 추정의 알고리즘에 의해, 서서히 정확한 ID 변화점을 추정할 수 있다.
(b2) 상기에 더하여, ID가 변화하지 않았던 수신 구간, 및, 그 시간 N의 정수배 후의 시각은 ID 변화점이 포함되지 않는다고 추정함으로써, 서서히 ID 변화점일 가능성이 있는 구간이 줄어, 정확한 ID 변화점을 추정할 수 있다.
N을 0.5초 이하로 설정함으로써, 정확하게 동기시킬 수 있다.
N을 2초 이하로 설정함으로써, 유저에게 지연을 느끼게 하지 않고 동기시킬 수 있다.
N을 10초 이하로 설정함으로써, ID의 낭비를 억제하여 동기시킬 수 있다.
도 126은, 실시의 형태 16에 있어서의 송신 신호의 예를 나타내는 도면이다.
도 126에서는, 시간 패킷에 의해서 동기를 행함으로써, ID의 낭비를 피할 수 있다. 시간 패킷은, 송신된 시각을 보존하고 있는 패킷이다. 긴 시간을 표현할 필요가 있는 경우는, 세세한 시간을 나타내는 시간 패킷 1과 대략적 시간을 나타내는 시간 패킷 2로 분할하여 시간 패킷을 구성한다. 예를 들면, 시간 패킷 2는, 시각 중의 시 및 분을 나타내고, 시간 패킷 1은, 시각 중의 초만을 나타낸다. 시각을 나타내는 패킷을 3 이상의 시간 패킷으로 분할한다고 해도 된다. 대략적 시간은 필요성이 적기 때문에, 세세한 시간 패킷을 대략적 시간 패킷보다 많이 송신함으로써, 수신기는, 빠르고 정확하게 동기 시각을 인식할 수 있다.
즉, 본 실시의 형태에서는, 가시광 신호는, 시각 중의 시 및 분을 나타내는 제2의 정보(시간 패킷 2)와, 시각 중의 초를 나타내는 제1의 정보(시간 패킷 1)를 포함함으로써, 가시광 신호가 송신기(1800d)로부터 송신되는 시각을 나타낸다. 그리고, 수신기(1800a)는, 제2의 정보를 수신함과 더불어, 그 제2의 정보를 수신하는 회수보다도 많은 회수만큼 제1의 정보를 수신한다.
여기서, 동기 시각 조정에 대해서 이하에 설명한다.
도 127은, 실시의 형태 16에 있어서의 수신기(1800a)의 처리 플로우의 일 예를 나타내는 도면이다.
신호가 송신되고 나서 수신기(1800a)에서 처리되고, 음성 또는 동영상이 재생되기 까지는 어느 정도의 시간이 걸리기 때문에, 이 처리 시간을 예측하여 음성 또는 동영상을 재생하는 처리를 행함으로써, 정확하게 동기 재생을 행할 수 있다.
우선, 수신기(1800a)에는, 처리 지연 시간이 지정된다(단계 S1801). 이는, 처리 프로그램 중에 보존되고 있어도 되고, 유저가 지정해도 된다. 유저가 보정을 행함으로써, 수신기 개체에 맞춘 보다 정확한 동기가 실현 가능해진다. 이 처리 지연 시간은, 수신기의 모델마다, 수신기의 온도나 CPU 사용 비율에 의해서 변화시킴으로써, 보다 정확하게 동기를 행할 수 있다.
수신기(1800a)는, 시간 패킷을 수신했는지 여부, 또는, 음성 동기용으로서 관련지어진 ID를 수신했는지 여부를 판정한다(단계 S1802). 여기서, 수신기(1800a)는, 수신했다고 판정하면(단계 S1802의 Y), 추가로, 처리 대기 화상이 있는지 여부를 판정한다(단계 S1804). 처리 대기 화상이 있다고 판정하면(단계 S1804의 Y), 수신기(1800a)는, 그 처리 대기 화상을 폐기하거나, 또는, 처리 대기 화상의 처리를 뒤로 미루고, 취득된 최신의 화상으로부터의 수신 처리를 행한다(단계 S1805). 이에 따라, 처리 대기량에 의한 예측하지 못한 지연을 회피할 수 있다.
수신기(1800a)는, 가시광 신호(구체적으로는 휘선)가 화상 중의 어느 위치에 있는지를 계측한다(단계 S1806). 즉, 이미지 센서에 있어서의 최초의 노광 라인으로부터, 노광 라인에 수직인 방향의 어느 위치에 신호가 나타나 있는지를 계측함으로써, 화상 취득 개시 시각으로부터 신호 수신 시각까지의 시간차(화상내 지연 시간)를 계산할 수 있다.
수신기(1800a)는, 인식한 동기 시각에, 처리 지연 시간과 화상 내 지연 시간을 더한 시각의 음성 또는 동영상을 재생함으로써, 정확하게 동기 재생을 행할 수 있다(단계 S1807).
한편, 단계 S1802에 있어서, 수신기(1800a)는, 시간 패킷 또는 음성 동기용 ID를 수신하고 있지 않다고 판정하면, 촬상에 의해서 얻어진 화상으로부터 신호를 수신한다(단계 S1803).
도 128은, 실시의 형태 16에 있어서의 수신기(1800a)의 유저 인터페이스의 일 예를 나타내는 도면이다.
유저는, 도 128의 (a)에 나타내는 바와 같이, 수신기(1800a)에 표시된 버튼 Bt1∼Bt4의 어느 것을 누름으로써, 상술의 처리 지연 시간을 조정할 수 있다. 또한, 도 128의 (b)과 같이 스와이프 동작으로 처리 지연 시간을 설정할 수 있다고 해도 좋다. 이에 따라, 유저의 감각에 의거하여 보다 정확하게 동기 재생을 행할 수 있다.
여기서, 이어 폰 한정 재생에 대해서 이하에 설명한다.
도 129는, 실시의 형태 16에 있어서의 수신기(1800a)의 처리 플로우의 일 예를 나타내는 도면이다.
이 처리 플로우에 의해서 나타나는 이어 폰 한정 재생에 의해서, 주위에 폐를 끼치지 않고 음성 재생을 행할 수 있다.
수신기(1800a)는, 이어 폰 한정의 설정이 행해지고 있는지 여부를 확인한다(단계 S1811). 이어 폰 한정의 설정이 행해지고 있는 경우에는, 예를 들면, 수신기(1800a)에 이어 폰 한정의 설정이 이루어져 있다. 혹은, 수신된 신호(가시광 신호) 중에 이어 폰 한정인 설정이 되어 있다. 또는, 이어 폰 한정인 것이, 수신된 신호에 관련지어져 서버 또는 수신기(1800a)에 기록되어 있다.
수신기(1800a)는, 이어 폰 한정되어 있는 것을 확인하면(단계 S1811의 Y), 이어 폰이 수신기(1800a)에 접속되어 있는지 여부를 판정한다(단계 S1813).
수신기(1800a)는, 이어 폰 한정이 되어 있지 않은 것을 확인하면(단계 S1811의 N), 또는, 이어 폰이 접속되어 있다고 판정하면(단계 S1813의 Y), 음성을 재생한다(단계 S1812). 음성을 재생할 때에는, 수신기(1800a)는, 음량이 설정 범위 내가 되도록 그 음량을 조정한다. 이 설정 범위는, 이어 폰 한정의 설정과 동일하게 설정되어 있다.
수신기(1800a)는, 이어 폰이 접속되어 있지 않다고 판정하면(단계 S1813의 N), 이어 폰의 접속을 유저에게 촉구하는 통지를 행한다(단계 S1814). 이 통지는, 예를 들면, 화면 표시, 음성 출력 또는 진동에 의해서 행해진다.
또한, 수신기(1800a)는, 강제적으로 음성 재생을 행하는 것을 금지하는 설정이 되어 있지 않은 경우에는, 강제 재생을 위한 인터페이스를 준비하고, 유저가 강제 재생의 조작을 행했는지 여부를 판정한다(단계 S1815). 여기서, 강제 재생의 조작을 행했다고 판정하면(단계 S1815의 Y), 수신기(1800a)는, 이어 폰이 접속되어 있지 않은 경우에도 음성을 재생한다(단계 S1812).
한편, 강제 재생의 조작을 행하고 있지 않다고 판정하면(단계 S1815의 N), 수신기(1800a)는, 미리 수신한 음성 데이터, 및 해석한 동기 시각을 보존해 둠으로써, 이어 폰이 접속되었을 때에 신속하게 음성의 동기 재생을 행한다.
도 130은, 실시의 형태 16에 있어서의 수신기(1800a)의 처리 플로우의 다른 예를 나타내는 도면이다.
수신기(1800a)는, 우선, 송신기(1800d)로부터 ID를 수신한다(단계 S1821). 즉, 수신기(1800a)는, 송신기(1800d)의 ID, 또는, 송신기(1800d)에 표시되어 있는 컨텐츠의 ID를 나타내는 가시광 신호를 수신한다.
다음으로, 수신기(1800a)는, 그 수신한 ID에 관련지어져 있는 정보(컨텐츠)를, 서버로부터 다운로드한다(단계 S1822). 또는, 수신기(1800a)는, 수신기(1800a)의 내부에 있는 데이터 보존부로부터 그 정보를 읽어낸다. 이하, 이 정보를 관련 정보라고 한다.
다음으로, 수신기(1800a)는, 그 관련 정보에 포함되어 있는 동기 재생 플래그가 ON을 나타내고 있는지 여부를 판정한다(단계 S1823). 여기서, 동기 재생 플래그가 ON를 나타내고 있지 않다고 판정하면(단계 S1823의 N), 수신기(1800a)는, 그 관련 정보에 의해서 나타나는 내용을 출력한다(단계 S1824). 즉, 그 내용이 화상인 경우에는, 수신기(1800a)는 화상을 표시하고, 그 내용이 음성인 경우에는, 수신기(1800a)는 음성을 출력한다.
한편, 수신기(1800a)는, 동기 재생 플래그가 ON을 나타내고 있다고 판정하면(단계 S1823의 Y), 추가로, 그 관련 정보에 포함되어 있는 시각 맞춤 모드가, 송신기 기준 모드로 설정되어 있는지, 절대 시각 모드로 설정되어 있는지를 판정한다(단계 S1825). 절대 시각 모드로 설정되어 있다고 판정하면, 수신기(1800a)는, 최후의 시각 맞춤이 현재 시각으로부터 일정 시간 이내에 행해졌는지 여부를 판정한다(단계 S1826). 이 때의 시각 맞춤은, 소정의 방법에 의해 시각 정보를 입수하고, 그 시각 정보를 이용하여, 수신기(1800a)에 구비되어 있는 시계의 시각을, 기준 클록의 절대 시각에 맞추는 처리이다. 소정의 방법은, 예를 들면 GPS(Global Positioning　System) 전파 또는 NTP(Network　Time　Protocol) 전파를 이용한 방법이다. 또한, 상술의 현재 시각은, 단말 장치인 수신기(1800a)가 가시광 신호를 수신한 시각이라도 된다.
수신기(1800a)는, 최후의 시각 맞춤이 일정 시간 이내에 행해졌다고 판정하면(단계 S1826의 Y), 수신기(1800a)의 시계의 시각에 의거하여 관련 정보를 출력함으로써, 송신기(1800d)에 표시되는 컨텐츠와 관련 정보를 동기시킨다(단계 S1827). 관련 정보에 의해서 나타나는 내용이 예를 들면 동화상인 경우에는, 수신기(1800a)는, 송신기(1800d)에 표시되는 컨텐츠에 동기하도록, 그 동화상을 표시한다. 관련 정보에 의해서 나타나는 내용이 예를 들면 음성인 경우에는, 수신기(1800a)는, 송신기(1800d)에 표시되는 컨텐츠에 동기하도록, 그 음성을 출력한다. 예를 들면, 관련 정보가 음성을 나타내는 경우에는, 관련 정보는, 음성을 구성하는 각 프레임을 포함하고, 그들 프레임에는 타임 스탬프가 붙여져 있다. 수신기(1800a)는, 스스로 시계의 시각에 해당하는 타입 스탬프가 붙여져 있는 프레임을 재생함으로써, 송신기(1800d)의 컨텐츠에 동기된 음성을 출력한다.
수신기(1800a)는, 최후의 시각 맞춤이 일정 시간 이내에 행해지지 않는다고 판정하면(단계 S1826의 N), 소정의 방법으로 시각 정보의 입수를 시도하고, 그 시각 정보를 입수할 수 있었는지 여부를 판정한다(단계 S1828). 여기서, 시각 정보를 입수할 수 있었다고 판정하면(단계 S1828의 Y), 수신기(1800a)는, 그 시각 정보를 이용하여, 수신기(1800a)의 시계의 시각을 갱신한다(단계 S1829). 그리고, 수신기(1800a)는, 상술의 단계 S1827의 처리를 실행한다.
또한, 단계 S1825에 있어서, 시각 맞춤 모드가 송신기 기준 모드라고 판정했을 때, 또는, 단계 S1828에 있어서, 시각 정보를 입수할 수 없었다고 판정하면(단계 S1828의 N), 수신기(1800a)는, 송신기(1800d)로부터 시각 정보를 취득한다(단계 S1830). 즉, 수신기(1800a)는, 가시광 통신에 의해서 동기 신호인 시각 정보를 송신기(1800d)로부터 취득한다. 예를 들면, 동기 신호는, 도 126에 나타내는 시간 패킷 1 및 시간 패킷 2이다. 또는, 수신기(1800a)는, Bluetooth(등록상표) 또는 Wi-Fi 등의 전파에 의해서 시각 정보를 송신기(1800d)로부터 취득한다. 그리고, 수신기(1800a)는, 상술의 단계 S1829 및 S1827의 처리를 실행한다.
본 실시의 형태에서는, 단계 S1829, S1830와 같이, GPS 전파 또는 NTP 전파에 의해서, 수신기(1800a)인 단말 장치의 시계와 기준 클록의 사이에서 동기를 취하기 위한 처리(시각 맞춤)가 행해진 시각이, 단말 장치가 가시광 신호를 수신한 시각으로부터 소정의 시간보다 전인 경우, 송신기(1800d)로부터 송신된 가시광 신호가 나타내는 시각에 의해, 단말 장치의 시계와, 송신기의 시계의 사이에서 동기를 취한다. 이에 따라, 단말 장치는, 송신기(1800d)에서 재생되는 송신기측 컨텐츠와 동기하는 타이밍에, 컨텐츠(동영상 또는 음성)를 재생할 수 있다.
도 131a는, 실시의 형태 16에 있어서의 동기 재생의 구체적인 방법을 설명하기 위한 도면이다. 동기 재생의 방법에는, 도 131a에 나타내는 방법 a∼e가 있다.
(방법 a)
방법 a에서, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시킴으로써, 컨텐츠 ID 및 컨텐츠 재생 중 시각을 나타내는 가시광 신호를 출력한다. 컨텐츠 재생 중 시각은, 컨텐츠 ID가 송신기(1800d)로부터 송신되었을 때에 송신기(1800d)에 의해서 재생되고 있는, 컨텐츠의 일부인 데이터의 재생 시각이다. 데이터는, 컨텐츠가 동화상이면, 그 동화상을 구성하는 픽쳐 또는 시퀀스 등이고, 컨텐츠가 음성이면, 그 음성을 구성하는 프레임 등이다. 재생 시각은, 예를 들면, 컨텐츠의 선두로부터의 재생 시간을 시각으로서 나타낸다. 컨텐츠가 동화상이면, 재생 시각은 PTS(Presentation　Time　Stamp)로서 컨텐츠에 포함되어 있다. 즉, 컨텐츠에는, 그 컨텐츠를 구성하는 데이터마다, 그 데이터의 재생 시각(표시 시각)이 포함되어 있다.
수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영함으로써, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 컨텐츠 ID를 포함하는 요구 신호를 서버(1800f)에 송신한다. 서버(1800f)는, 그 요구 신호를 수신하고, 요구 신호에 포함되는 컨텐츠 ID에 대응지어져 있는 컨텐츠를 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 컨텐츠를 수신하면, 그 컨텐츠를, (컨텐츠 재생 중 시각＋ID 수신으로부터의 경과 시간)의 시점으로부터 재생한다. ID 수신으로부터의 경과 시간은, 컨텐츠 ID가 수신기(1800a)에 의해 수신되었을 때부터의 경과 시간이다.
(방법 b)
방법 b에서는, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시킴으로써, 컨텐츠 ID 및 컨텐츠 재생 중 시각을 나타내는 가시광 신호를 출력한다. 수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영함으로써, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 컨텐츠 ID 및 컨텐츠 재생 중 시각을 포함하는 요구 신호를 서버(1800f)에 송신한다. 서버(1800f)는, 그 요구 신호를 수신하고, 요구 신호에 포함되는 컨텐츠 ID에 대응지어져 있는 컨텐츠 중, 컨텐츠 재생 중 시각 이후의 일부의 컨텐츠만을 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 일부 컨텐츠를 수신하면, 그 일부 컨텐츠를, (ID 수신으로부터의 경과 시간)의 시점으로부터 재생한다.
(방법 c)
방법 c에서는, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시킴으로써, 송신기 ID 및 컨텐츠 재생 중 시각을 나타내는 가시광 신호를 출력한다. 송신기 ID는, 송신기를 식별하기 위한 정보이다.
수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영함으로써, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 송신기 ID를 포함하는 요구 신호를 서버(1800f)에 송신한다.
서버(1800f)는, 송신기 ID마다, 그 송신기 ID의 송신기에 의해서 재생되는 컨텐츠의 타임 테이블인 재생 예정표를 보존하고 있다. 또한, 서버(1800f)는 시계를 구비하고 있다. 이러한 서버(1800f)는, 그 요구 신호를 수신하면, 그 요구 신호에 포함되는 송신기 ID와 서버(1800f)의 시계의 시각(서버 시각)에 대응지어져 있는 컨텐츠를, 재생 중의 컨텐츠로서, 재생 예정표로부터 특정한다. 그리고, 서버(1800f)는, 그 컨텐츠를 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 컨텐츠를 수신하면, 그 컨텐츠를, (컨텐츠 재생 중 시각＋ID 수신으로부터의 경과 시간)의 시점으로부터 재생한다.
(방법 d)
방법 d에서는, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시킴으로써, 송신기 ID 및 송신기 시각을 나타내는 가시광 신호를 출력한다. 송신기 시각은, 송신기(1800d)에 구비되어 있는 시계에 의해서 나타나는 시각이다.
수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영함으로써, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 송신기 ID 및 송신기 시각을 포함하는 요구 신호를 서버(1800f)에 송신한다.
서버(1800f)는, 상술의 재생 예정표를 보존하고 있다. 이러한 서버(1800f)는, 그 요구 신호를 수신하면, 그 요구 신호에 포함되는 송신기 ID와 송신기 시각에 대응지어져 있는 컨텐츠를, 재생 중의 컨텐츠로서, 재생 예정표로부터 특정한다. 추가로, 서버(1800f)는, 송신기 시각으로부터 컨텐츠 재생 중 시각을 특정한다. 즉, 서버(1800f)는, 특정된 컨텐츠의 재생 개시 시각을 재생 예정표로부터 발견하고, 송신기 시각과 재생 개시 시각의 사이의 시간을 컨텐츠 재생 중 시각으로서 특정한다. 그리고, 서버(1800f)는, 그 컨텐츠 및 컨텐츠 재생 중 시각을 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 컨텐츠 및 컨텐츠 재생 중 시각을 수신하면, 그 컨텐츠를, (컨텐츠 재생 중 시각＋ID 수신으로부터의 경과 시간)의 시점으로부터 재생한다.
이와 같이, 본 실시의 형태에서는, 가시광 신호는, 그 가시광 신호가 송신기(1800d)로부터 송신되는 시각을 나타낸다. 따라서, 단말 장치인 수신기(1800a)는, 가시광 신호가 송신기(1800d)로부터 송신되는 시각(송신기 시각)에 대응지어진 컨텐츠를 수신할 수 있다. 예를 들면, 송신기 시각이 5시 43분이면, 5시 43분에 재생되는 컨텐츠를 수신할 수 있다.
또한, 본 실시의 형태에서는, 서버(1800f)는, 각각 시각에 관련지어져 있는 복수의 컨텐츠를 갖고 있다. 그러나, 가시광 신호가 나타내는 시각에 관련지어진 컨텐츠가 서버(1800f)에 존재하지 않는 경우가 있다. 이러한 경우에는, 단말 장치인 수신기(1800a)는, 그 복수의 컨텐츠 중, 가시광 신호가 나타내는 시각에 가장 가깝고, 또한, 가시광 신호가 나타내는 시각 후의 시각에 관련지어져 있는 컨텐츠를 수신해도 된다. 이에 따라, 가시광 신호가 나타내는 시각에 관련지어진 컨텐츠가 서버(1800f)에 존재하지 않아도, 그 서버(1800f)에 있는 복수의 컨텐츠 중에서, 적절한 컨텐츠를 수신할 수 있다.
또한, 본 실시의 형태에 있어서의 재생 방법은, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기(1800d)로부터, 가시광 신호를 수신기(1800a)(단말 장치)의 센서에 의해 수신하는 신호 수신 단계와, 수신기(1800a)로부터, 가시광 신호에 대응지어진 컨텐츠를 요구하기 위한 요구 신호를 서버(1800f)에 송신하는 송신 단계와, 수신기(1800a)가, 서버(1800f)로부터 컨텐츠를 수신하는 컨텐츠 수신 단계와, 컨텐츠를 재생하는 재생 단계를 포함한다. 가시광 신호는, 송신기 ID와 송신기 시각을 나타낸다. 송신기 ID는 ID 정보이다. 또한, 송신기 시각은, 송신기(1800d)의 시계에 의해서 나타나는 시각이며, 그 가시광 신호가 송신기(1800d)로부터 송신되는 시각이다. 그리고, 컨텐츠 수신 단계에서는, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 송신기 ID 및 송신기 시각에 대응지어진 컨텐츠를 수신한다. 이에 따라, 수신기(1800a)는, 송신기 ID 및 송신기 시각에 대하여 적절한 컨텐츠를 재생할 수 있다.
(방법 e)
방법 e에서, 송신기(1800d)는, 상기 각 실시의 형태와 동일하게, 디스플레이를 휘도 변화시킴으로써, 송신기 ID를 나타내는 가시광 신호를 출력한다.
수신기(1800a)는, 상기 각 실시의 형태와 동일하게 송신기(1800d)를 촬영함으로써, 그 가시광 신호를 수신한다. 그리고, 수신기(1800a)는, 가시광 신호에 의해서 나타나는 송신기 ID를 포함하는 요구 신호를 서버(1800f)에 송신한다.
서버(1800f)는, 상술의 재생 예정표를 보존하고, 추가로 시계를 구비하고 있다. 이러한 서버(1800f)는, 그 요구 신호를 수신하면, 그 요구 신호에 포함되는 송신기 ID와 서버 시각에 대응지어져 있는 컨텐츠를, 재생 중의 컨텐츠로서, 재생 예정표로부터 특정한다. 또한, 서버 시각은, 서버(1800f)의 시계에 의해서 나타나는 시각이다. 추가로, 서버(1800f)는, 특정된 컨텐츠의 재생 개시 시각도 재생 예정표로부터 발견한다. 그리고, 서버(1800f)는, 그 컨텐츠 및 컨텐츠 재생 개시 시각을 수신기(1800a)에 송신한다.
수신기(1800a)는, 그 컨텐츠 및 컨텐츠 재생 개시 시각을 수신하면, 그 컨텐츠를, (수신기 시각－컨텐츠 재생 개시 시각)의 시점으로부터 재생한다. 또한, 수신기 시각은, 수신기(1800a)에 구비되어 있는 시계에 의해서 나타나는 시각이다.
이와 같이, 본 실시의 형태에 있어서의 재생 방법은, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기(1800d)로부터, 가시광 신호를 수신기(1800a)(단말 장치)의 센서에 의해 수신하는 신호 수신 단계와, 수신기(1800a)로부터, 가시광 신호에 대응지어진 컨텐츠를 요구하기 위한 요구 신호를 서버(1800f)에 송신하는 송신 단계와, 수신기(1800a)가, 각 시각과, 각 시각에 재생되는 데이터를 포함하는 컨텐츠를, 서버(1800f)로부터 수신하는 컨텐츠 수신 단계와, 그 컨텐츠 중, 수신기(1800a)에 구비되어 있는 시계의 시각에 해당하는 데이터를 재생하는 재생 단계를 포함한다. 따라서, 수신기(1800a)는, 그 컨텐츠에 있어서의 데이터를, 잘못된 시각으로 재생해 버리는 일 없이, 그 컨텐츠에 나타나는 올바른 시각에, 적절히 재생할 수 있다. 또한, 송신기(1800d)에 있어서도, 그 컨텐츠에 관련된 컨텐츠(송신기측 컨텐츠)가 재생되어 있으면, 수신기(1800a)는, 컨텐츠를 그 송신기측 컨텐츠에 적절히 동기시켜 재생할 수 있다.
또한, 상기 방법 c∼e라도, 방법 b와 같이, 서버(1800f)는, 컨텐츠 중, 컨텐츠 재생 중 시각 이후의 일부 컨텐츠만을 수신기(1800a)에 송신해도 좋다.
또한, 상기 방법 a∼e에서는, 수신기(1800a)는, 서버(1800f)에 요구 신호를 송신하고, 서버(1800f)로부터 필요한 데이터를 수신하지만, 이러한 송수신을 하는 일 없이, 서버(1800f)에 있는 데이터를 미리 보존해 두어도 된다.
도 131b는, 상술의 방법 e에 의해서 동기 재생을 행하는 재생 장치의 구성을 나타내는 블록도이다.
재생 장치(B10)는, 상술의 방법 e에 의해서 동기 재생을 행하는 수신기(1800a) 또는 단말 장치로서, 센서(B11)와, 요구 신호 송신부(B12)와, 컨텐츠 수신부(B13)와, 시계(B14)와, 재생부(B15)를 구비하고 있다.
센서(B11)는, 예를 들면 이미지 센서로서, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기(1800d)로부터, 그 가시광 신호를 수신한다. 요구 신호 송신부(B12)는, 가시광 신호에 대응지어진 컨텐츠를 요구하기 위한 요구 신호를 서버(1800f)에 송신한다. 컨텐츠 수신부(B13)는, 각 시각과, 각 시각에 재생되는 데이터를 포함하는 컨텐츠를, 서버(1800f)로부터 수신한다. 재생부(B15)는, 그 컨텐츠 중, 시계 B14의 시각에 해당하는 데이터를 재생한다.
도 131c는, 상술의 방법 e에 의해서 동기 재생을 행하는 단말 장치의 처리 동작을 나타내는 플로우차트이다.
재생 장치(B10)는, 상술의 방법 e에 의해서 동기 재생을 행하는 수신기(1800a) 또는 단말 장치로서, 단계 SB11∼SB15의 각 처리를 실행한다.
단계 SB11에서는, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기(1800d)로부터, 그 가시광 신호를 수신한다. 단계 SB12에서는, 가시광 신호에 대응지어진 컨텐츠를 요구하기 위한 요구 신호를 서버(1800f)에 송신한다. 단계 SB13에서는, 각 시각과, 각 시각에 재생되는 데이터를 포함하는 컨텐츠를, 서버(1800f)로부터 수신한다. 단계 SB15에서는, 그 컨텐츠 중, 시계(B14)의 시각에 해당하는 데이터를 재생한다.
이와 같이, 본 실시의 형태에 있어서의 재생 장치(B10) 및 재생 방법에서는, 컨텐츠에 있어서의 데이터를, 잘못된 시각으로 재생해 버리는 일 없이, 그 컨텐츠에 나타나는 올바른 시각에, 적절히 재생할 수 있다.
또한, 본 실시의 형태에 있어서, 각 구성 요소는, 전용 하드웨어로 구성되거나, 각 구성 요소에 적절한 소프트웨어 프로그램을 실행함으로써 실현되어도 된다. 각 구성 요소는, CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 읽어내 실행함으로써 실현되어도 된다. 여기서, 본 실시의 형태의 재생 장치(B10) 등을 실현하는 소프트웨어는, 도 131c에 나타내는 플로우차트에 포함되는 각 단계를 컴퓨터에 실행시키는 프로그램이다.
도 132는, 실시의 형태 16에 있어서의 동기 재생의 사전 준비를 설명하기 위한 도면이다.
수신기(1800a)는, 동기 재생을 행하기 위해서, 수신기(1800a)에 구비되어 있는 시계의 시각을 기준 클록의 시각에 맞추는 시각 맞춤을 행한다. 이 시각 맞춤을 위해서, 수신기(1800a)는, 이하의 (1)∼(5)의 처리를 행한다.
(1) 수신기(1800a)는 신호를 수신한다. 이 신호는, 송신기(1800d)의 디스플레이의 휘도 변화에 의해서 송신되는 가시광 신호라도, 무선 기기로부터의 Wi－Fi 또는 Bluetooth(등록상표)에 의거하는 전파 신호라도 된다. 또는, 수신기(1800a)는, 이러한 신호를 수신하는 대신에, 수신기(1800a)의 위치를 나타내는 위치 정보를 예를 들면 GPS 등에 의해서 취득한다. 그리고, 수신기(1800a)는, 그 위치 정보에 의해서, 수신기(1800a)가 미리 정해진 장소 또는 건물에 들어간 것을 인식한다.
(2) 수신기(1800a)는, 상기 신호를 수신하면, 또는, 미리 정해진 장소에 들어간 것을 인식하면, 그 신호 또는 장소 등에 관련지어져 있는 데이터(관련 정보)를 요구하는 요구 신호를 서버(가시광 ID 해결 서버)(1800f)에 송신한다.
(3) 서버(1800f)는, 상술의 데이터와, 수신기(1800a)에 시각 맞춤을 시키기 위한 시각 맞춤 요구를 수신기(1800a)에 송신한다.
(4) 수신기(1800a)는, 데이터와 시각 맞춤 요구를 수신하면, 시각 맞춤 요구를 GPS 타임 서버, NTP 서버 또는, 전기 통신 사업자(캐리어)의 기지국에 송신한다.
(5) 상기 서버 또는 기지국은, 그 시각 맞춤 요구를 수신하면, 현재 시각(기준 클록의 시각 또는 절대 시각)을 나타내는 시각 데이터(시각 정보)를 수신기(1800a)에 송신한다. 수신기(1800a)는, 자신에 구비되어 있는 시계의 시각을, 그 시각 데이터에 나타나는 현재 시각에 맞춤으로써, 시각 맞춤을 행한다.
이와 같이 본 실시의 형태에서는, 수신기(1800a)(단말 장치)에 구비되어 있는 시계와, 기준 클록의 사이에서는, GPS(Global　Positioning　System) 전파, 또는, NTP(Network　Time　Protocol) 전파에 의해서, 동기가 취해진다. 따라서, 수신기(1800a)는, 기준 클록에 따른 적절한 시각에, 그 시각에 해당하는 데이터를 재생할 수 있다.
도 133은, 실시의 형태 16에 있어서의 수신기(1800a)의 응용예를 나타내는 도면이다.
수신기(1800a)는, 상술과 같이 스마트 폰으로서 구성되고, 예를 들면, 투광성을 갖는 수지 또는 유리 등의 부재로 구성된 홀더(1810)에 보존되어 이용된다. 이 홀더(1810)는, 등판부(1810a)와, 등판부(1810a)에 세워 설치된 걸림부(1810b)를 갖는다. 수신기(1800a)는, 등판부(1810a)와 걸림부(1810b)의 사이에, 그 등판부(1810a)를 따르도록 삽입된다.
도 134a는, 실시의 형태 16에 있어서의, 홀더(1810)에 보존된 수신기(1800a)의 정면도이다.
수신기(1800a)는, 상술과 같이 삽입된 상태에서 홀더(1810)에 보전된다. 이 때, 걸림부(1810b)는, 수신기(1800a)의 하부와 걸림 고정되고, 그 하부를 등판부(1810a)와 끼워 지지한다. 또한, 수신기(1800a)의 배면은, 등판부(1810a)와 대향하고, 수신기(1800a)의 디스플레이(1801)는 노출된 상태로 된다.
도 134b는, 실시의 형태 16에 있어서의, 홀더(1810)에 보존된 수신기(1800a)의 배면도이다.
또한, 등판부(1810a)에는, 통공(1811)이 형성되고, 그 통공(1811)의 가까이에 가변 필터(1812)가 부착되어 있다. 수신기(1800a)가 홀더(1810)에 보존되면, 수신기(1800a)의 카메라(1802)는, 등판부(1810a)로부터 통공(1811)을 통하여 노출된다. 또한, 수신기(1800a)의 플래시 라이트(1803)는, 가변 필터(1812)에 대향한다.
가변 필터(1812)는, 예를 들면 원반상으로 형성되고, 각각 부채형상으로 동일한 사이즈의 3개의 색 필터(적색 필터, 황색 필터, 및 녹색 필터)를 갖는다. 또한, 가변 필터(1812)는, 가변 필터(1812)의 중심을 축으로 하여 회전가능하게 등판부(1810a)에 부착되어 있다. 또한, 적색 필터는, 적색의 투광성을 갖는 필터이며, 황색 필터는, 황색 투광성을 갖는 필터이고, 녹색 필터는, 녹색의 투광성을 갖는 필터이다.
따라서, 가변 필터(1812)가 회전되고, 예를 들면, 적색 필터가 플래시 라이트(1803a)에 대향하는 위치에 배치된다. 이 경우, 플래시 라이트(1803a)로부터 발해진 광은, 적색 필터를 투과함으로써, 적색의 광으로서 홀더(1810)의 내부에서 확산된다. 그 결과, 홀더(1810)의 대략 전체가 적색으로 발광한다.
동시에, 가변 필터(1812)가 회전되고, 예를 들면, 황색 필터가 플래시 라이트(1803a)에 대향하는 위치에 배치된다. 이 경우, 플래시 라이트(1803a)로부터 발해진 광은, 황색 필터를 투과함으로써, 황색의 광으로서 홀더(1810)의 내부에서 확산된다. 그 결과, 홀더(1810)의 대략 전체가 황색으로 발광한다.
동일하게, 가변 필터(1812)가 회전되고, 예를 들면, 녹색 필터가 플래시 라이트(1803a)에 대향하는 위치에 배치된다. 이 경우, 플래시 라이트(1803a)로부터 발해지는 광은, 녹색 필터를 투과함으로써, 녹색의 광으로서 홀더(1810)의 내부에서 확산된다. 그 결과, 홀더(1810)의 대략 전체가 녹색으로 발광한다.
즉, 홀더(1810)는, 펜 라이트와 같이, 적색, 황색 또는 녹색으로 점등한다.
도 135는, 실시의 형태 16에 있어서의, 홀더(1810)에 유지된 수신기(1800a)의 유스 케이스를 설명하기 위한 도면이다.
예를 들면, 홀더(1810)에 유지된 수신기(1800a)인 홀더 부착 수신기는, 유원지 등에서 이용된다. 즉, 유원지에 있어서 이동하는 플로트로 향해진 복수의 홀더 부착 수신기는, 그 플로트로부터 흐르는 음악에 맞추어, 동기하면서 점멸한다. 즉, 플로트는, 상기 각 실시의 형태에 있어서의 송신기로서 구성되고, 플로트에 부착되어 있는 광원의 휘도 변화에 의해서 가시광 신호를 송신한다. 예를 들면, 플로트는, 플로트의 ID를 나타내는 가시광 신호를 송신한다. 그리고, 홀더 부착 수신기는, 상기 각 실시의 형태와 동일하게, 수신기(1800a)의 카메라(1802)의 촬영에 의해서, 그 가시광 신호, 즉 ID를 수신한다. ID를 수신한 수신기(1800a)는, 그 ID에 대응지어진 프로그램을 예를 들면 서버로부터 취득한다. 이 프로그램은, 소정의 각 시각에 있어서 수신기(1800a)의 플래시 라이트(1803)를 점등시키는 명령으로 이루어진다. 이 소정의 각 시각은, 플로트로부터 흐르는 음악에 맞추어(동기하도록) 설정되어 있다. 그리고, 수신기(1800a)는, 그 프로그램에 따라서, 플래시 라이트(1803a)를 점멸시킨다.
이에 따라, 그 ID를 수신한 각 수신기(1800a)의 홀더(1810)는, 그 ID의 플로트로부터 흐르는 음악에 맞추어 동일한 타이밍에 점등하는 것을 반복한다.
여기서, 각 수신기(1800a)는, 설정되어 있는 색 필터(이하, 설정 필터라고 한다)에 따라서 플래시 라이트(1803)의 점멸을 행한다. 설정 필터란, 수신기(1800a)의 플래시 라이트(1803)에 대향하고 있는 색 필터이다. 또한, 각 수신기(1800a)는, 유저에 의한 조작에 의거하여, 현재의 설정 필터를 인식하고 있다. 또는, 각 수신기(1800a)는, 카메라(1802)의 촬영에 의해서 얻어지는 화상의 색 등에 의거하여, 현재의 설정 필터를 인식하고 있다.
즉, ID를 수신한 복수의 수신기(1800a) 중, 소정의 시각에서는, 설정 필터가 적색 필터인 것을 인식하고 있는 복수의 수신기(1800a)의 홀더(1810)만이 동시에 점등한다. 다음의 시각에서는, 설정 필터가 녹색 필터인 것을 인식하고 있는 복수의 수신기(1800a)의 홀더(1810)만이 동시에 점등한다. 추가로 다음의 시각에서는, 설정 필터가 황색 필터인 것을 인식하고 있는 복수의 수신기(1800a)의 홀더(1810)만이 동시에 점등한다.
이와 같이, 홀더(1810)에 유지되는 수신기(1800a)는, 상술의 도 123∼도 129에 나타내는 동기 재생과 동일하게, 플로트의 음악과, 다른 홀더(1810)에 유지되는 수신기(1800a)에 동기하여, 플래시 라이트(1803), 즉 홀더(1810)를 점멸시킨다.
도 136은, 실시의 형태 16에 있어서의, 홀더(1810)에 유지된 수신기(1800a)의 처리 동작을 나타내는 플로우차트이다.
수신기(1800a)는, 플로트로부터의 가시광 신호에 의해서 나타나는 플로트의 ID를 수신한다(단계 S1831). 다음으로, 수신기(1800a)는, 그 ID에 대응지어져 있고 있는 프로그램을 서버로부터 취득한다(단계 S1832). 다음으로, 수신기(1800a)는, 그 프로그램을 실행함으로써, 설정 필터에 따른 소정의 각 시각에 플래시 라이트(1803)를 점등시킨다(단계 S1833).
여기서, 수신기(1800a)는, 수신한 ID 또는 취득한 프로그램에 따른 화상을 디스플레이(1801)에 표시시켜도 된다.
도 137은, 실시의 형태 16에 있어서의 수신기(1800a)에 의해서 표시되는 화상의 일 예를 나타내는 도면이다.
수신기(1800a)는, 예를 들면 산타클로스의 플로트로부터 ID를 수신하면, 도 137의 (a)에 나타내는 바와 같이, 산타클로스의 화상을 표시시킨다. 추가로, 수신기(1800a)는, 도 137의 (b)에 나타내는 바와 같이, 플래시 라이트(1803)의 점등과 동시에, 그 산타클로스의 화상의 배경색을, 설정 필터의 색으로 변경해도 좋다. 예를 들면, 설정 필터의 색이 적색인 경우에는, 플래시 라이트(1803)의 점등에 의해서, 홀더(1810)가 적색으로 점등함과 동시에, 적색의 배경색을 갖는 산타클로스의 화상이 디스플레이(1801)에 표시된다. 즉, 홀더(1810)의 점멸과, 디스플레이 (1801)의 표시가 동기한다.
도 138은, 실시의 형태 16에 있어서의 홀더의 다른 예를 나타내는 도면이다.
홀더(1820)는, 상술의 홀더(1810)와 동일하게 구성되어 있지만, 통공(1811) 및 가변 필터(1812)가 없다. 이러한 홀더(1820)는, 등판부(1820a)에 수신기(1800a)의 디스플레이(1801)가 향해진 상태에서, 그 수신기(1800a)를 유지한다. 이 경우, 수신기(1800a)는, 플래시 라이트(1803) 대신에, 디스플레이(1801)를 발광시킨다. 이에 따라, 디스플레이(1801)로부터의 광이 홀더(1820)의 대략 전체에 확산된다. 따라서, 수신기(1800a)가, 상술의 프로그램에 따라서, 적색의 광으로 디스플레이(1801)를 발광시키면, 홀더(1820)는 적색으로 점등한다. 동일하게 수신기(1800a)가, 상술의 프로그램에 따라서, 황색의 광으로 디스플레이(1801)를 발광시키면, 홀더(1820)는 황색으로 점등한다. 수신기(1800a)가, 상술의 프로그램에 따라서, 녹색의 광으로 디스플레이(1801)를 발광시키면, 홀더(1820)는 녹색으로 점등한다. 이러한 홀더(1820)를 이용하면, 가변 필터(1812)의 설정을 생략할 수 있다.
(실시의 형태 17)
(가시광 신호)
도 139a∼도 139d는, 실시의 형태 17에 있어서의 가시광 신호의 일 예를 나타내는 도면이다.
송신기는, 상술과 동일하게, 예를 들면 도 139a에 나타내는 바와 같이, 4PPM의 가시광 신호를 생성하고, 이 가시광 신호에 따라서 휘도 변화한다. 구체적으로는, 송신기는, 4슬롯을 1신호 단위로 할당하고, 복수의 신호 단위로 이루어지는 가시광 신호를 생성한다. 신호 단위는, 슬롯마다 High(H) 또는 Low(L)를 나타낸다. 그리고, 송신기는, H의 슬롯에 있어서 밝게 발광하고, L의 슬롯에 있어서 어둡게 발광 또는 소등한다. 예를 들면, 1슬롯은, 1/9600초의 시간에 상당하는 기간이다.
또한, 송신기는, 예를 들면 도 139b에 나타내는 바와 같이, 1신호 단위에 할당되어지는 슬롯수가 가변이 되는 가시광 신호를 생성해도 된다. 이 경우, 신호 단위에서는, 1개 이상이 연속하는 슬롯에 있어서 H를 나타내는 신호와, 그 H의 신호에 계속되는 1개의 슬롯에 있어서 L을 나타내는 신호로 이루어진다. H의 슬롯수가 가변이기 때문에, 신호 단위의 전체의 슬롯수가 가변으로 된다. 예를 들면 도 139b에 나타내는 바와 같이, 송신기는, 3슬롯의 신호 단위, 4슬롯의 신호 단위, 6슬롯의 신호 단위의 순으로, 그들 신호 단위를 포함하는 가시광 신호를 생성한다. 그리고, 송신기는, 이 경우에도, H의 슬롯에 있어서 밝게 발광하고, L의 슬롯에 있어서 어둡게 발광 또는 소등한다.
또한, 송신기는, 예를 들면 도 139c에 나타내는 바와 같이, 복수의 슬롯을 1신호 단위에 할당하는 일 없이, 임의의 기간(신호 단위 기간)을 1신호 단위로 할당해도 된다. 이 신호 단위 기간은, H의 기간과, 그 H의 기간에 계속되는 L의 기간으로 이루어진다. H의 기간은, 변조 전의 신호에 따라서 조정된다. L의 기간은, 고정이며, 상기 슬롯에 상당하는 기간이어도 된다. 또한, H의 기간 및 L의 기간은 각각 예를 들면 100μs 이상의 기간이다. 예를 들면 도 139c에 나타내는 바와 같이, 송신기는, 신호 단위 기간이 210μs의 신호 단위, 신호 단위 기간이 220μs의 신호 단위, 신호 단위 기간이 230μs의 신호 단위의 순으로, 그들 신호 단위를 포함하는 가시광 신호를 송신한다. 그리고, 송신기는, 이 경우에도, H의 기간에 있어서 밝게 발광하고, L의 기간에 있어서 어둡게 발광 또는 소등한다.
또한, 송신기는, 예를 들면 도 139d에 나타내는 바와 같이, L과 H를 교호로 나타내는 신호를 가시광 신호로서 생성해도 된다. 이 경우, 가시광 신호에 있어서 L의 기간과 H의 기간은, 각각 변조 전의 신호에 따라서 조정된다. 예를 들면 도 139d에 나타내는 바와 같이, 송신기는, 100μs의 기간에 있어서 H를 나타내고, 다음으로, 120μs의 기간에 있어서 L을 나타내고, 다음으로, 110μs의 기간에 있어서 H를 나타내고, 추가로 200μs의 기간에 있어서 L을 나타내는 가시광 신호를 송신한다. 그리고, 송신기는, 이 경우에도, H의 기간에 있어서 밝게 발광하고, L의 기간에 있어서 어둡게 발광 또는 소등한다.
도 140은, 실시의 형태 17에 있어서의 가시광 신호의 구성을 나타내는 도면이다.
가시광 신호는, 예를 들면, 신호 1과, 그 신호 1에 대응하는 밝기 조정 신호와, 신호 2와, 그 신호 2에 대응하는 밝기 조정 신호를 포함한다. 송신기는, 변조전의 신호를 변조함으로써 신호 1 및 신호 2를 생성하면, 그들 신호에 대한 밝기 조정 신호를 생성하여, 상술의 가시광 신호를 생성한다.
신호 1에 대응하는 밝기 조정 신호는, 신호 1에 따른 휘도 변화에 의한 밝기의 증감을 보충하는 신호이다. 신호 2에 대응하는 밝기 조정 신호는, 신호 2에 따른 휘도 변화에 의한 밝기의 증감을 보충하는 신호이다. 여기서, 신호 1과, 그 신호 1의 밝기 조정 신호에 따른 휘도 변화에 의해서, 밝기 B1이 표현되고, 신호 2와, 그 신호 2의 밝기 조정 신호에 따른 휘도 변화에 의해서, 밝기 B2가 표현된다. 본 실시의 형태에 있어서의 송신기는, 그 밝기 B1와 밝기 B2가 동일해지도록, 신호 1 및 신호 2의 각각의 밝기 조정 신호를 가시광 신호의 일부로서 생성한다. 이에 따라, 밝기가 일정하게 유지되고 깜박거림을 억제할 수 있다.
또한, 송신기는, 상술의 신호 1을 생성할 때에는, 데이터 1과, 그 데이터 1에 계속되는 프리앰블(헤더)과, 그 프리앰블에 계속되는 데이터 1을 포함하는 신호 1을 생성한다. 여기서, 프리앰블은, 그 전후에 배치되어 있는 데이터 1에 대응하는 신호이다. 예를 들면, 이 프리앰블은, 데이터 1을 읽어내기 위한 식별자가 되는 신호이다. 이와 같이, 2개의 데이터 1과, 그들 사이에 배치되는 프리앰블로부터 신호 1이 구성되어 있기 때문에, 수신기는, 전에 있는 데이터 1의 도중부터 가시광 신호를 읽어내도, 그 데이터 1(즉 신호 1)을 올바르게 복조할 수 있다.
(휘선 화상)
도 141은, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 일 예를 나타내는 도면이다.
수신기는, 상술과 같이, 휘도 변화하는 송신기를 촬상함으로써, 그 송신기로부터 송신되는 가시광 신호를 휘선 패턴으로서 포함하는 휘선 화상을 취득한다. 이러한 촬상에 의해서, 가시광 신호가 수신기에 수신된다.
예를 들면, 도 141에 나타내는 바와 같이, 수신기는, 이미지 센서에 포함되는 N개의 노광 라인을 이용하여, 시각 t1에 촬상함으로써, 각각 휘선 패턴이 나타나 있는 영역 a 및 영역 b를 포함하는 휘선 화상을 취득한다. 영역 a 및 영역 b는 각각, 피사체인 송신기가 휘도 변화함으로써 휘선 패턴이 나타나는 영역이다.
여기서, 수신기는, 영역 a 및 영역 b의 휘선 패턴으로부터 가시광 신호를 복조한다. 그러나, 수신기는, 복조된 가시광 신호만으로는 불충분하다고 판정하면, 그 N개의 노광 라인 중, 영역 a에 해당하는 M(M＜N)개의 연속하는 노광 라인만을 이용하여, 시각 t2에 촬상한다. 이에 따라, 수신기는, 영역 a 및 영역 b 중 영역 a만을 포함하는 휘선 화상을 취득한다. 수신기는, 이러한 촬상을, 시각 t3∼t5에 있어서도 반복 실시한다. 그 결과, 영역 a에 대응하는 피사체로부터의 충분한 데이터량의 가시광 신호를 고속으로 수신할 수 있다. 추가로, 수신기는, 그 N개의 노광 라인 중, 영역 b에 해당하는 L(L＜N)개의 연속하는 노광 라인만을 이용하여, 시각 t6에 촬상한다. 이에 따라, 수신기는, 영역 a 및 영역 b 중 영역 b만을 포함하는 휘선 화상을 취득한다. 수신기는, 이러한 촬상을, 시각 t7∼t9에 있어서도 반복 실시한다. 그 결과, 영역 b에 대응하는 피사체로부터의 충분한 데이터량의 가시광 신호를 고속으로 수신할 수 있다.
또한, 수신기는, 시각 t10 및 t11에 있어서, 시각 t2∼t5와 동일한 촬상을 행함으로써, 영역 a만을 포함하는 휘선 화상을 취득해도 된다. 추가로, 수신기는, 시각 t12 및 t13에 있어서, 시각 t6∼t9과 동일한 촬상을 행함으로써, 영역 b만을 포함하는 휘선 화상을 취득해도 된다.
또한, 상술의 예에서는, 수신기는, 가시광 신호가 불충분하다고 판정했을 때에, 시각 t2∼t5에 있어서, 영역 a만을 포함하는 휘선 화상의 연사(連寫)를 행했지만, 시각 t1의 촬상에 의해서 얻어진 화상에 휘선이 나타나 있으면, 상술의 연사를 행해도 좋다. 동일하게 수신기는, 가시광 신호가 불충분하다고 판정했을 때에, 시각 t6∼t9에 있어서, 영역 b만을 포함하는 휘선 화상의 연사를 행했지만, 시각 t1의 촬상에 의해서 얻어진 화상에 휘선이 나타나 있으면, 상술의 연사를 행해도 된다. 또한, 수신기는, 영역 a만을 포함하는 휘선 화상의 취득과 영역 b만을 포함하는 휘선 화상의 취득을 교호로 행해도 된다.
또한, 상기의 영역 a에 해당하는 M개의 연속하는 노광 라인은, 영역 a의 생성에 기여하는 노광 라인이고, 상기의 영역 b에 해당하는 L개의 연속하는 노광 라인은, 영역 b의 생성에 기여하는 노광 라인이다.
도 142는, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 다른 예를 나타내는 도면이다.
예를 들면, 도 142에 나타내는 바와 같이, 수신기는, 이미지 센서에 포함되는 N개의 노광 라인을 이용하여, 시각 t1에 촬상함으로써, 각각 휘선 패턴이 나타나 있는 영역 a 및 영역 b를 포함하는 휘선 화상을 취득한다. 영역 a 및 영역 b는 각각, 상술과 동일하게, 피사체인 송신기가 휘도 변화함으로써 휘선 패턴이 나타나는 영역이다. 또한, 영역 a 및 영역 b는 각각, 휘선 또는 노광 라인의 방향을 따라서 서로 겹치는 영역(이하, 중복 영역이라고 한다)을 갖는다.
여기서, 수신기는, 그 영역 a 및 영역 b의 휘선 패턴으로부터 복조된 가시광 신호가 불충분하다고 판정하면, 그 N개의 노광 라인 중, 겹쳐지는 영역에 해당하는 P(P＜N)개의 연속하는 노광 라인만을 이용하여, 시각 t2에 촬상한다. 이에 따라, 수신기는, 영역 a 및 영역 b의 각각의 중복 영역만을 포함하는 휘선 화상을 취득한다. 수신기는, 이러한 촬상을, 시각 t3 및 t4에 있어서도 반복 실시한다. 그 결과, 영역 a 및 영역 b의 각각에 대응하는 피사체로부터의 충분한 데이터량의 가시광 신호를, 대략 동시에, 또한 고속으로 수신할 수 있다.
도 143은, 실시의 형태 17에 있어서의 수신기의 촬상에 의해서 얻어지는 휘선 화상의 다른 예를 나타내는 도면이다.
예를 들면, 도 143에 나타내는 바와 같이, 수신기는, 이미지 센서에 포함되는 N개의 노광 라인을 이용하여, 시각 t1에 촬상함으로써, 휘선 패턴이 불명료하게 나타나 있는 부분 a와, 명료하게 나타나 있는 부분 b로 이루어지는 영역을 포함하는 휘선 화상을 취득한다. 이 영역은, 상술과 동일하게, 피사체인 송신기가 휘도 변화함으로써 휘선 패턴이 나타나는 영역이다.
이러한 경우, 수신기는, 상술의 영역의 휘선 패턴으로부터 복조된 가시광 신호가 불충분하다고 판정하면, 그 N개의 노광 라인 중, 부분 b에 해당하는 Q(Q＜N)개의 연속하는 노광 라인만을 이용하여, 시각 t2에 촬상한다. 이에 따라, 수신기는, 상술의 영역 중 부분 b만을 포함하는 휘선 화상을 취득한다. 수신기는, 이러한 촬상을, 시각 t3 및 t4에 있어서도 반복 실시한다. 그 결과, 상술의 영역에 대응하는 피사체로부터의 충분한 데이터량의 가시광 신호를, 고속으로 수신할 수 있다.
또한, 수신기는, 부분 b만을 포함하는 휘선 화상의 연사가 행해진 후에, 추가로 부분 a만을 포함하는 휘선 화상의 연사를 행해도 된다.
상술과 같이, 휘선 화상에 있어서 휘선 패턴이 나타나 있는 영역(또는 부분)이 복수 포함되어 있는 경우에는, 수신기는, 각각의 영역에 번호를 붙여, 그 순서에 따라서, 그 영역만을 포함하는 휘선 화상의 연사를 행한다. 이 경우, 그 순서는, 신호의 크기(영역 또는 부분의 넓이)에 따른 순서라도, 휘선의 명료도에 따른 순서라도 된다. 또한, 그 순서는, 그들 영역에 대응하는 피사체로부터의 광의 색에 따른 순서라도 된다. 예를 들면, 최초의 연사는, 적색의 광에 대응하는 영역에 대하여 행해지고, 다음의 연사에서는, 백색의 광에 대응하는 영역에 대하여 행해진다. 또한, 적색의 광에 대한 영역의 연사만이 행해져도 된다.
(HDR 합성)
도 144는, 실시의 형태 17에 있어서의 수신기의, HDR 합성을 행하는 카메라 시스템에의 적응을 설명하기 위한 도면이다.
차량에는, 충돌 방지 등을 위해 카메라 시스템이 탑재되어 있다. 이 카메라 시스템은, 카메라의 촬상에 의해서 얻어진 화상을 이용하여 HDR(High　Dynamic Range) 합성을 행한다. 이 HDR 합성에 의해서, 휘도의 다이나믹 레인지가 넓은 화상이 얻어진다. 카메라 시스템은, 이 넓은 다이나믹 레인지의 화상에 의거하여, 주변의 차량, 장애물 또는 사람 등의 인식을 행한다.
예를 들면, 카메라 시스템은, 설정 모드로서 통상 설정 모드 및 통신 설정 모드를 갖는다. 설정 모드가 통상 설정 모드인 경우, 예를 들면 도 144에 나타내는 바와 같이, 카메라 시스템은, 시각 t1∼t4에 있어서, 각각 동일한 1/100초의 셔터 스피드로, 또한 각각 상이한 감도로, 4회의 촬상을 행한다. 카메라 시스템은, 이 4회의 촬상에 의해서 얻어진 4매의 화상을 이용하여 HDR 합성을 행한다.
한편, 설정 모드가 통신 설정 모드인 경우, 예를 들면 도 144에 나타내는 바와 같이, 카메라 시스템은, 시각 t5∼t7에 있어서, 각각 동일한 1/100초의 셔터 스피드로, 또한 각각 상이한 감도로, 3회의 촬상을 행한다. 추가로, 카메라 시스템은, 시각 t8에 있어서, 1/10000초의 셔터 스피드로, 또한, 최대의 감도(예를 들면 ISO=1600)로 촬상을 행한다. 카메라 시스템은, 이 4회의 촬상 중의, 최초의 3회의 촬상에 의해서 얻어진 3매의 화상을 이용하여 HDR 합성을 행한다. 추가로, 카메라 시스템은, 상술의 4회의 촬상 중 최후의 촬상에 의해서 가시광 신호를 수신하고, 그 촬상에 의해서 얻어진 화상에 나타나 있는 휘선 패턴을 복조한다.
또한, 설정 모드가 통신 설정 모드인 경우에는, 카메라 시스템은, HDR 합성을 행하지 않아도 된다. 예를 들면 도 144에 나타내는 바와 같이, 카메라 시스템은, 시각 t9에 있어서, 1/100초의 셔터 스피드로, 또한 낮은 감도(예를 들면, ISO=200)로, 촬상을 행한다. 추가로, 카메라 시스템은, 시각 t10∼t12에 있어서, 1/10000초의 셔터 스피드로, 또한, 서로 상이한 감도로 3회의 촬상을 행한다. 카메라 시스템은, 이 4회의 촬상 중, 최초의 1회의 촬상에 의해서 얻어진 화상으로부터, 주변의 차량, 장애물 또는 사람 등의 인식을 행한다. 또한, 카메라 시스템은, 상술의 4회의 촬상 중 최후 3회의 촬상에 의해서 가시광 신호를 수신하고, 그 촬상에 의해서 얻어진 화상에 나타나 있는 휘선 패턴을 복조한다.
또한, 도 144에 나타내는 예에서는, 시각 t10∼t12의 각각에 있어서, 서로 상이한 감도로 촬상이 행해지고 있지만, 동일한 감도로 촬상을 행해도 된다.
이러한 카메라 시스템에서는, HDR 합성을 행할 수 있음과 함께, 가시광 신호의 수신도 행할 수 있다.
(시큐리티)
도 145는, 실시의 형태 17에 있어서의 가시광 통신 시스템의 처리 동작을 설명하기 위한 도면이다.
이 가시광 통신 시스템은, 예를 들면 레지에 배치되는 송신기와, 수신기인 스마트 폰과 서버로 이루어진다. 또한, 스마트 폰과 서버의 사이의 통신과, 송신기와 서버의 사이의 통신이란, 각각 시큐어한 통신 회선을 통하여 행해진다. 또한, 송신기와 스마트 폰의 사이의 통신은, 가시광 통신에 의해서 행해진다. 본 실시의 형태에 있어서의 가시광 통신 시스템은, 송신기로부터의 가시광 신호가 정확하게 스마트 폰에 수신되어 있는지 여부를 판정함으로써, 시큐리티를 확보한다.
구체적으로, 송신기는, 시각 t1에 있어서 휘도 변화함으로써, 예를 들면 값 「100」을 나타내는 가시광 신호를 스마트 폰에 송신한다. 스마트 폰은, 시각 t2에, 그 가시광 신호를 수신하면, 그 값 「100」을 나타내는 전파 신호를 서버에 송신한다. 서버는, 시각 t3에, 스마트 폰으로부터 그 전파 신호를 수신한다. 이 때, 서버는, 그 전파 신호에 의해서 나타나는 값 「100」이, 송신기로부터 스마트 폰에 수신된 가시광 신호의 값인지 여부를 판정하기 위한 처리를 행한다. 즉, 서버는, 예를 들면 값 「200」을 나타내는 전파 신호를 송신기에 송신한다. 그 전파 신호를 수신한 송신기는, 시각 t4에 있어서 휘도 변화함으로써, 그 값 「200」을 나타내는 가시광 신호를 스마트 폰에 송신한다. 스마트 폰은, 시각 t5에, 그 가시광 신호를 수신하면, 그 값 「200」을 나타내는 전파 신호를 서버에 송신한다. 서버는, 시각 t6에, 스마트 폰으로부터 그 전파 신호를 수신한다. 서버는, 이 수신한 전파 신호가 나타내는 값이, 시각 t3에 있어서 송신한 전파 신호가 나타내는 값과 동일한지 여부를 판별한다. 동일하면, 서버는, 시각 t3에 있어서 수신한 가시광 신호에 의해서 나타나는 값 「100」이, 송신기로부터 스마트 폰에 송신되어 수신된 가시광 신호의 값이라고 판정한다. 한편, 동일하지 않으면, 서버는, 시각 t3에 있어서 수신한 가시광 신호에 의해서 나타나는 값 「100」이, 송신기로부터 스마트 폰에 송신되어 수신된 가시광 신호의 값으로서 의심스럽다고 판정한다.
이에 따라, 서버는, 스마트 폰이 송신기로부터 가시광 신호를 확실히 수신했는지 여부를 판정할 수 있다. 즉, 스마트 폰이, 송신기로부터 가시광 신호를 수신하고 있지 않음에도 불구하고, 그 가시광 신호를 수신한 것처럼 꾸며, 신호를 서버에 송신하는 것을 막을 수 있다.
또한, 상술의 예에서는, 스마트 폰과 서버와 송신기의 사이에서는, 전파 신호를 이용한 통신이 행해지고 있지만, 가시광 신호 이외의 광 신호에 의한 통신, 또는 상기 신호에 의한 통신이 행해져도 된다. 또한, 송신기로부터 스마트 폰에 송신되는 가시광 신호는, 예를 들면, 과금의 값, 쿠폰의 값, 몬스터의 값, 또는 빙고의 값 등을 나타낸다.
(차량 관계)
도 146a는, 실시의 형태 17에 있어서의 가시광을 이용한 차차간 통신의 일 예를 나타내는 도면이다.
예를 들면, 선두의 차량은, 그 차량에 탑재되고 있는 센서(카메라 등)에 의해서, 진행 방향으로 사고가 있는 것을 인식한다. 이와 같이 사고를 인식하면, 선두의 차량은, 테일 램프를 휘도 변화시킴으로써, 가시광 신호를 송신한다. 예를 들면, 선두의 차량은, 후속 차량에 대하여 감속을 촉구하는 가시광 신호를 송신한다. 후속 차량은, 그 차량에 탑재되어 있는 카메라에 의한 촬상에 의해서, 그 가시광 신호를 수신하면, 그 가시광 신호에 따라서, 감속함과 함께, 추가로 후속의 차량에 대하여 감속을 촉구하는 가시광 신호를 송신한다.
이와 같이, 감속을 촉구하는 가시광 신호는, 일렬로 나란히 주행하는 복수의 차량에 선두부터 순차적으로 송신되고, 그 가시광 신호를 수신한 차량은 감속한다. 각 차량에의 가시광 신호의 송신은 빠르게 행해지기 때문에, 그들 복수의 차량은 대략 동시에 동일하게 감속을 행할 수 있다. 따라서, 사고에 의한 정체를 완화할 수 있다.
도 146b는, 실시의 형태 17에 있어서의 가시광을 이용한 차차간 통신의 다른 예를 나타내는 도면이다.
예를 들면, 앞의 차량은, 테일 램프를 휘도 변화시킴으로써, 뒤의 차량에 대한 메세지(예를 들면 「고마워요」)를 나타내는 가시광 신호를 송신해도 된다. 이 메세지는, 예를 들면 유저에 의한 스마트 폰에의 조작에 의해서 생성된다. 그리고, 스마트 폰은, 그 메세지를 나타내는 신호를 상술의 앞의 차량으로 송신한다. 그 결과, 앞의 차량은, 그 메세지를 나타내는 가시광 신호를 뒤의 차량에 송신할 수 있다.
도 147은, 실시의 형태 17에 있어서의 복수의 LED의 위치 결정 방법의 일 예를 나타내는 도면이다.
예를 들면, 차량의 헤드라이트는, 복수의 LED(Light　Emitting　Diode)를 갖는다. 이 차량의 송신기는, 헤드라이트의 복수의 LED의 각각을 개별적으로 휘도 변화시킴으로써, 각각의 LED로부터 가시광 신호를 송신한다. 다른 차량의 수신기는, 그 헤드라이트를 갖는 차량을 촬상함으로써, 그들 복수의 LED로부터의 가시광 신호를 수신한다.
이 때, 수신기는, 수신된 가시광 신호가 어느 쪽의 LED로부터 송신된 신호인지를 인식하기 위해서, 그 촬상에 의해서 얻어진 화상으로부터, 복수의 LED의 각각의 위치를 결정한다. 구체적으로는, 수신기는, 그 수신기와 동일한 차량에 부착되어 있는 가속도 센서를 이용하여, 그 가속도 센서에 의해서 나타나는 중력의 방향(예를 들면 도 147 중의 하향 화살표)을 기준으로, 복수의 LED의 각각의 위치를 결정한다.
또한, 상술의 예에서는, 휘도 변화하는 발광체의 일 예로서 LED를 들었지만, LED 이외의 발광체라도 된다.
도 148은, 실시의 형태 17에 있어서의, 차량을 촬상함으로써 얻어지는 휘선 화상의 일 예를 나타내는 도면이다.
예를 들면, 주행하는 차량에 탑재된 수신기는, 뒤의 차량(후속 차량)을 촬상함으로써, 도 148에 나타내는 휘선 화상을 취득한다. 후속 차량에 탑재된 송신기는, 차량의 2개의 헤드라이트를 휘도 변화시킴으로써, 가시광 신호를 앞의 차량에 송신한다. 앞의 차량의 후부 또는 사이드 미러 등에는, 후방을 촬상하는 카메라가 부착되어 있다. 수신기는, 후속 차량을 피사체로 한 그 카메라에 의한 촬상에 의해서, 휘선 화상을 취득하고, 그 휘선 화상에 포함되는 휘선 패턴(가시광 신호)을 복조한다. 이에 따라, 후속 차량의 송신기로부터 송신된 가시광 신호는, 앞의 차량의 수신기에 수신된다.
여기에서, 수신기는, 2개의 헤드라이트로부터 송신되어 복조된 가시광 신호의 각각으로부터, 그 헤드라이트를 갖는 차량의 ID와, 그 차량의 속도와, 그 차량의 차종을 취득한다. 수신기는, 2개의 가시광 신호의 각각의 ID가 동일하면, 그 2개의 가시광 신호가 동일한 차량으로부터 송신된 신호라고 판단한다. 그리고, 수신기는, 그 차량의 차종으로부터, 그 차량이 갖는 2개의 헤드라이트의 사이의 길이(라이트간 거리)를 특정한다. 추가로, 수신기는, 휘선 화상에 포함되어 있는, 휘선 패턴이 나타나 있는 2개의 영역의 사이의 거리 L1를 계측한다. 그리고, 수신기는, 그 거리 L1과, 라이트간 거리를 이용한 삼각 측량에 의해서, 그 수신기를 탑재하는 차량으로부터, 후속 차량까지의 거리(차간 거리)를 산출한다. 수신기는, 그 차간 거리와 가시광 신호로부터 취득된 차량의 속도에 의거하여, 충돌의 위험성을 판단하고, 그 판단 결과에 따른 경고를, 차량의 운전자에게 알린다. 이에 따라, 차량의 충돌을 회피할 수 있다.
또한, 상술의 예에서는, 수신기는, 가시광 신호에 포함되는 차종으로부터 라이트간 거리를 특정했지만, 차종 이외의 정보로부터 라이트간 거리를 특정해도 된다. 또한, 상술의 예에서는, 수신기는, 충돌의 위험성이 있다고 판단했을 때에는, 경고를 발하지만, 그 위험성을 회피하는 동작을 차량에 실행시키기 위한 제어 신호를 차량에 출력해도 된다. 예를 들면, 그 제어 신호는, 차량을 가속시키기 위한 신호, 또는, 차량에 차선 변경시키기 위한 신호이다.
또한, 상술의 예에서는, 카메라는 후속 차량을 촬상하지만, 맞은 편 차량을 촬상해도 된다. 또한, 수신기는, 카메라에 의한 촬상에 의해서 얻어지는 화상으로부터, 수신기(즉 수신기를 구비한 차량) 주변에 안개가 자욱한다고 판단하면, 상술과 같은 가시광 신호를 수신하는 모드가 되어도 된다. 이에 따라, 차량의 수신기는, 주변에 안개가 자욱해도, 맞은 편 차량의 헤드라이트로부터 송신되는 가시광 신호를 수신함으로써, 그 맞은 편 차량의 위치 및 속도를 특정할 수 있다.
도 149는, 실시의 형태 17에 있어서의 수신기와 송신기의 적용예를 나타내는 도면이다. 또한, 도 149는 자동차를 뒤에서 본 도면이다.
예를 들면 차의 2개의 테일 램프(발광부 또는 라이트)를 갖는 송신기(차)(7006a)는, 송신기(7006a)의 식별 정보(ID)를 예를 들면 스마트 폰으로서 구성되는 수신기에 송신한다. 수신기는, 그 ID를 수신하면, 그 ID에 대응지어진 정보를 서버로부터 취득한다. 예를 들면, 그 정보는, 그 차 또는 송신기의 ID, 발광부간의 거리, 발광부의 크기, 차의 크기, 차의 형상, 차의 무게, 차의 넘버, 전방의 모습, 또는 위험의 유무를 나타내는 정보이다. 또한, 수신기는 이들 정보를 송신기(7006a)로부터 직접 취득해도 된다.
도 150은, 실시의 형태 17에 있어서의 수신기와 송신기(7006a)의 처리 동작의 일 예를 나타내는 플로우차트이다.
송신기(7006a)의 ID와 ID를 수신한 수신기에 넘기는 정보를 관련지어 서버에 기억한다(7106a). 수신기에 넘기는 정보에는, 송신기(7006a)가 되는 발광부의 크기나, 발광부간의 거리나, 송신기(7006a)를 구성 요소의 일부로 하는 물체의 형상이나, 중량이나, 차체 넘버 등의 식별 번호나, 수신기로부터 관찰하기 어려운 장소의 모습이나 위험의 유무 등의 정보를 포함해도 된다.
송신기(7006a)는, ID를 송신한다(7106b). 송신 내용에는, 상기 서버의 URL이나, 상기 서버에 기억시키기로 한 정보를 포함해도 된다.
수신기는, 송신된 ID 등의 정보를 수신한다(7106c). 수신기는, 수신한 ID에 링크된 정보를 서버로부터 취득한다(7106d). 수신기는, 수신한 정보나 서버로부터 취득한 정보를 표시한다(7106e).
수신기는, 발광부의 크기 정보와 촬상한 발광부의 외관의 크기로부터, 또는, 발광부간의 거리 정보와 촬상한 발광부간의 거리로부터 삼각측량의 요령으로, 수신기와 발광부의 거리를 계산한다(7106f). 수신기는, 수신기로부터 관찰하기 어려운 장소의 모습이나 위험의 유무 등의 정보를 기초로, 위험의 경고 등을 행한다(7106g).
도 151은, 실시의 형태 17에 있어서의 수신기와 송신기의 적용예를 나타내는 도면이다.
예를 들면 차의 2개의 테일 램프(발광부 또는 라이트)를 갖는 송신기(차)(7007b)는, 송신기(7007b)의 정보를 예를 들면 주차장의 송수신 장치로서 구성되는 수신기(7007a)에 송신한다. 송신기(7007b)의 정보는, 송신기(7007b)의 식별 정보(ID), 차의 넘버, 차의 크기, 차의 형상, 또는 차의 무게를 나타낸다. 수신기(7007a)는, 그 정보를 수신하면, 주차의 가부, 과금 정보, 또는 주차 위치를 송신한다. 또한, 수신기(7007a)는, ID를 수신하고, ID 이외의 정보를 서버로부터 취득해도 된다.
도 152는, 실시의 형태 17에 있어서의 수신기(7007a)와 송신기(7007b)의 처리 동작의 일 예를 나타내는 플로우차트이다. 또한, 송신기(7007b)는, 송신뿐만 아니라 수신도 행하기 때문에, 차량 탑재 송신기와 차량 탑재 수신기를 구비한다.
송신기(7007b)의 ID와, ID를 수신한 수신기(7007a)에 넘기는 정보를 관련지어 서버(주차장 관리 서버)에 기억한다(7107a). 수신기(7007a)에 넘기는 정보에는, 송신기(7007b)를 구성 요소의 일부로 하는 물체의 형상이나, 중량이나, 차체 넘버 등의 식별 번호나, 송신기(7007b)의 유저의 식별 번호나 지불을 위한 정보를 포함해도 좋다.
송신기(7007b)(차량 탑재 송신기)는, ID를 송신한다(7107b). 송신 내용에는, 상기 서버의 URL이나, 상기 서버에 기억시키는 정보를 포함해도 된다. 주차장의 수신기(7007a)(주차장의 송수신 장치)는, 수신한 정보를, 주차장을 관리하는 서버(주차장 관리 서버)에 송신한다(7107c). 주차장 관리 서버는, 송신기(7007b)의 ID를 키로, ID에 링크된 정보를 취득한다(7107d). 주차장 관리 서버는, 주차장의 빈 상황을 조사한다(7107e).
주차장의 수신기(7007a)(주차장의 송수신 장치)는, 주차의 가부나, 주차 위치 정보, 또는, 이들 정보를 보존하는 서버의 어드레스를 송신한다(7107f). 또는, 주차장 관리 서버는, 이들 정보를 다른 서버에 송신한다. 송신기(차량 탑재 수신기)(7007b)는, 상기에서 송신된 정보를 수신한다(7107g). 또는, 차량 탑재 시스템은, 다른 서버로부터 이들 정보를 취득한다.
주차장 관리 서버는, 주차를 행하기 쉽게 주차장의 제어를 행한다(7107h). 예를 들면, 입체 주차장의 제어를 행한다. 주차장의 송수신 장치는, ID를 송신한다(7107i). 차량 탑재 수신기(송신기 7007b)는, 차량 탑재 수신기의 유저 정보와 수신한 ID를 기초로, 주차장 관리 서버에 조회를 행한다(7107j).
주차장 관리 서버는, 주차 시간 등에 따라서 과금을 행한다(7107k). 주차장 관리 서버는, 주차된 차량에 액세스하기 쉽게 주차장의 제어를 행한다(7107m). 예를 들면, 입체 주차장의 제어를 행한다. 차량 탑재 수신기(송신기(7007b))는, 주차 위치에의 지도를 표시하고, 현재지로부터의 네비게이션을 행한다(7107n).
(전차 내)
도 153은, 실시의 형태 17에 있어서의, 전철의 차 내에 적용되는 가시광 통신 시스템의 구성을 나타내는 도면이다.
가시광 통신 시스템은, 예를 들면, 전차 내에 배치된 복수의 조명 장치(1905)와 유저가 보존하는 스마트 폰(1906)과, 서버(1904)와, 전차 내에 배치된 카메라(1903)를 구비한다.
복수의 조명 장치(1905)의 각각은, 상술의 송신기로서 구성되고, 광을 비춤과 더불어, 휘도 변화함으로써 가시광 신호를 송신한다. 이 가시광 신호는, 그 가시광 신호를 송신하는 조명 장치(1905)의 ID를 나타낸다.
스마트 폰(1906)은, 상술의 수신기로서 구성되고, 조명 장치(1905)를 촬상함으로써, 그 조명 장치(1905)로부터 송신되는 가시광 신호를 수신한다. 예를 들면, 유저는, 전차 내에서 트러블(예를 들면 치한 또는 싸움 등)에 말려 들어간 경우, 스마트 폰(1906)에 그 가시광 신호를 수신시킨다. 스마트 폰(1906)은, 가시광 신호를 수신하면, 그 가시광 신호에 의해서 나타나는 ID를 서버(1904)에 통지한다.
서버(1904)는, 그 ID의 통지를 받으면, 그 ID에 의해서 식별되는 조명 장치(1905)에 의해서 비추어지는 범위를 촬상 범위로 하는 카메라(1903)를 특정한다. 그리고, 서버(1904)는, 그 특정된 카메라(1903)에, 조명 장치(1905)에 의해서 비추어지는 범위를 촬상시킨다.
카메라(1903)는, 서버(1904)로부터의 지시에 따라 촬상하고, 그 촬상에 의해서 얻어진 화상을 서버(1904)에 송신한다.
이에 따라, 전차 내에서의 트러블의 상황을 나타내는 화상을 취득할 수 있다. 이 화상은, 트러블의 증거로서 이용할 수 있다.
또한, 유저는, 스마트 폰(1906)을 조작함으로써, 카메라(1903)의 촬상에 의해서 얻어진 화상을 서버(1904)로부터 스마트 폰(1906)에 송신시켜도 된다.
또한, 스마트 폰(1906)은, 화면에 촬상 버튼을 표시하고, 그 촬상 버튼이 유저에 의해서 터치되면, 촬상을 촉구하는 신호를 서버(1904)에 송신해도 된다. 이에 따라, 유저는, 촬상의 타이밍을 스스로 결정할 수 있다.
도 154는, 실시의 형태 17에 있어서의, 유원지 등의 시설에 적용되는 가시광 통신 시스템의 구성을 나타내는 도면이다.
가시광 통신 시스템은, 예를 들면, 시설에 배치된 복수의 카메라(1903)와, 사람에게 부착되는 장신구(1907)를 구비한다.
장신구(1907)는, 예를 들면 복수의 LED가 부착된 리본을 갖는 카츄샤 등이다. 또한, 이 장신구(1907)는, 전술의 송신기로서 구성되고, 복수의 LED를 휘도 변화시킴으로써, 가시광 신호를 송신한다.
복수의 카메라(1903)의 각각은, 상술의 수신기로서 구성되고, 가시광 통신 모드와 통상 촬상 모드를 갖는다. 또한, 이들 복수의 카메라(1903)의 각각은, 시설 내의 지나는 길에 있어서의 서로 상이한 개소에 배치되어 있다.
구체적으로는, 카메라(1903)는, 가시광 통신 모드로 설정되어 있을 때, 장신구(1907)가 피사체로서 촬상되면, 그 장신구(1907)로부터 가시광 신호를 수신한다. 카메라(1903)는, 그 가시광 신호를 수신하면, 설정되어 있는 모드를 가시광 통신 모드로부터 통상 촬상 모드로 전환한다. 그 결과, 카메라(1903)는, 장신구(1907)를 몸에 지니고 있는 사람을 피사체로서 촬상한다.
따라서, 장신구(1907)를 지닌 사람이 시설 내의 지나는 길을 걷고 있으면, 그 사람의 근처에 있는 카메라(1903)가 차례대로 그 사람을 촬상하게 된다. 이에 따라, 그 사람이 시설에서 즐기고 있는 모습을 비추는 화상을 자동적으로 취득하여 보존할 수 있다.
또한, 카메라(1903)는, 가시광 신호를 수신하면 즉시 통상 촬상 모드에 의한 촬상을 행하는 것이 아니라, 예를 들면 스마트 폰으로부터 촬상 개시의 지시를 받았을 때에, 통상 촬상 모드에 의한 촬상을 행해도 된다. 이에 따라, 유저는, 스마트 폰의 화면에 표시되는 촬상 개시 버튼에 닿는 타이밍에서, 스스로 카메라(1903)에 촬상시킬 수 있다.
도 155는, 실시의 형태 17에 있어서의, 놀이 도구와 스마트 폰으로 이루어지는 가시광 통신 시스템의 일 예를 나타내는 도면이다.
놀이 도구(1901)는, 예를 들면 복수의 LED를 구비한 상술의 송신기로서 구성되어 있다. 즉, 놀이 도구(1901)는, 그 복수의 LED를 휘도 변화시킴으로써, 가시광 신호를 송신한다.
스마트 폰(1902)은, 그 놀이 도구(1901)를 촬상함으로써, 그 놀이 도구(1901)로부터 송신되는 가시광 신호를 수신한다. 그리고, 도 155의 (a)에 나타내는 바와 같이, 스마트 폰(1902)은, 그 가시광 신호를 1회째에 수신했을 때에는, 그 가시광 신호와 1회째에 대응지어져 있는 동화상 1을 예를 들면 서버 등으로부터 다운로드하여 재생한다. 한편, 스마트 폰(1902)은, 그 가시광 신호를 2회째에 수신했을 때에는, 도 155의 (b)에 나타내는 바와 같이, 그 가시광 신호와 2회째에 대응지어져 있는 동화상 2를 예를 들면 서버 등에서 다운로드하여 재생한다.
즉, 스마트 폰(1902)은, 동일한 가시광 신호를 수신해도, 그 가시광 신호를 수신한 횟수에 따라서, 재생되는 동화상을 전환한다. 가시광 신호를 수신한 횟수는, 스마트 폰(1902)에 의해서 카운트되어도 되고, 서버에 의해서 카운트되어도 좋다. 또는, 스마트 폰(1902)은, 복수회, 동일한 가시광 신호를 수신해도, 연속하여 동일한 동화상을 재생하지는 않는다. 또는, 스마트 폰(1902)은, 동일한 가시광 신호에 대응지어져 있는 복수의 동화상 중, 이미 재생된 동화상의 출현 확률을 저하시키고, 출현 확률이 높은 동화상을 우선적으로 다운로드하여 재생해도 된다.
또한, 스마트 폰(1902)은, 복수의 점포를 갖는 시설의 안내소에 구비되어 있는 터치 패널로부터 송신되는 가시광 신호를 수신하고, 그 가시광 신호에 따른 화상을 표시해도 된다. 예를 들면, 터치 패널은, 시설의 개요를 나타내는 초기 화면을 표시하고 있을 때는, 그 시설의 개요를 나타내는 가시광 신호를 휘도 변화에 의해서 송신하고 있다. 따라서, 스마트 폰은, 그 초기 화면을 표시하고 있는 터치 패널을 촬상함으로써, 그 가시광 신호를 수신하면, 시설의 개요를 나타내는 화상을 스스로 디스플레이에 표시할 수 있다. 여기서, 유저에 의해서 터치 패널이 조작되면, 터치 패널은, 예를 들면 특정의 점포의 정보를 나타내는 점포 화상을 표시한다. 이 때, 터치 패널은, 그 특정의 점포의 정보를 나타내는 가시광 신호를 송신하고 있다. 따라서, 스마트 폰은, 그 점포 화상을 표시하고 있는 터치 패널을 촬상함으로써, 그 가시광 신호를 수신하면, 특정의 점포의 정보를 나타내는 점포 화상을 표시할 수 있다. 이와 같이, 스마트 폰은, 터치 패널과 동기한 화상을 표시할 수 있다.
(상기 실시의 형태의 정리)
본 개시된 일양태에 관련된 재생 방법은, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기로부터, 상기 가시광 신호를 단말 장치의 센서에 의해 수신하는 신호 수신 단계와, 상기 단말 장치로부터, 상기 가시광 신호에 대응지어진 컨텐츠를 요구하기 위한 요구 신호를 서버에 송신하는 송신 단계와, 상기 단말 장치가, 각 시각과, 상기 각 시각에 재생되는 데이터를 포함하는 컨텐츠를, 상기 서버로부터 수신하는 컨텐츠 수신 단계와, 상기 컨텐츠 중, 상기 단말 장치에 구비되어 있는 시계의 시각에 해당하는 데이터를 재생하는 재생 단계를 포함한다.
이에 따라, 도 131c에 나타내는 바와 같이, 각 시각과 그 각 시각에 재생되는 데이터를 포함하는 컨텐츠가 단말 장치에 수신되고, 단말 장치의 시계의 시각에 해당하는 데이터가 재생된다. 따라서, 단말 장치는, 그 컨텐츠에 있어서의 데이터를, 잘못된 시각에 재생해 버리는 일 없이, 그 컨텐츠에 나타나는 올바른 시각에, 적절히 재생할 수 있다. 구체적으로는, 도 131a의 방법 e와 같이, 단말 장치인 수신기는, 컨텐츠를(수신기 시각-컨텐츠 재생 개시 시각)의 시점에서 재생한다. 상술의 단말 장치의 시계의 시각에 해당하는 데이터는, 컨텐츠 중의 (수신기 시각-컨텐츠 재생 개시 시각)의 시점에 있는 데이터이다. 또한, 송신기에 있어서도, 그 컨텐츠에 관련된 컨텐츠(송신기측 컨텐츠)가 재생되어 있으면, 단말 장치는, 컨텐츠를 그 송신기측 컨텐츠에 적절히 동기시켜 재생할 수 있다. 또한, 컨텐츠는 음성 또는 화상이다.
또한, 상기 단말 장치에 구비되어 있는 시계와, 기준 클록의 사이에서는, GPS(Global　Positioning　System) 전파, 또는, NTP(Network　Time　Protocol) 전파에 의해서, 동기가 취해지고 있어도 된다.
이에 따라, 도 130 및 도 132에 나타내는 바와 같이, 단말 장치(수신기)의 시계와 기준 클록의 사이에 동기가 취해지고 있기 때문에, 기준 클록에 따른 적절한 시각에, 그 시각에 해당하는 데이터를 재생할 수 있다.
또한, 상기 가시광 신호는, 상기 가시광 신호가 상기 송신기로부터 송신되는 시각을 나타내도 된다.
이에 따라, 도 131a의 방법 d에 나타내는 바와 같이, 단말 장치(수신기)는, 가시광 신호가 송신기로부터 송신되는 시각(송신기 시각)에 대응지어진 컨텐츠를 수신할 수 있다. 예를 들면, 송신기 시각이 5시 43분이면, 5시 43분에 재생되는 컨텐츠를 수신할 수 있다.
또한, 상기 재생 방법에서는, 추가로, 상기 GPS 전파 또는 상기 NTP 전파에 의해서, 상기 단말 장치의 시계와 상기 기준 클록의 사이에서 동기를 취하기 위한 처리가 행해진 시각이, 상기 단말 장치가 상기 가시광 신호를 수신한 시각으로부터 소정의 시간보다 앞인 경우, 상기 송신기로부터 송신된 상기 가시광 신호가 나타내는 시각에 의해, 상기 단말 장치의 시계와, 상기 송신기의 시계의 사이에서 동기를 취해도 된다.
예를 들면, 단말 장치의 시계와 기준 클록의 사이에 동기를 취하기 위한 처리가 행해지고 나서 소정의 시간이 경과해 버리면, 그 동기가 적절히 유지되지 않는 경우가 있다. 이러한 경우에는, 단말 장치는, 송신기에서 재생되는 송신기측 컨텐츠와 동기하는 시각에, 컨텐츠를 재생할 수 없을 가능성이 있다. 여기서, 상기 본 개시된 일 양태에 관련된 재생 방법에서는, 도 130의 단계 S1829, S1830와 같이, 소정의 시간이 경과했을 때에는, 단말 장치(수신기)의 시계와 송신기의 시계의 사이에 동기가 취해진다. 따라서, 단말 장치는, 송신기에서 재생되는 송신기측 컨텐츠와 동기하는 시각에, 컨텐츠를 재생할 수 있다.
또한, 상기 서버는, 각각 시각에 관련지어져 있는 복수의 컨텐츠를 갖고 있고, 상기 컨텐츠 수신 단계에서는, 상기 가시광 신호가 나타내는 시각에 관련지어진 컨텐츠가 상기 서버에 존재하지 않는 경우에는, 상기 복수의 컨텐츠 중, 상기 가시광 신호가 나타내는 시각에 가장 가깝고, 또한, 상기 가시광 신호가 나타내는 시각의 후의 시각에 관련지어져 있는 컨텐츠를 수신해도 된다.
이에 따라, 도 131a의 방법 d에 나타내는 바와 같이, 가시광 신호가 나타내는 시각에 관련지어진 컨텐츠가 서버에 존재하지 않아도, 그 서버에 있는 복수의 컨텐츠 중에서, 적절한 컨텐츠를 수신할 수 있다.
또한, 광원의 휘도 변화에 의해 가시광 신호를 송신하는 송신기로부터, 상기 가시광 신호를 단말 장치의 센서에 의해 수신하는 신호 수신 단계와, 상기 단말 장치로부터, 상기 가시광 신호에 대응지어진 컨텐츠를 요구하기 위한 요구 신호를 서버에 송신하는 송신 단계와, 상기 단말 장치가, 상기 서버로부터 컨텐츠를 수신하는 컨텐츠 수신 단계와, 상기 컨텐츠를 재생하는 재생 단계를 포함하고, 상기 가시광 신호는, ID 정보와, 상기 가시광 신호가 상기 송신기로부터 송신되는 시각을 나타내고, 상기 컨텐츠 수신 단계에서는, 상기 가시광 신호에 의해서 나타나는 ID 정보 및 시각에 대응지어진 상기 컨텐츠를 수신해도 된다.
이에 따라, 도 131a의 방법 d와 같이, ID 정보(송신기 ID)에 관련지어져 있는 복수의 컨텐츠 중에서, 가시광 신호가 송신기로부터 송신되는 시각(송신기 시각)에 대응지어진 컨텐츠가 수신되어 재생된다. 따라서, 그 송신기 ID 및 송신기 시각에 대하여 적절한 컨텐츠를 재생할 수 있다.
또한, 상기 가시광 신호는, 시각 중의 시 및 분을 나타내는 제2의 정보와, 시각 중의 초를 나타내는 제1의 정보를 포함함으로써, 상기 가시광 신호가 상기 송신기로부터 송신되는 시각을 나타내고, 상기 신호 수신 단계에서는, 상기 제2의 정보를 수신함과 더불어, 상기 제2의 정보를 수신하는 회수보다도 많은 회수만큼 상기 제1의 정보를 수신해도 된다.
이에 따라, 예를 들면, 가시광 신호에 포함되는 각 패킷이 송신되는 시각을 초단위로 단말 장치에 통지하는 경우에는, 시, 분 및 초의 모두를 이용하여 표현되는 현시점의 시각을 나타내는 패킷을, 1초 경과마다 단말 장치에 송신하는 수고를 경감할 수 있다. 즉, 도 126에 나타내는 바와 같이, 패킷이 송신되는 시각 중의 시 및 분이, 전에 송신된 패킷에 나타나는 시 및 분으로부터 갱신되어 있지 않으면, 초만을 나타내는 패킷(시간 패킷 1)인 제1의 정보만을 송신하면 된다. 따라서, 송신기에 의해서 송신되는, 초를 나타내는 패킷(시간 패킷 1)인 제1의 정보보다도, 시 및 분을 나타내는 패킷(시간 패킷 2)인 제2의 정보를 적게 함으로써, 장황한 내용을 포함하는 패킷의 송신을 억제할 수 있다.
또한, 상기 단말 장치의 센서는, 이미지 센서이며, 상기 신호 수신 단계에서는, 상기 이미지 센서의 셔터 속도를, 제1의 속도와, 상기 제1의 속도보다도 고속의 제2의 속도로 교호로 전환하면서, 상기 이미지 센서에 의한 연속한 촬영을 행하고, (a) 상기 이미지 센서에 의한 촬영의 피사체가 바코드인 경우에는, 상기 셔터 속도가 상기 제1의 속도일 때의 촬영에 의해서, 바코드가 비쳐 있는 화상을 취득하고, 상기 화상에 비쳐 있는 바코드를 디코딩함으로써, 바코드 식별자를 취득하고, (b) 상기 이미지 센서에 의한 촬영의 피사체가 상기 광원인 경우에는, 상기 셔터 속도가 상기 제2의 속도일 때의 촬영에 의해서, 상기 이미지 센서에 포함되는 복수의 노광 라인의 각각에 대응하는 휘선을 포함하는 화상인 휘선 화상을 취득하고, 취득된 휘선 화상에 포함되는 복수의 휘선의 패턴을 디코딩함으로써 상기 가시광 신호를 가시광 식별자로서 취득하고, 상기 재생 방법에서는, 추가로, 상기 셔터 속도가 상기 제1의 속도일 때의 촬영에 의해서 얻어지는 화상을 표시해도 된다.
이에 따라, 도 102에 나타내는 바와 같이, 바코드로부터도 가시광 신호로부터도, 그들에 따른 식별자를 적절히 취득할 수 있음과 더불어, 피사체로 되어 있는 바코드 또는 광원이 비추어진 화상을 표시할 수 있다.
또한, 상기 가시광 식별자의 취득에서는, 상기 복수의 휘선의 패턴으로부터, 데이터부 및 어드레스부를 포함하는 제1의 패킷을 취득하고, 상기 제1의 패킷보다도 앞에 이미 취득되어 있는 적어도 1개의 패킷 중, 상기 제1의 패킷의 어드레스부와 동일한 어드레스부를 포함하는 패킷인 제2의 패킷이 소정의 수 이상 존재하는지 여부를 판정하고, 상기 제2의 패킷이 상기 소정의 수 이상 존재한다고 판정한 경우에는, 상기 소정의 수 이상의 상기 제2의 패킷의 각각의 데이터부에 대응하는 상기 휘선 화상의 일부 영역의 화소치와, 상기 제1의 패킷의 데이터부에 대응하는 상기 휘선 화상의 일부 영역의 화소치를 맞춤으로써, 합성 화소치를 산출하고, 상기 합성 화소치를 포함하는 데이터부를 복호함으로써, 상기 가시광 식별자의 적어도 일부를 취득해도 된다.
이에 따라, 도 74에 나타내는 바와 같이, 동일한 어드레스부를 포함하는 복수의 패킷의 각각에서 데이터부가 조금 상이해도, 그들 패킷의 데이터부의 화소치를 맞춤으로써, 적절한 데이터부를 복호할 수 있어, 가시광 식별자의 적어도 일부를 올바르게 취득할 수 있다.
또한, 상기 제1의 패킷은, 추가로 상기 데이터부에 대한 제1의 오류 정정 부호화, 상기 어드레스부에 대한 제2의 오류 정정 부호를 포함하고, 상기 신호 수신 단계에서는, 상기 송신기로부터, 제2의 주파수에 따른 휘도 변화에 의해서 송신되는 상기 어드레스부 및 상기 제2의 오류 정정 부호를 수신하고, 상기 제2의 주파수보다도 높은 제1의 주파수에 따른 휘도 변화에 의해서 송신되는 상기 데이터부 및 상기 제1의 오류 정정 부호를 수신해도 된다.
이에 따라, 어드레스부를 잘못 수신하는 것을 억제함과 더불어, 데이터량이 많은 데이터부를 신속히 취득할 수 있다.
또한, 상기 가시광 식별자의 취득에서는, 상기 복수의 휘선의 패턴으로부터, 데이터부 및 어드레스부를 포함하는 제1의 패킷을 취득하고, 상기 제1의 패킷보다도 전에 이미 취득되어 있는 적어도 1개의 패킷 중, 상기 제1의 패킷의 어드레스부와 동일한 어드레스부를 포함하는 패킷인 적어도 1개의 제2의 패킷이 존재하는지 여부를 판정하고, 상기 적어도 1개의 제2의 패킷이 존재한다고 판정한 경우에는, 상기 적어도 1개의 제2의 패킷과 상기 제1의 패킷의 각각의 데이터부가 모두 동일한지 여부를 판정하고, 각각의 상기 데이터부가 모두 동일하지 않다고 판정한 경우에는, 상기 적어도 1개의 제2의 패킷의 각각에 있어서, 당해 제2의 패킷의 데이터부에 포함되는 각 부분 중, 상기 제1의 패킷의 데이터부에 포함되는 각 부분과 상이한 부분의 수가, 소정의 수 이상 존재하는지 여부를 판정하고, 상기 적어도 1개의 제2의 패킷 중, 상이한 부분의 수가 상기 소정의 수 이상 존재한다고 판정된 제2의 패킷이 있는 경우에는, 상기 적어도 1개의 제2의 패킷을 파기하고, 상기 적어도 1개의 제2의 패킷 중, 상이한 부분의 수가 상기 소정의 수 이상 존재한다고 판정된 제2의 패킷이 없는 경우에는, 상기 제1의 패킷 및 상기 적어도 1개의 제2의 패킷 중, 동일한 데이터부를 갖는 패킷의 수가 가장 많은 복수의 패킷을 특정하고, 당해 복수의 패킷의 각각에 포함되는 데이터부를, 상기 제1의 패킷에 포함되는 어드레스부에 대응하는 데이터부로서 복호함으로써, 상기 가시광 식별자의 적어도 일부를 취득해도 된다.
이에 따라, 도 73에 나타내는 바와 같이, 동일한 어드레스부를 갖는 복수의 패킷이 수신되었을 때에, 그들 패킷의 데이터부가 상이해도, 적절한 데이터부를 복호 할 수 있어, 가시광 식별자의 적어도 일부를 올바르게 취득할 수 있다. 즉, 동일한 송신기로부터 송신되는 동일한 어드레스부를 갖는 복수의 패킷은, 기본적으로 동일한 데이터부를 갖는다. 그러나, 단말 장치가, 패킷의 송신원이 되는 송신기를 전환하는 경우에는, 단말 장치는, 동일한 어드레스부를 갖고 있어도 서로 상이한 데이터부를 갖는 복수의 패킷을 수신하는 경우가 있다. 이러한 경우에는, 상기 본 개시된 일 양태에 관련되는 재생 방법에서는, 도 73의 단계 S10106와 같이, 이미 수신되어 있는 패킷(제2의 패킷)이 파기되고, 최신의 패킷(제1의 패킷)의 데이터부를, 그 어드레스부에 대응하는 올바른 데이터부로서 복호할 수 있다. 또한, 상술과 같은 송신기의 전환이 없는 경우라도, 가시광 신호의 송수신 상황에 따라서, 동일한 어드레스부를 갖는 복수의 패킷의 데이터부가 조금 상이한 경우가 있다. 이러한 경우에는, 상기 본 개시된 일 양태에 관련된 재생 방법에서는, 도 73의 단계 S10107와 같이, 이른바 다수결에 의해서, 적절한 데이터부를 복호할 수 있다.
또한, 상기 가시광 식별자의 취득에서는, 상기 복수의 휘선의 패턴으로부터, 각각 데이터부 및 어드레스부를 포함하는 복수의 패킷을 취득하고, 취득된 상기 복수의 패킷 중, 상기 데이터부에 포함되는 모든 비트가 0을 나타내는 패킷인 0 종단 패킷이 존재하는지 여부를 판정하고, 상기 0 종단 패킷이 존재한다고 판정한 경우에는, 상기 복수의 패킷 중, 상기 0 종단 패킷의 어드레스부에 관련지어져 있는 어드레스부를 포함하는 패킷인 N개(N은 1 이상의 정수)의 관련 패킷이 모두 존재하는지 여부를 판정하고, 상기 N개의 관련 패킷이 모두 존재한다고 판정한 경우에는, 상기 N개의 관련 패킷의 각각의 데이터부를 나열하여 복호함으로써, 상기 가시광 식별자를 취득해도 된다. 예를 들면, 상기 0 종단 패킷의 어드레스부에 관련지어져 있는 상기 어드레스부는, 상기 0 종단 패킷의 어드레스부에 나타나는 어드레스보다도 작고 0 이상의 어드레스를 나타내는 어드레스부이다.
구체적으로는, 도 75에 나타내는 바와 같이, 0 종단 패킷의 어드레스 이하의 어드레스를 갖는 패킷이 관련 패킷으로서 모두 갖추어져 있는지 여부가 판정되고, 갖추어져 있다고 판정된 경우에, 그들 관련 패킷의 각각의 데이터부가 복호된다. 이에 따라, 단말 장치는, 가시광 식별자를 취득하기 위해서, 몇개의 관련 패킷이 필요한 것을 사전에 알고 있지 않아도, 또한, 그들 관련 패킷의 어드레스를 사전에 알고 있지 않아도, 0 종단 패킷을 취득한 시점에서, 용이하게 알 수 있다. 그 결과, 단말 장치는, N개의 관련 패킷의 각각의 데이터부를 나열하여 복호함으로써, 적절한 가시광 식별자를 취득할 수 있다.
(실시의 형태 18)
이하, 가변 길이·가변 분할수 대응 프로토콜에 대해서 설명한다.
도 156은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
송신 패킷은, 프리앰불, TYPE, 페이로드, 및 체크부로 구성된다. 패킷은 연속으로 송신되어도 되고, 단속적으로 송신되어도 된다. 패킷을 송신하지 않는 기간을 설정함으로써, 백 라이트 소등시에 액정 상태를 변화시켜, 액정 디스플레이의 동해상감을 향상시킬 수 있다. 패킷 송신 간격을 랜덤으로 함으로써, 혼신을 회피할 수 있다.
프리앰블에는, 4PPM에 출현하지 않는 패턴을 이용한다. 짧은 기본 패턴을 이용함으로써, 수신 처리를 간단하게 할 수 있다.
프리앰블의 종류에 따라서 데이터의 분할수를 표현함으로써, 쓸데없는 송신 슬롯을 이용하는 일 없이 데이터 분할수를 가변으로 할 수 있다.
TYPE의 값에 의해서 페이로드 길이를 변화시킴으로써, 송신 데이터를 가변 길이로 할 수 있다. TYPE에서는, 페이로드 길이를 표현해도 되고, 분할하기 전의 데이터 길이를 표현해도 된다. TYPE의 값에 의해서, 패킷의 어드레스를 표현함으로써, 수신기는 수신한 패킷을 올바르게 나열할 수 있다. 또한, 프리앰불의 종류 또는 분할수에 따라서, TYPE의 값이 표현하는 페이로드 길이(데이터 길이)를 변화시켜도 된다.
페이로드 길이에 의해서 체크부의 길이를 변화시킴으로써, 효율적인 오류 정정(검출)을 할 수 있다. 체크부의 최단의 길이를 2비트로 함으로써, 효율적으로 4PPM으로 변환할 수 있다. 또한, 페이로드 길이에 따라서 오류 정정(검출) 부호의 종류를 변화시킴으로써, 효율적으로 오류 정정(검출)을 할 수 있다. 프리앰블의 종류 또는 TYPE의 값에 의해서 체크부의 길이 또는 오류 정정(검출) 부호의 종류를 변화시키는 것으로 해도 된다.
페이로드와 분할수가 상이한 조합으로 동일한 데이터 길이가 되는 조합이 존재한다. 이러한 경우는, 동일한 데이터치라도 조합마다 상이한 의미를 갖게 함으로써, 보다 많은 값을 표현할 수 있다.
이하, 고속 송신·휘도 변조 프로토콜에 대해서 설명한다.
도 157은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
송신 패킷은, 프리앰블부와 보디부와 휘도 조정부로 구성된다. 보디에는, 어드레스부와 데이터부와 오류 정정(검출) 부호부를 포함한다. 단속적인 송신을 허가함으로써, 상기와 동일한 효과가 얻어진다.
(실시의 형태 19)
(Single　frame　transmission의 프레임 구성)
도 158은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
송신 프레임은, 프리앰블(PRE), 프레임 길이(FLEN), ID 타입(IDTYPE), 컨텐츠(ID/DATA), 및 검사 부호(CRC)로 구성되고, 컨텐츠 타입(CONTENTTYPE)을 포함해도 된다. 각 영역의 비트수는 일 예이다.
FLEN로 ID/DATA의 길이를 지정함으로써, 가변 길이의 컨텐츠를 송신할 수 있다.
CRC는, PRE 이외의 부분의 오류를 정정, 또는, 검출하는 검사 부호이다. 검사 영역의 길이에 따라서 CRC 길이를 변화시킴으로써, 검사 능력을 일정 이상으로 유지할 수 있다. 또한, 검사 영역의 길이에 따라서 상이한 검사 부호를 이용함으로써, CRC 길이당의 검사 능력을 향상시킬 수 있다.
(Multiple　frame　transmission의 프레임 구성)
도 159는, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
송신 프레임은, 프리앰블(PRE)과 어드레스(ADDR)와 분할된 데이터의 일부(DATAPART)로 구성되고, 분할수(PARTNUM)와 어드레스 플래그(ADDRFRAG)의 각각을 포함해도 된다. 각 영역의 비트수는 일 예이다.
컨텐츠를 복수의 부분으로 분할하여 송신함으로써, 원거리 통신을 행할 수 있다.
분할하는 크기를 등분으로 함으로써, 최대 프레임 길이를 작게 할 수 있어서, 안정되게 통신을 행할 수 있다.
등분할을 할 수 없는 경우에는, 일부의 분할 부분을 다른 분할 부분보다 작게 함으로써, 딱 좋은 사이즈의 데이터를 송신할 수 있다.
분할하는 크기를 상이한 크기로 하고, 분할 사이즈의 조합에 의미를 갖게 함으로써, 보다 많은 정보를 송신할 수 있다. 예를 들면, 32bit의 동일한 값의 데이터였다고 해도, 8bit가 4회로 송신된 경우와, 16bit가 2회로 송신된 경우와, 15bit가 1회로 17이 1회로 송신된 경우에는 상이한 정보로서 취급함으로써, 보다 많은 정보량을 표현할 수 있다.
PARTNUM로 분할수를 나타냄으로써, 수신기는 분할수를 즉석에서 알 수 있어, 수신의 진척을 정확하게 표시할 수 있다.
ADDRFRAG가 0인 경우는 최후의 어드레스가 아니고, 1인 경우는 최후의 어드레스인 것으로 함으로써, 분할수를 나타내는 영역이 불필요해져, 보다 짧은 시간에 송신할 수 있다.
CRC는, 상기와 동일하게, PRE 이외의 부분의 오류를 정정, 또는, 검출하는 검사 부호이다. 이 검사에 의해, 복수의 송신원으로부터의 송신 프레임을 수신했을 때에, 혼신을 검출할 수 있다. CRC 길이를 DATAPART 길이의 정수배로 함으로써, 가장 효율적으로 혼신을 검출할 수 있다.
분할된 프레임(도 159의(a), (b) 또는 (c)에 의해서 나타나는 프레임)의 말미에, 각 프레임의 PRE 이외의 부분을 검사하는 검사 부호를 더하는 것으로 해도 좋다.
도 159의 (d)에 의해서 나타나는 IDTYPE는, 도 158의 (a)∼(d)와 동일하게, 4bit 또는 5bit 등의 고정 길이로 해도 좋고, IDTYPE 길이를 ID/DATA 길이에 의해서 변화시키는 것으로 해도 좋다. 이에 따라, 상기와 동일한 효과가 얻어진다.
(ID/DATA 길이의 지정)
도 160은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
도 158의 (a)∼(d)의 경우에, 각각 도 160에 나타내는 표(a) 및 (b)와 같이 설정함으로써, 128bit일 때에 ucode를 나타낼 수 있다.
(CRC 길이와 생성 다항식)
도 161은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
이와 같이 CRC 길이를 설정함으로써, 검사 대상의 길이에 의존하지 않고 검사 능력을 유지할 수 있다.
생성 다항식은 일 예이며, 다른 생성 다항식을 이용해도 좋다. 또한, CRC 이외의 검사 부호를 이용하는 것으로 해도 좋다. 이들에 의해, 검사 능력을 향상할 수 있다.
(프리앰블의 종류에 따른 DATAPART 길이의 지정과 최후의 어드레스의 지정)
도 162는, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
프리앰블의 종류로 DATAPART 길이를 나타냄으로써, DATAPART 길이를 나타내는 영역이 필요없게 되어, 보다 짧은 송신 시간에 정보를 송신할 수 있다. 또한, 최후의 어드레스인지 여부를 나타냄으로써, 분할의 개수를 나타내는 영역이 필요없게 되어, 보다 짧은 송신 시간에 정보를 송신할 수 있다. 또한, 도 162의 (b)의 경우는, 최후의 어드레스의 경우는 DATAPART 길이를 모르기 때문에, 그 프레임 수신의 직전 또는 직후에 수신한 최후 어드레스가 아닌 프레임의 DATAPART 길이와 동일하다고 추정하여 수신 처리를 행함으로써, 정상적으로 수신할 수 있다.
프리앰블의 종류에 따라 어드레스 길이가 상이하다고 해도 된다. 이에 따라, 송신 정보의 길이의 조합을 많게 하거나, 짧은 시간에 송신하거나 할 수 있다.
도 162의 (c)의 경우는, 프리앰블로 분할수를 규정하고, DATAPART 길이를 나타내는 영역을 더한다.
(어드레스의 지정)
도 163은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
ADDR의 값으로 그 프레임의 어드레스를 나타냄으로써, 수신기는, 올바르게 송신된 정보를 재구성할 수 있다.
PARTNUM의 값으로 분할수를 나타냄으로써, 수신기는 최초의 프레임을 수신한 시점에서 반드시 분할수를 알 수 있어, 수신의 진척을 정확하게 표시할 수 있다.
(분할수의 차이에 의한 혼신의 방지)
도 164와 도 165는, 본 실시의 형태에 있어서의 송수신 시스템의 일 예를 나타내는 도면과 플로우차트이다.
송신 정보를 등분할하여 분할 송신하는 경우, 도 164의 송신기 A와 송신기 B로부터의 신호는, 프리앰블이 상이하기 때문에, 이들 신호를 동시에 수신한 경우라도, 수신기는 송신원을 혼동하는 일 없이, 송신 정보를 재구성할 수 있다.
송신기 A, B는, 분할수 설정부를 구비함으로써, 유저는, 가까이에 설치한 송신기의 분할수가 상이하도록 설정할 수 있어 혼신을 막을 수 있다.
수신기는, 수신한 신호의 분할수를 서버에 등록함으로써, 서버는 송신기가 설정되어 있는 분할수를 알 수 있고, 다른 수신기는 그 정보를 서버로부터 취득함으로써, 수신의 진척 상황을 정확하게 표시할 수 있다.
수신기는, 부근의, 또는, 대응하는 송신기로부터의 신호는 등길이 분할인지 여부를 서버로부터, 혹은, 수신기의 기억부로부터 취득한다. 상기 취득한 정보가 등길이 분할인 경우는, 동일한 DATAPART 길이의 프레임만으로부터 신호를 복원한다. 그렇지 않은 경우나, 동일한 DATAPART 길이의 프레임에서 모든 어드레스가 갖추어지지 않는 상황이 소정의 시간 이상 계속된 경우는, 상이한 DATAPART 길이의 프레임을 맞추어 신호를 복원한다.
(분할수의 차이에 의한 혼신의 방지)
도 166은, 본 실시의 형태에 있어서의 서버의 동작을 나타내는 플로우차트이다.
서버는, 수신기가 수신한 ID와 분할 구성(어떠한 DATAPART 길이의 조합으로 신호를 수신했는가)을 수신기로부터 수취한다. 상기 ID가, 분할 구성에 의한 확장의 대상인 경우는, 분할 구성의 패턴을 수치화한 것을 보조 ID로 하여, 상기 ID와 상기 보조 ID를 맞춘 확장 ID를 키로서 관련지어진 정보를 수신기에 넘긴다.
분할 구성에 의한 확장의 대상이 아닌 경우는, ID에 관련지어진 분할 구성이 기억부에 존재하는지 여부를 확인하고, 수신한 분할 구성과 동일한지 여부를 확인한다. 상이한 경우는 재확인 명령을 수신기에 송신한다. 이에 따라, 수신기의 수신 에러에 의해서 잘못된 정보가 제시되는 것을 막을 수 있다.
재확인 명령을 송신 후, 소정의 시간 이내에 동일한 ID로 동일한 분할 구성을 수신한 경우에는, 분할 구성이 변경되었다고 판단하고, ID에 관련지어진 분할 구성을 갱신한다. 이에 따라, 도 164의 설명으로서 기술한 것처럼, 분할 구성이 변경된 경우에 대응할 수 있다.
분할 구성이 기억되어 있지 않은 경우, 수신한 분할 구성과 기억되어 있는 분할 구성이 일치한 경우, 또는, 분할 구성을 갱신하는 경우에는, ID를 키로서 관련지어진 정보를 수신기에 넘기고, 분할 구성을 ID와 관련지어 기억부에 기억한다.
(수신의 진척 상황의 표시)
도 167∼도 172는, 본 실시의 형태에 있어서의 수신기의 동작의 일 예를 나타내는 플로우차트와 도면이다.
수신기는, 수신기가 대응하고 있는 송신기, 또는, 수신기의 부근에 있는 송신기의 분할수의 종류와 비율을, 서버나 수신기의 기억 영역으로부터 취득한다. 또한, 일부의 분할 데이터를 이미 수신하고 있는 경우는, 그 일부에 일치하는 정보를 송신하고 있는 송신기의 분할수의 종류와 비율을 취득한다.
수신기는, 분할된 프레임을 수신한다.
최후 어드레스를 이미 수신하고 있는 경우, 상기 취득한 분할수가 1종류뿐인 경우, 또는, 실행 중의 수신 어플리케이션이 대응하고 있는 분할수가 1종류뿐인 경우는, 분할수를 이미 알고 있기 때문에, 그 분할수를 기준으로 진척 상황을 표시한다.
그렇지 않은 경우로서, 이용 가능한 처리 리소스가 적은, 또는 에너지 절약 모드인 경우에는, 수신기는, 간이 모드로 진척 상황을 계산하여 표시한다. 한편, 이용 가능한 처리 리소스가 많은, 또는 에너지 절약 모드가 아닌 경우에는, 최우 추정 모드로 진척 상황을 계산하여 표시한다.
도 168은, 간이 모드에서의 진척 상황의 계산 방법을 나타내는 플로우차트이다.
우선, 수신기는, 표준 분할수 Ns를, 서버로부터 취득한다. 또는, 수신기는, 스스로 내부의 데이터 보존부로부터 표준 분할수 Ns를 읽어낸다. 또한, 표준 분할수는, (a) 그 분할수로 송신하는 송신기수의 최빈치 또는 기대치, (b) 패킷 길이마다 정해진 분할수, (c) 어플리케이션마다 정해진 분할수, 또는, (d) 수신기가 있는 장소로서, 식별 가능한 범위마다 정해진 분할수이다.
다음으로, 수신기는, 최종 어드레스인 것을 나타내는 패킷을 수신하고 있는지 여부를 판정한다. 수신하고 있다고 판정하면, 최종 패킷의 어드레스를 N으로 한다. 한편, 수신하고 있지 않다고 판정하면, 수신이 끝난 최대 어드레스 Amax에 1 또는 2 이상의 수를 더한 수를 Ne로 한다. 여기서, 수신기는, Ne＞Ns인지 여부를 판정한다. Ne＞Ns라고 판정하면, 수신기는, N=Ne로 한다. 한편, Ne＞Ns는 아니라고 판정하면, 수신기는, N=Ns로 한다.
그리고, 수신기는, 수신 중의 신호의 분할수가 N이라고 하여, 신호 전체의 수신에 필요한 패킷 중, 수신이 끝난 패킷수의 비율을 계산한다.
이러한 간이 모드에서는, 최우 추정 모드보다도 단순한 계산으로 진척 상황을 계산할 수 있어, 처리 시간 또는 소비 에너지의 점에서 유리하다.
도 169는, 최우 추정 모드에서의 진척 상황의 계산 방법을 나타내는 플로우차트이다.
우선, 수신기는, 분할수의 사전 분포를, 서버로부터 취득한다. 또는, 수신기는, 스스로 내부의 데이터 보존부로부터 사전 분포를 읽어낸다. 또한, 사전 분포는, (a) 그 분할수로 송신하는 송신기수의 분포로서 정해져 있고, (b) 패킷 길이마다 정해져 있고, (c) 어플리케이션마다 정해져 있고, 또는, (d) 수신기가 있는 장소로서, 식별 가능한 범위마다 정해져 있다.
다음으로, 수신기는, 패킷 x를 수신하고, 분할수가 y일 때에 패킷 x를 수신할 확률 P(x｜y)를 계산한다. 그리고, 수신기는, 패킷 x를 수신한 경우에 송신 신호의 분할수가 y인 확률 P(y｜x)를, P(x｜y)×P(y)÷A로서 구한다(또한, A는 정규화 승수이다). 또한, 수신기는, P(y)=P(y｜x)로 한다.
여기서, 수신기는, 분할수 추정 모드가 최우 모드인지, 우도 평균 모드인지 여부를 판정한다. 최우 모드인 경우, 수신기는, P(y)가 최대가 되는 y를 분할수로 하여 수신이 끝난 패킷수의 비율을 산출한다. 한편, 우도 평균 모드인 경우, 수신기는, y×P(y)의 총 합을 분할수로 하여 수신이 끝난 패킷수의 비율을 계산한다.
이러한 최우 추정 모드에서는, 간이 모드보다도 정확한 진척 정도를 계산할 수 있다.
또한, 분할수 추정 모드가 최우 모드인 경우는, 지금까지 수신한 어드레스로부터 최후 어드레스가 몇번인가의 우도를 계산하고, 최우의 것을 분할수라고 추정하여 수신의 진척을 표시한다. 이 표시 방법은, 실제의 진척 상황에 가장 가까운 진척 상황을 표시할 수 있다.
도 170은, 진척 상황이 감소하지 않는 표시 방법을 나타내는 플로우차트이다.
우선, 수신기는, 신호 전체의 수신에 필요한 패킷 중, 수신이 끝난 패킷수의 비율을 계산한다. 그리고, 수신기는, 계산한 비율이, 표시 중의 비율보다도 작은지 여부를 판정한다. 표시 중의 비율보다도 작다고 판정하면, 수신기는, 추가로 표시 중의 비율이 소정의 시간 이상 전의 계산 결과인지 여부를 판정한다. 소정의 시간 이상 전의 계산 결과라고 판정하면, 수신기는, 계산한 비율을 표시한다. 한편, 소정의 시간 이상 전의 계산 결과는 아니라고 판정하면, 수신기는, 표시 중의 비율을 계속 표시한다.
또한, 수신기는, 계산한 비율이, 표시 중의 비율 이상이라고 판정하면, 수신이 끝난 최대 어드레스 Amax에 1 또는 2 이상의 수를 더한 수를 Ne로 한다. 그리고, 수신기는, 그 계산한 비율을 표시한다.
최종 패킷을 수신했을 때 등에, 진척 상황의 계산 결과가 그때까지보다도 작아지는 것, 즉, 표시되는 진척 상황(진척 정도)이 내려가는 것은, 부자연스럽다. 그러나, 상술의 표시 방법에서는, 이러한 부자연스러운 표시를 억제할 수 있다.
도 171은, 복수의 패킷 길이가 있는 경우의 진척 상황의 표시 방법을 나타내는 플로우차트이다.
우선, 수신기는, 수신이 끝난 패킷수의 비율 P를, 패킷 길이마다 계산한다. 여기서, 수신기는, 표시 모드가 최대 모드, 전체 표시 모드 및 최신 모드 중 어느 것인지를 판정한다. 최대 모드라고 판정하면, 수신기는, 복수의 패킷 길이의 각각의 비율 P 중의 최대의 비율을 표시한다. 전체 표시 모드라고 판정하면, 수신기는, 모든 비율 P를 표시한다. 최신 모드라고 판정하면, 수신기는, 최후에 수신한 패킷의 패킷 길이의 비율 P를 표시한다.
도 172에서, (a)는 상기 간이 모드로서 계산한 진척 상황, (b)는 상기 최우 모드로서 계산한 진척 상황, (c)는 취득한 분할수 중 최소의 것을 분할수로서 계산한 경우의 진척 상황이다. (a)(b)(c)의 순서로 진척 상황은 커지기 때문에, 이와 같이 (a)(b)(c)를 겹쳐 표시함으로써, 모든 진척 상황을 동시에 표시할 수 있다.
(공통 스위치와 화소 스위치에 의한 발광 제어)
본 실시의 형태에 있어서의 송신 방법에서는, 예를 들면, 영상 표시용의 LED 디스플레이에 포함되는 각 LED를, 공통 스위치 및 화소 스위치의 스위칭에 따라서, 휘도 변화시킴으로써, 가시광 신호(가시광 통신 신호라고도 한다)를 송신한다.
LED 디스플레이는, 예를 들면 옥외에 설치되는 대형 디스플레이로서 구성되어 있다. 또한, LED 디스플레이는, 매트릭스상으로 배열된 복수의 LED를 구비하고, 영상 신호에 따라서, 이들의 LED를 명멸시킴으로써 영상을 표시한다. 이러한 LED 디스플레이는, 복수의 공통 라인(COM 라인)으로 이루어짐과 함께, 복수의 화소 라인(SEG 라인)으로 이루어진다. 각 공통 라인은, 수평 방향으로 일렬로 배열된 복수의 LED로 이루어지고, 각 화소 라인은, 수직 방향으로 일렬로 배열된 복수의 LED로 이루어진다. 또한, 복수의 공통 라인의 각각은, 그 공통 라인에 대응하는 공통 스위치에 접속된다. 공통 스위치는 예를 들면 트랜지스터이다. 복수의 화소 라인의 각각은, 그 화소 라인에 대응하는 화소 스위치에 접속된다. 복수의 화소 라인에 대응하는 복수의 화소 스위치는, 예를 들면 LED 드라이버 회로(정전류 회로)에 구비되어 있다. 또한, 이 LED 드라이버 회로는, 복수의 화소 스위치를 스위칭하는 화소 스위치 제어부로서 구성되어 있다.
보다 구체적으로는, 공통 라인에 포함되는 각 LED의 애노드 및 캐소드 중의 한쪽이, 그 공통 라인에 대응하는 트랜지스터의 콜렉터 등의 단자에 접속된다. 또한, 화소 라인에 포함되는 각 LED의 애노드 및 캐소드 중의 다른쪽이, 상기 LED 드라이버 회로에 있어서의, 그 화소 라인에 대응하는 단자(화소 스위치)에 접속된다.
이러한 LED 디스플레이가 영상을 표시할 때에는, 복수의 공통 스위치를 제어하는 공통 스위치 제어부가, 그들 공통 스위치를 시분할로 온으로 한다. 예를 들면, 공통 스위치 제어부는, 제1의 기간 중, 복수의 공통 스위치 중의 제1의 공통 스위치만을 온으로 하고, 다음의 제2의 기간 중, 복수의 공통 스위치 중의 제2의 공통 스위치만을 온으로 한다. 그리고, LED 드라이버 회로는, 어느쪽의 공통 스위치가 온으로 되어 있는 기간에, 영상 신호에 따라서 각 화소 스위치를 온으로 한다. 이에 따라, 공통 스위치가 온이고, 또한, 화소 스위치가 온인 기간만, 그 공통 스위치 및 화소 스위치에 대응하는 LED가 점등한다. 이 점등하는 기간에 의해, 영상 중의 화소의 휘도가 표현된다. 즉, 영상의 화소의 휘도는 PWM 제어된다.
본 실시의 형태에 있어서의 송신 방법에서는, 이러한 LED 디스플레이와, 공통 스위치 및 화소 스위치와, 공통 스위치 제어부 및 화소 스위치 제어부를 이용하여, 가시광 신호를 송신한다. 또한, 이러한 송신 방법에 의해 가시광 신호를 송신하는 본 실시의 형태에 있어서의 송신 장치(송신기라고도 한다)는, 그 공통 스위치 제어부 및 화소 스위치 제어부를 구비한다.
도 173은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
송신기는, 미리 정해진 심볼 주기에 따라서, 가시광 신호에 포함되는 각 심볼을 송신한다. 예를 들면, 송신기는, 심볼 「00」을 4PPM에 의해서 송신할 때에는, 4슬롯으로 이루어지는 심볼 주기에 있어서, 그 심볼(「00」의 휘도 변화 패턴)에 따라서 공통 스위치를 스위칭한다. 그리고, 송신기는, 영상 신호 등에 의해서 나타나는 평균 휘도에 따라서, 화소 스위치를 스위칭한다.
보다 구체적으로는, 심볼 주기에 있어서의 평균 휘도를 75%로 하는 경우(도 173의 (a)), 송신기는, 제1 슬롯의 기간 중, 공통 스위치를 오프로 하고, 제2 슬롯∼제4 슬롯까지의 기간 중, 공통 스위치를 온으로 한다. 또한, 송신기는, 제1 슬롯의 기간 중, 화소 스위치를 오프로 하고, 제2 슬롯∼제4 슬롯까지의 기간 중, 화소 스위치를 온으로 한다. 이에 따라, 공통 스위치가 온이고, 또한, 화소 스위치가 온인 기간만, 그 공통 스위치 및 화소 스위치에 대응하는 LED가 점등한다. 즉, LED는, 4슬롯의 각각에 있어서 LO(Low), HI(High), HI, HI의 휘도로 점등함으로써 휘도 변화한다. 그 결과, 심볼 「00」이 송신된다.
또한, 심볼 주기에 있어서의 평균 휘도가 25%인 경우(도 173의 (e)), 송신기는, 제1 슬롯의 기간 중, 공통 스위치를 오프로 하고, 제2 슬롯∼제4 슬롯까지의 기간 중, 공통 스위치를 온으로 한다. 또한, 송신기는, 제1 슬롯, 제3 슬롯 및 제4 슬롯의 기간 중, 화소 스위치를 오프로 하고, 제2 슬롯의 기간 중, 화소 스위치를 온으로 한다. 이에 따라, 공통 스위치가 온이고, 또한, 화소 스위치가 온인 기간만, 그 공통 스위치 및 화소 스위치에 대응하는 LED가 점등한다. 즉, LED는, 4슬롯의 각각에 있어서 LO(Low), HI(High), LO, LO와 같이 점등함으로써 휘도 변화한다. 그 결과, 심볼 「00」이 송신된다. 또한, 본 실시의 형태에 있어서의 송신기는, 상술의 V4PPM(variable　4PPM)에 가까운 가시광 신호를 송신하기 때문에, 동일한 심볼을 송신하는 경우라도, 평균 휘도를 가변으로 할 수 있다. 즉, 서로 상이한 평균 휘도로 동일한 심볼(예를 들면 「00」)을 송신할 때에는, 송신기는, 도 173의 (a)∼(e)에 나타내는 바와 같이, 그 심볼에 고유의 휘도의 상승 위치(타이밍)를 평균 휘도에 상관없이 일정하게 하고 있다. 이에 따라, 수신기는, 휘도를 의식하는 일 없이 가시광 신호를 수신할 수 있다.
또한, 공통 스위치는, 상술의 공통 스위치 제어부에 의해서 스위칭되고, 화소 스위치는, 상술의 화소 스위치 제어부에 의해서 스위칭된다.
이와 같이, 본 실시의 형태에 있어서의 송신 방법은, 휘도 변화에 의해서 가시광 신호를 송신하는 송신 방법으로서, 결정 단계와, 공통 스위치 제어 단계와, 제1의 화소 스위치 제어 단계를 포함한다. 결정 단계에서는, 가시광 신호를 변조함으로써, 휘도 변화 패턴을 결정한다. 공통 스위치 제어 단계에서는, 디스플레이에 구비된 광원군(공통 라인)에 포함되는, 각각 영상 중의 화소를 나타내기 위한 복수의 광원(LED)을, 공통으로 점등시키기 위한 공통 스위치를, 그 휘도 변화 패턴에 따라서 스위칭한다. 제1의 화소 스위치 제어 단계에서는, 그 광원군에 포함되는 복수의 광원 중의 제1의 광원을 점등시키기 위한 제1의 화소 스위치를 온으로 함으로써, 공통 스위치가 온이고, 또한, 제1의 화소 스위치가 온인 기간에만, 제1의 광원을 점등시킴으로써, 가시광 신호를 송신한다.
이에 따라, 복수의 LED 등을 광원으로서 구비한 디스플레이로부터 가시광 신호를 적절히 송신할 수 있다. 따라서, 조명 이외의 기기를 포함하는 양태인 기기간의 통신을 가능하게 한다. 또한, 그 디스플레이가, 공통 스위치 및 제1의 화소 스위치의 제어에 의해서 영상을 표시하기 위한 디스플레이인 경우, 그 공통 스위치 및 제1의 화소 스위치를 이용하여, 가시광 신호를 송신할 수 있다. 따라서, 디스플레이에 영상 표시하기 위한 구성에 대하여 대폭적인 변경을 행하는 일 없이, 간단하게 가시광 신호를 송신할 수 있다.
또한, 화소 스위치의 제어 타이밍을 송신 심볼(4PPM 1회분)과 일치시켜, 도 173과 같이 제어함으로써, 깜박거림 없이 LED 디스플레이로부터 가시광 신호를 송신할 수 있다. 화상 신호(즉 영상 신호)는 통상 1/30초나 1/60초 주기로 변화하지만, 심볼 송신 주기(심볼 주기)에 맞추어 화상 신호를 변화시킴으로써, 회로에 변경을 가하는 일 없이 실현할 수 있다.
이와 같이, 본 실시의 형태에 있어서의 송신 방법의 상기 결정 단계에서는, 휘도 변화 패턴을 심볼 주기마다 결정한다. 또한, 상기 제1의 화소 스위치 제어 단계에서는, 심볼 주기에 동기시켜, 화소 스위치를 스위칭한다. 이에 따라, 심볼 주기가 예를 들면 1/2400초라도, 그 심볼 주기에 따라서 가시광 신호를 적절히 송신할 수 있다.
신호(심볼)가 「10」이고 평균 휘도가 50% 부근일 때는, 휘도 변화 패턴이 0101에 가깝게 되어, 휘도의 상승 개소가 2개소가 된다. 그러나, 그 경우는, 후의 상승 개소를 우선함으로써, 수신기는 올바르게 신호를 수신할 수 있다. 즉, 후의 상승 개소는, 심볼 「10」에 고유의 휘도의 상승이 얻어지는 타이밍이다.
평균 휘도가 높을수록, 4PPM로 변조된 신호에 가까운 신호를 출력할 수 있다. 따라서, 화면 전체, 혹은, 전원 라인이 공통인 부분의 휘도가 낮은 경우는, 전류를 적게 하여 휘도의 순간값을 낮춤으로써, HI 구간을 길게 할 수 있어, 에러를 저감시킬 수 있다. 이 경우, 화면의 최고 휘도가 낮아지지만, 실내에서의 용도 등, 원래 높은 휘도가 필요없는 경우, 또는 가시광 통신을 우선하는 경우 등은, 이를 유효하게 하는 스위치를 유효하게 함으로써, 통신 품질과 화질의 밸런스를 최적으로 설정할 수 있다.
또한, 본 실시의 형태에 있어서의 송신 방법의 상기 제1의 화소 스위치 제어 단계에서는, 디스플레이(LED 디스플레이)에 영상을 표시시킬 때는, 상기 제1의 광원에 대응하는, 영상 중의 화소의 화소치를 표현하기 위한 점등 기간 중, 가시광 신호의 송신을 위해서 제1의 광원이 소등되는 기간만, 그 점등 기간을 보충하도록, 제1의 화소 스위치를 스위칭한다. 즉, 본 실시의 형태에 있어서의 송신 방법에서는, LED 디스플레이에 영상이 표시되어 있을 때, 가시광 신호를 송신한다. 따라서, 영상 신호에 의해서 나타나는 화소치(구체적으로는 휘도치)를 표현하기 위해서 LED가 점등해야 할 기간에 있어서, 가시광 신호의 송신을 위해서 그 LED가 소등되는 경우가 있다. 이러한 경우에는, 본 실시의 형태에 있어서의 송신 방법에서는, 그 LED가 소등되는 기간만큼, 그 점등 기간을 보충하도록, 제1의 화소 스위치를 스위칭한다.
예를 들면, 가시광 신호를 송신하지 않고 영상 신호에 의해서 나타나는 영상을 표시할 때는, 1개의 심볼 주기 중, 공통 스위치는 온이 되고, 화소 스위치는, 그 영상 신호에 의해서 나타나는 화소치인 평균 휘도에 따른 기간만 온이 된다. 평균 휘도가 75%인 경우, 공통 스위치는, 심볼 주기의 제1 슬롯∼제4 슬롯에 있어서 온이 된다. 또한, 화소 스위치는, 심볼 주기의 제1 슬롯∼제3 슬롯에 있어서 온이 된다. 이에 따라, 심볼 주기 중, LED는 제1 슬롯∼제3 슬롯에 있어서 점등하기 때문에, 상술의 화소치를 표현할 수 있다. 그러나, 심볼 「01」의 송신을 위해서는, 제2 슬롯이 소등된다. 여기서, 본 실시의 형태에 있어서의 송신 방법에서는, 그 LED가 소등되는 제2 슬롯만큼, 그 LED의 점등 기간을 보충하도록, 즉, 제4 슬롯에 있어서 LED가 점등하도록, 화소 스위치를 스위칭한다.
또한, 본 실시의 형태에 있어서의 송신 방법에서는, 영상 중의 화소의 화소치를 변경함으로써, 그 점등 기간을 보충한다. 예를 들면, 상술과 같은 경우에는, 평균 휘도 75%의 화소치를, 평균 휘도 100%의 화소치로 변경한다. 평균 휘도 100%의 경우, LED는 제1 슬롯∼제4 슬롯에서 점등하려고 하지만, 심볼 「01」의 송신을 위해서는, 제1 슬롯은 소등된다. 따라서, 가시광 신호를 송신하는 경우에도, 본래의 화소치(평균 휘도 75%)로 LED를 점등시킬 수 있다.
이에 따라, 가시광 신호의 송신에 의해서 영상이 흐트러지는 것을 억제할 수 있다.
(화소마다 어긋나게 한 발광 제어)
도 174는, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
본 실시의 형태에 있어서의 송신기는, 도 174와 같이, 동일한 심볼(예를 들면 「10」)을 화소 A와, 그 화소 A의 부근의 화소(예를 들면, 화소 B 및 화소 C)로부터 송신할 때에는, 그들 화소의 발광 타이밍을 어긋나게 한다. 다만, 송신기는, 그 심볼에 고유의 휘도의 상승 타이밍을, 그들 화소간에서 어긋나게 하지 않고, 그들 화소를 발광시킨다. 또한, 화소 A∼화소 C는 각각, 광원(구체적으로는 LED)에 상당한다. 또한, 심볼에 고유의 휘도의 상승 타이밍은, 그 심볼이 「10」이면, 제3 슬롯과 제4 슬롯의 경계의 타이밍이다. 또한, 이러한 타이밍을, 이하, 심볼 고유 타이밍이라고 한다. 수신기는, 이 심볼 고유 타이밍을 특정함으로써, 그 타이밍에 따른 심볼을 수신할 수 있다.
이와 같이 발광 타이밍을 늦춤으로써, 화소간의 평균 휘도 추이를 나타내는 파형은, 도 174에 나타내는 바와 같이, 심볼 고유 타이밍에 있어서의 상승을 제외하고, 완만한 상승 또는 하강을 갖는다. 즉, 심볼 고유 타이밍에 있어서의 상승은, 다른 타이밍의 상승보다도 급준하다. 따라서, 수신기는, 복수의 상승 중, 가장 급준한 상승을 우선하여 수신함으로써, 적절한 심볼 고유 타이밍을 특정할 수 있고, 그 결과, 수신 오류를 억제할 수 있다.
즉, 소정의 화소로부터 심볼 「10」을 송신하는 경우에, 그 소정의 화소의 휘도가 25% 내지 75%의 중간치인 경우는, 송신기는, 그 소정의 화소에 대응하는 화소 스위치의 개구간을 짧거나, 혹은, 길게 설정한다. 또한, 송신기는, 그 소정의 화소의 부근의 화소에 대응하는 화소 스위치의 개구간을 반대로 조정한다. 이와 같이, 그 소정의 화소와 부근의 화소를 포함하는 전체의 휘도가 변하지 않도록, 각 화소 스위치의 개구간을 설정하는 것으로도, 에러를 억제할 수 있다. 또한, 개구간이란, 화소 스위치가 온되어 있는 구간이다.
이와 같이, 본 실시의 형태에 있어서의 송신 방법은, 추가로, 제2의 화소 스위치 제어 단계를 포함한다. 이 제2의 화소 스위치 제어 단계에서는, 상술의 광원군(공통 라인)에 포함되는, 제1의 광원의 주위에 있는 제2의 광원을 점등시키기 위한 제2의 화소 스위치를 온으로 함으로써, 공통 스위치가 온이고, 또한, 제2의 화소 스위치가 온인 기간에만, 그 제2의 광원을 점등시킴으로써, 가시광 신호를 송신한다. 또한, 제2의 광원은, 예를 들면 제1의 광원에 인접해 있는 광원이다.
그리고, 그 제1 및 제2의 화소 스위치 제어 단계에서는, 제1 및 제2의 광원의 각각으로부터, 가시광 신호에 포함되는 동일한 심볼을 동시에 송신할 경우에는, 제1 및 제2의 화소 스위치의 각각이 동일한 심볼을 송신하기 위해서 온 또는 오프 하는 복수의 타이밍 중, 그 동일한 심볼에 고유의 휘도의 상승이 얻어지는 타이밍을, 제1 및 제2의 화소 스위치의 각각에서 동일하게 하고, 다른 타이밍을, 제1 및 제2의 화소 스위치의 각각에서 다르게 하고, 그 동일한 심볼이 송신되는 기간에 있어서의, 제1 및 제2의 광원의 전체의 평균 휘도를, 미리 정해진 휘도에 일치시킨다.
이에 따라, 도 174에 나타내는 화소간 평균 휘도 추이와 같이, 공간적으로 평균된 휘도에 있어서, 심볼에 고유의 휘도의 상승이 얻어지는 타이밍에서만, 그 상승을 급준하게 할 수 있어, 수신 에러의 발생을 억제할 수 있다. 즉, 수신기에 의한 가시광 신호의 수신 에러를 억제할 수 있다.
또한, 소정의 화소로부터 심볼 「10」을 송신하는 경우에, 그 소정의 화소의 휘도가 25% 내지 75%의 중간치인 경우는, 송신기는, 제1의 기간에 있어서의, 그 소정의 화소에 대응하는 화소 스위치의 개구간을 짧거나, 혹은, 길게 설정한다. 또한, 송신기는, 제1의 기간과 시간적으로 전 또는 후의 제2의 기간(예를 들면 프레임)에 있어서, 그 화소 스위치의 개구간을 반대로 조정한다. 이와 같이, 소정의 화소에 있어서의, 제1의 기간과 제2의 기간을 포함하는 전체의 시간 평균 휘도가 바뀌지 않도록, 화소 스위치의 개구간을 설정하는 것도, 에러를 억제할 수 있다.
즉, 본 실시의 형태에 있어서의 송신 방법에 있어서의, 상술의 제1의 화소 스위치 제어 단계에서는, 예를 들면, 제1의 기간과, 그 제1의 기간에 연속하는 제2의 기간에서, 가시광 신호에 포함되는 동일한 심볼을 송신한다. 이 때, 그 제1 및 제2의 기간의 각각에 있어서, 제1의 화소 스위치가 그 동일한 심볼을 송신하기 위해서 온 또는 오프하는 복수의 타이밍 중, 동일한 심볼에 고유의 휘도의 상승이 얻어지는 타이밍을 동일하게 하고, 다른 타이밍을 상이하게 한다. 그리고, 그 제1 및 제2의 기간의 전체에 있어서의 제1의 광원의 평균 휘도를, 미리 정해진 휘도에 일치시킨다. 이 제1의 기간 및 제2의 기간은 각각, 프레임을 표시하기 위한 기간과 그 다음의 프레임을 표시하기 위한 기간이어도 된다. 또한, 제1의 기간 및 제2의 기간은 각각 심볼 주기여도 된다. 즉, 제1의 기간 및 제2의 기간은 각각, 1개의 심볼을 송신하기 위한 기간과 다음의 심볼을 송신하기 위한 기간이어도 된다.
이에 따라, 도 174에 나타내는 화소간 평균 휘도 추이와 동일하게, 시간적으로 평균화된 휘도에 있어서, 심볼에 고유의 휘도의 상승이 얻어지는 타이밍에서만, 그 상승을 급준하게 할 수 있어, 수신 에러의 발생을 억제할 수 있다. 즉, 수신기에 의한 가시광 신호의 수신 에러를 억제할 수 있다.
(화소 스위치가 배속 구동 가능한 경우의 발광 제어)
도 175는, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
화소 스위치를, 송신 심볼 주기의 반의 주기로 개폐할 수 있는 경우, 즉, 화소 스위치가 배속 구동 가능한 경우는, 도 175에 나타내는 대로, V4PPM과 동일한 발광 패턴으로 할 수 있다.
바꾸어 말하면, 심볼 주기(심볼이 송신되는 기간)가 4슬롯으로 이루어지는 경우, 화소 스위치를 제어하는 LED 드라이버 회로 등의 화소 스위치 제어부는, 2슬롯마다, 화소 스위치를 제어할 수 있다. 즉, 화소 스위치 제어부는, 그 심볼 주기의 최초의 시점으로부터 2슬롯분의 기간에 있어서, 화소 스위치를 임의의 시간만큼 온할 수 있다. 또한, 화소 스위치 제어부는, 그 심볼 주기의 3슬롯째의 최초의 시점으로부터 2슬롯분의 기간에 있어서, 화소 스위치를 임의의 시간만큼 온할 수 있다.
즉, 본 실시의 형태에 있어서의 송신 방법에서는, 상술의 심볼 주기의 1/2의 주기로 화소치를 변경해도 좋다.
이 경우, 화소 스위치의 개폐의 1회당의 세밀함이 줄어 버릴(정밀도가 저하해 버릴) 가능성이 있다. 그래서, 송신 우선 스위치가 유효일 때만 이를 행함으로써, 화질과 송신 품질의 밸런스를 최적으로 설정할 수 있다.
(화소치 조정에 의한 발광 제어의 블록)
도 176은, 본 실시의 형태에 있어서의 송신기의 일 예를 나타내는 블록도이다.
도 176의 (a)는, 가시광 신호의 송신을 행하지 않고, 영상의 표시만을 행하는 장치, 즉, 상술의 LED 디스플레이에 영상을 표시하는 표시 장치의 구성을 나타내는 블록도이다. 이 표시 장치는, 도 176의 (a)에 나타내는 바와 같이, 화상·영상 입력부(1911)와, N배속화부(1912)와, 공통 스위치 제어부(1913)와, 화소 스위치 제어부(1914)를 구비한다.
화상·영상 입력부(1911)는, 화상 또는 영상을 예를 들면 60Hz의 프레임 레이트로 나타내는 영상 신호를 N배속화부(1912)에 출력한다.
N배속화부(1912)는, 화상·영상 입력부(1911)로부터 입력되는 영상 신호의 프레임 레이트를 N(N＞1)배로 올려, 그 영상 신호를 출력한다. 예를 들면, N배속화부(1912)는, 프레임 레이트를 10배(N=10)로, 즉 600Hz의 프레임 레이트로 올린다.
공통 스위치 제어부(1913)는, 그 600Hz의 프레임 레이트의 영상에 의거하여 이 공통 스위치를 스위칭한다. 동일하게 화소 스위치 제어부(1914)는, 그 600Hz의 프레임 레이트의 영상에 의거하여 화소 스위치를 스위칭한다. 이와 같이, N배속화부(1912)에 의해서 프레임 레이트가 올라감으로써, 공통 스위치 또는 화소 스위치 등의 스위치의 개폐에 의한 깜박거림을 회피할 수 있다. 또한, 촬상 장치에 의해서 LED 디스플레이가 고속 셔터로 촬상되는 경우에도, 화소 탈락 또는 깜박거림이 없는 화상을 그 촬상 장치에 촬상시킬 수 있다.
도 176의 (b)는, 영상의 표시뿐만 아니라, 상술의 가시광 신호의 송신을 나타내는 표시 장치, 즉 송신기(송신 장치)의 구성을 나타내는 블록도이다. 이 송신기는, 화상·영상 입력부(1911)와 공통 스위치 제어부(1913)와, 화소 스위치 제어부(1914)와, 신호 입력부(1915)와, 화소치 조정부(1916)를 구비한다. 신호 입력부(1915)는, 복수의 심볼로 이루어지는 가시광 신호를, 2400심볼/초의 심볼 레이트(주파수)로 화소치 조정부(1916)에 출력한다.
화소치 조정부(1916)는, 그 가시광 신호의 심볼 레이트에 맞추어, 화상·영상 입력부(1911)로부터 입력된 화상을 복제하고, 상술의 방법에 따라서 화소치를 조정한다. 이에 따라, 화소치 조정부(1916)로부터 후단의 공통 스위치 제어부(1913) 및 화소 스위치 제어부(1914)는, 화상 또는 영상의 휘도를 바꾸는 일 없이, 가시광 신호를 출력할 수 있다.
예를 들면, 도 176에 나타내는 예의 경우, 가시광 신호의 심볼 레이트가 2400심볼/초이면, 화소치 조정부(1916)는, 영상 신호의 프레임 레이트 60Hz가 4800Hz가 되도록, 영상 신호에 포함되는 화상을 복제한다. 예를 들면, 가시광 신호에 포함되는 심볼의 값이 「00」이고, 복제전의 1매째의 화상에 포함되는 화소의 화소치(휘도치)는 50%이다. 이 경우, 화소치 조정부(1916)는, 그 화소치를 복제 후의 1매째의 화상에서는 100%로 조정하고, 2매째의 화상에서는 50%로 조정한다. 이에 따라, 도 175의 (c)에 나타내는, 심볼 「00」의 경우의 휘도 변화와 같이, 공통 스위치와 화소 스위치의 앤드에 의해서, 휘도는 50%가 된다. 그 결과, 원래의 화상의 휘도와 동일하게 유지하면서, 가시광 신호를 송신할 수 있다. 또한, 공통 스위치와 화소 스위치의 앤드란, 공통 스위치가 온이고, 또한 화소 스위치가 온인 기간에만, 그 공통 스위치 및 화소 스위치에 대응하는 광원(즉 LED)이 점등하는 것이다.
또한, 본 실시의 형태에 있어서의 송신 방법에서는, 영상의 표시와 가시광 신호의 송신을 동시에 행하는 일 없이, 그들을 신호 송신 기간과 영상 표시 시간으로 나누어 행해도 된다.
즉, 본 실시의 형태에 있어서의 상술의 제1의 화소 스위치 제어 단계에서는, 공통 스위치가 휘도 변화 패턴에 따라서 스위칭하고 있는 신호 송신 기간 중, 제1의 화소 스위치를 온으로 한다. 그리고, 본 실시의 형태에 있어서의 송신 방법은, 추가로, 그 신호 송신 기간과 상이한 영상 표시 기간 중, 그 공통 스위치를 온으로 하고, 영상 표시 기간에 있어서 제1의 화소 스위치를 표시 대상의 영상에 따라서 온으로 함으로써, 공통 스위치가 온이고, 또한, 제1의 화소 스위치가 온인 기간에만, 제1의 광원을 점등시킴으로써, 그 영상 중의 화소를 표시하는 영상 표시 단계를 포함해도 된다.
이에 따라, 영상의 표시와 가시광 신호의 송신이 서로 상이한 기간에 행해지기 때문에 그 표시와 송신을 간단하게 행할 수 있다.
(전원 변경의 타이밍)
전원 라인 변경시에는, 신호 오프의 구간이 발생해 버리지만, 4PPM의 최후 부분은 발광하고 있지 않아도 수신에는 영향을 주지 않기 때문에, 4PPM 심볼의 송신 주기에 맞추어 전원 라인을 변경함으로써, 수신 품질에 영향을 주지 않고 전원 라인을 변경할 수 있다.
또한, 4PPM의 LO 기간에 전원 라인을 변경하는 것으로도, 수신 품질에 영향을 주지 않고 전원 라인을 변경할 수 있다. 이 경우는, 또한, 최대 휘도를 높게 유지한 채로 송신할 수 있다.
(구동 타이밍)
또한, 본 실시의 형태에서는, 도 177∼도 179에 나타내는 타이밍에 LED 디스플레이를 구동해도 된다.
도 177∼도 179는, LED 디스플레이를 본 개시된 광 ID 변조 신호로 구동하는 경우의 타이밍 차트이다.
예를 들면, 도 178에 나타내는 바와 같이, 가시광 신호(광 ID)를 송신하기 위해서, 공통 스위치(COM1)가 오프로 될 때(기간 t1)에는, 영상 신호가 나타내는 휘도로 LED를 점등시킬 수 없기 때문에, 그 기간 t1 이후에, 그 LED를 점등시킨다. 이에 따라, 가시광 신호를 적절히 송신하면서, 영상 신호에 의해서 나타나는 영상을 흐트리는 일 없이, 그 영상을 적절히 표시할 수 있다.
(정리)
도 180a는, 본 개시된 일 양태에 관련된 송신 방법을 나타내는 플로우차트이다.
본 개시된 일 양태에 관련된 송신 방법은, 휘도 변화에 의해서 가시광 신호를 송신하는 송신 방법으로서, 단계 SC11∼SC13을 포함한다.
단계 SC11에서는, 상술의 각 실시의 형태와 동일하게, 가시광 신호를 변조함으로써, 휘도 변화 패턴을 결정한다.
단계 SC12에서는, 디스플레이에 구비된 광원군에 포함되는, 각각 영상 중의 화소를 나타내기 위한 복수의 광원을, 공통으로 점등시키기 위한 공통 스위치를, 그 휘도 변화 패턴에 따라서 스위칭한다.
단계 S13에서는, 그 광원군에 포함되는 복수의 광원 중의 제1의 광원을 점등시키기 위한 제1의 화소 스위치(즉 화소 스위치)를 온으로 함으로써, 공통 스위치가 온이고, 또한, 제1의 화소 스위치가 온인 기간에만, 제1의 광원을 점등시킴으로써, 가시광 신호를 송신한다.
도 180b는, 본 개시된 일 양태에 관련된 송신 장치의 기능 구성을 나타내는 블록도이다.
본 개시된 일 양태에 관련된 송신 장치(C10)는, 휘도 변화에 의해서 가시광 신호를 송신하는 송신 장치(또는 송신기)로서, 결정부(C11)와, 공통 스위치 제어부(C12)와, 화소 스위치 제어부(C13)를 구비한다. 결정부(C11)는, 상술의 각 실시의 형태와 동일하게, 가시광 신호를 변조함으로써, 휘도 변화 패턴을 결정한다. 또한, 이 결정부(C11)는, 예를 들면, 도 176에 나타내는 신호 입력부(1915)에 구비된다.
공통 스위치 제어부(C12)는, 공통 스위치를 그 휘도 변화 패턴에 따라서 스위칭한다. 이 공통 스위치는, 디스플레이에 구비된 광원군에 포함되는, 각각 영상 중의 화소를 나타내기 위한 복수의 광원을, 공통으로 점등시키기 위한 스위치이다.
화소 스위치 제어부(C13)는, 광원군에 포함되는 복수의 광원 중의 제어 대상의 광원을 점등시키기 위한 화소 스위치를 온으로 함으로써, 공통 스위치가 온이고, 또한, 화소 스위치가 온인 기간에만, 제어 대상의 광원을 점등시킴으로써, 가시광 신호를 송신한다. 또한, 제어 대상의 광원은, 상술의 제1의 광원이다.
이에 따라, 복수의 LED 등을 광원으로서 구비한 디스플레이로부터 가시광 신호를 적절히 송신할 수 있다. 따라서, 조명 이외의 기기를 포함하는 양태인 기기간의 통신을 가능하게 한다. 또한, 그 디스플레이가, 공통 스위치 및 화소 스위치의 제어에 의해서 영상을 표시하기 위한 디스플레이인 경우, 그 공통 스위치 및 화소 스위치를 이용하여, 가시광 신호를 송신할 수 있다. 따라서, 디스플레이에 영상 표시하기 위한 구성(즉 표시 장치)에 대하여 대폭적인 변경을 행하는 일 없이, 간단하게 가시광 신호를 송신할 수 있다.
(Single　frame　transmission의 프레임 구성)
도 181은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
송신 프레임은, 도 181의 (a)에 나타내는 바와 같이, 프리앰블(PRE), ID 길이(IDLEN), ID 타입(IDTYPE), 컨텐츠(ID/DATA), 및 검사 부호(CRC)로 구성된다. 각 영역의 비트수는 일 예이다.
도 181의 (b)에 나타내는 프리앰블을 이용함으로써, 수신기는, 4PPM, I－4PPM 또는 V4PPM으로 인코드되어 있는 다른 부분과 구별할 수 있어, 신호의 단락을 발견할 수 있다.
도 181의 (c)에 나타내는 바와 같이, IDLEN로 ID/DATA의 길이를 지정함으로써, 가변 길이의 컨텐츠를 송신할 수 있다.
CRC는, PRE 이외의 부분의 오류를 정정, 또는, 검출하는 검사 부호이다. 검사 영역의 길이에 따라서 CRC 길이를 변화시킴으로써, 검사 능력을 일정 이상으로 유지할 수 있다. 또한, 검사 영역의 길이에 따라서 상이한 검사 부호를 이용함으로써, CRC 길이당 검사 능력을 향상시킬 수 있다.
(Multiple　frame　transmission의 프레임 구성)
도 182와 도 183은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
송신 데이터(BODY)에는, 파티션 타입(PTYPE)과 검사 부호(CRC)가 부가되고, Joined　data가 된다. Joined　data는, 몇개의 DATAPART로 분할되고, 프리앰블(PRE)과 어드레스(ADDR)가 부가되어 송신된다.
PTYPE(또는, 파티션 모드(PMODE))는, BODY의 분할 방법 또는 의미를 나타낸다. 도 182의 (a)에 나타내는 바와 같이 2bit로 함으로써, 4PPM으로 딱 좋게 부호화 할 수 있다. 도 182의 (b)에 나타내는 바와 같이 1bit로 함으로써, 송신 시간을 짧게 할 수 있다.
CRC는 PTYPE와 BODY를 검사하는 검사 부호이다. 도 161에서 정하는 바와 같이, 검사되는 부분의 길이에 따라서 CRC의 부호 길이를 변화시킴으로써, 검사 능력을 일정 이상으로 유지할 수 있다.
프리앰블은, 도 162와 같이 정함으로써, 분할 패턴의 바리에이션을 확보하면서, 송신 시간을 짧게 할 수 있다.
어드레스는, 도 163과 같이 정함으로써, 수신기는, 프레임을 수신한 순서에 상관없이, 데이터를 복원할 수 있다.
도 183은, 가능한 Joined　data 길이와 프레임수의 조합이다. 밑줄이 그어진 조합은, 후술의 PTYPE가 Single　frame　compatible일 때에 이용되는 조합이다.
(BODY 필드의 구성)
도 184는, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
BODY를 도면과 같은 필드 구성으로 함으로써, 싱글 프레임 송신과 동일한 ID를 송신할 수 있다.
동일한 IDTYPE에서 동일한 ID의 경우는, 싱글 프레임 송신인지 멀티 프레임 송신인지, 또는, 패킷 송신의 조합에 관계없이, 동일한 의미를 나타낸다고 함으로써, 연속 송신·수신 시간이 짧은 경우 등에 유연하게 신호를 송신할 수 있다.
IDLEN에서 ID의 길이를 지정하고, 남은 부분은 PADDING를 송신한다. 이 부분은 모두 0 또는 1이라고 해도 되고, ID를 확장하는 데이터를 송신해도 되고, 검사 부호로 해도 좋다. PADDING는 왼쪽부터 채우기여도 된다.
도 184의 (b), (c) 또는 (d)에서는, 도 184의 (a)보다도 송신 시간을 짧게 할 수 있다. 이 때 ID의 길이는, ID로서 구할 수 있는 길이 중 최대의 것으로 한다.
도 184의 (b) 또는 (c)의 경우는, IDTYPE의 비트수가 홀수가 되지만, 도 182의 (b)에 나타내는 1bit의 PTYPE와 조합함으로써, 짝수가 되어, 4PPM으로 효율적으로 인코딩할 수 있다.
도 184의 (c)에서는, 보다 긴 ID를 송신할 수 있다.
도 184의 (d)에서는, 보다 많은 IDTYPE를 표현할 수 있다.
(PTYPE)
도 185는, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
PTYPE가 소정의 비트일 때는, BODY가 Single　frame　compatible 모드인 것을 나타낸다. 이에 따라, 싱글 프레임 송신의 경우와 동일한 ID를 송신할 수 있다.
예를 들면, PTYPE=00일 때에는, 그 PTYPE에 대응하는 ID 또는 ID 타입을, 싱글 프레임 송신으로 송신된 ID 또는 ID 타입과 동일하게 취급할 수 있고, ID 또는 ID 타입의 관리를 간단하게 할 수 있다.
PTYPE가 소정의 비트일 때는, BODY는 Data　stream 모드인 것을 나타낸다. 이 때, 송신 프레임수와 DATAPART 길이는 모든 조합을 이용할 수 있고, 상이한 조합의 데이터는 상이한 의미를 갖는다고 할 수 있다. PTYPE의 비트에 의해서, 상기 상이한 조합이 동일한 의미를 갖는 경우와, 상이한 의미를 유지하는 경우로 해도 된다. 이에 따라, 송신 방법을 유연하게 선택할 수 있다.
예를 들면, PTYPE=01일 때에는, 싱글 프레임 송신에 정의되어 있지 않은 사이즈의 ID를 송신할 수 있다. 또한, 그 PTYPE에 대응하는 ID가 싱글 프레임 송신의 ID와 동일해도, 그 PTYPE에 대응하는 ID를, 그 싱글 프레임 송신의 ID와는 다른 ID로서 취급할 수 있다. 그 결과, 표현 가능한 ID의 수를 많게 할 수 있다.
(Single　frame　compatible　모드의 필드 구성)
도 186은, 본 실시의 형태에 있어서의 송신 신호의 일 예를 나타내는 도면이다.
도 184의 (a)를 이용하는 경우, Single　frame　compatible 모드에서는, 도 186에 나타내는 표의 조합으로 송신하는 경우가 가장 효율이 좋다.
도 184의 (b), (c) 또는 (d)를 이용하는 경우는, ID가 32bit인 경우는, 프레임수 13이고 DATAPART 길이 4bit의 조합이 효율이 좋다. 또한, ID가 64bit인 경우는, 프레임수가 11이고 DATAPART 길이가 8bit의 조합이 효율이 좋다.
표의 조합만으로 송신된다고 함으로써, 상이한 조합은 수신 에러라고 판단할 수 있게 되어, 수신 에러율을 낮출 수 있다.
(실시의 형태 19의 정리)
본 개시된 일 양태에 관련된 송신 방법은, 휘도 변화에 의해서 가시광 신호를 송신하는 송신 방법으로서, 가시광 신호를 변조함으로써, 휘도 변화 패턴을 결정하는 결정 단계와, 디스플레이에 구비된 광원군에 포함되는, 각각 영상 중의 화소를 나타내기 위한 복수의 광원을 공통으로 점등시키기 위한 공통 스위치를, 상기 휘도 변화 패턴에 따라서 스위칭하는 공통 스위치 제어 단계와, 상기 광원군에 포함되는 복수의 광원 중의 제1의 광원을 점등시키기 위한 제1의 화소 스위치를 온으로 함으로써, 상기 공통 스위치가 온이고, 또한, 상기 제1의 화소 스위치가 온인 기간에만, 상기 제1의 광원을 점등시킴으로써, 상기 가시광 신호를 송신하는 제1의 화소 스위치 제어 단계를 포함한다.
이에 따라, 예를 들면 도 173∼도 180b에 나타내는 바와 같이, 복수의 LED 등을 광원으로서 구비한 디스플레이로부터 가시광 신호를 적절히 송신할 수 있다. 따라서, 조명 이외의 기기를 포함하는 양태인 기기간의 통신을 가능하게 한다. 또한, 그 디스플레이가, 공통 스위치 및 제1의 화소 스위치의 제어에 의해서 영상을 표시하기 위한 디스플레이인 경우, 그 공통 스위치 및 제1의 화소 스위치를 이용하여, 가시광 신호를 송신할 수 있다. 따라서, 디스플레이에 영상 표시하기 위한 구성에 대하여 대폭적인 변경을 행하는 일 없이, 간단하게 가시광 신호를 송신할 수 있다.
또한, 상기 결정 단계에서는, 상기 휘도 변화 패턴을 심볼 주기마다 결정하고, 상기 제1의 화소 스위치 제어 단계에서는, 상기 심볼 주기에 동기시켜, 상기 제1의 화소 스위치를 스위칭해도 된다.
이에 따라, 예를 들면 도 173에 나타내는 바와 같이, 심볼 주기가 예를 들면 1/2400초라도, 그 심볼 주기에 따라서 가시광 신호를 적절히 송신할 수 있다.
또한, 상기 제1의 화소 스위치 제어 단계에서는, 상기 디스플레이에 영상을 표시시킬 때는, 상기 제1의 광원에 대응하는, 상기 영상 중의 화소의 화소치를 표현하기 위한 점등 기간 중, 상기 가시광 신호의 송신을 위해서 상기 제1의 광원이 소등되는 기간만큼, 상기 점등 기간을 보충하도록, 상기 제1의 화소 스위치를 스위칭해도 된다. 예를 들면, 상기 영상 중의 화소의 화소치를 변경함으로써, 상기 점등 기간을 보충해도 된다.
이에 따라, 예를 들면 도 173 및 도 175에 나타내는 바와 같이, 가시광 신호의 송신을 위해서 제1의 광원이 소등되는 경우에도, 점등 기간이 보충되기 때문에, 본래의 영상을 흐트러트리는 일 없이 적절히 표시할 수 있다.
또한, 상기 심볼 주기의 1/2의 주기로 상기 화소치를 변경해도 된다.
이에 따라, 예를 들면 도 175에 나타내는 바와 같이, 영상의 표시와 가시광 신호의 송신을 적절히 행할 수 있다.
또한, 상기 송신 방법은, 추가로 상기 광원군에 포함되는, 상기 제1의 광원의 주위에 있는 제2의 광원을 점등시키기 위한 제2의 화소 스위치를 온으로 함으로써, 상기 공통 스위치가 온이고, 또한, 상기 제2의 화소 스위치가 온인 기간에만, 상기 제2의 광원을 점등시킴으로써, 상기 가시광 신호를 송신하는 제2의 화소 스위치 제어 단계를 포함하고, 상기 제1 및 제2의 화소 스위치 제어 단계에서는, 상기 제1 및 제2의 광원의 각각으로부터, 상기 가시광 신호에 포함되는 동일한 심볼을 동시에 송신할 경우에는, 상기 제1 및 제2의 화소 스위치의 각각이 상기 동일한 심볼을 송신하기 위해서 온 또는 오프하는 복수의 타이밍 중, 상기 동일한 심볼에 고유의 휘도의 상승이 얻어지는 타이밍을, 상기 제1 및 제2의 화소 스위치의 각각에서 동일하게 하고, 다른 타이밍을, 상기 제1 및 제2의 화소 스위치의 각각에서 상이하게 하여, 상기 동일한 심볼이 송신되는 기간에 있어서의, 상기 제1 및 제2의 광원의 전체의 평균 휘도를, 미리 정해진 휘도에 일치시켜도 된다.
이에 따라, 예를 들면 도 174에 나타내는 바와 같이, 공간적으로 평균화된 휘도에 있어서, 심볼에 고유의 휘도의 상승이 얻어지는 타이밍에서만, 그 상승을 급준하게 할 수 있어, 수신 에러의 발생을 억제할 수 있다.
또한, 상기 제1의 화소 스위치 제어 단계에서는, 제1의 기간과, 상기 제1의 기간에 연속되는 제2의 기간에서, 상기 가시광 신호에 포함되는 동일한 심볼을 송신할 경우에는, 상기 제1 및 제2의 기간의 각각에 있어서, 상기 제1의 화소 스위치가 상기 동일한 심볼을 송신하기 위해서 온 또는 오프하는 복수의 타이밍 중, 상기 동일한 심볼에 고유의 휘도의 상승이 얻어지는 타이밍을 동일하게 하고, 다른 타이밍을 상이하게 하여, 상기 제1 및 제2의 기간의 전체에 있어서의 상기 제1의 광원의 평균 휘도를, 미리 정해진 휘도에 일치시켜도 된다.
이에 따라, 예를 들면 도 174에 나타내는 바와 같이, 시간적으로 평균화된 휘도에 있어서, 심볼에 고유의 휘도의 상승이 얻어지는 타이밍에서만, 그 상승을 급준하게 할 수 있어, 수신 에러의 발생을 억제할 수 있다.
또한, 상기 제1의 화소 스위치 제어 단계에서는, 상기 공통 스위치가 상기 휘도 변화 패턴에 따라서 스위칭하고 있는 신호 송신 기간 중, 상기 제1의 화소 스위치를 온으로 하고, 상기 송신 방법은, 추가로, 상기 신호 송신 기간과 상이한 영상 표시 기간 중, 상기 공통 스위치를 온으로 하고, 상기 영상 표시 기간에 있어서 상기 제1의 화소 스위치를 표시 대상의 영상에 따라서 온으로 함으로써, 상기 공통 스위치가 온이고, 또한, 상기 제1의 화소 스위치가 온인 기간에만, 상기 제1의 광원을 점등시킴으로써, 상기 영상 중의 화소를 표시하는 영상 표시 단계를 포함해도 된다.
이에 따라, 영상의 표시와 가시광 신호의 송신이 서로 상이한 기간에 행해지기 때문에 그 표시와 송신을 간단하게 행할 수 있다.
(실시의 형태 20)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 가시광 신호의 상세 또는 변형예에 대해서, 구체적으로 설명한다. 또한, 카메라의 트랜드는, 고해상도화(4K), 고프레임 레이트화(60fps)이다. 고프레임 레이트화에 의해서, 프레임 스캔 시간이 감소한다. 그 결과, 수신 거리가 감소하고, 수신 시간이 증가한다. 그 때문에, 가시광 신호를 송신하는 송신기에서는, 패킷 송신 시간을 짧게 할 필요가 있다. 또한, 라인 스캔 시간의 감소에 의해, 수신의 시간 분해능이 높아진다. 또한, 노광 시간은 1/8000초이다. 4PPM에서는, 신호 표현과 조광을 동시에 행하고 있기 때문에, 신호 밀도가 낮고, 효율이 나쁘다. 따라서, 본 실시의 형태에 있어서의 가시광 신호에서는, 신호 부분과 조광 부분을 분리하고, 수신에 필요한 부분이 짧게 되어 있다.
도 187은, 본 실시의 형태에 있어서의 가시광 신호의 구성의 일 예를 나타내는 도면이다.
가시광 신호는, 도 187에 나타내는 바와 같이, 신호부와 조광부의 조합을 복수 포함한다. 이 조합의 시간 길이는 예를 들면 2ms 이하(주파수는 500Hz 이상)이다.
도 188은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 일 예를 나타내는 도면이다.
가시광 신호는, 데이터 L(DataL)와, 프리앰블(Preamble)과, 데이터 R(DataR)과, 조광부(Dimming)를 포함한다. 데이터 L과 프리앰블과 데이터 R로부터, 상기 신호부가 구성된다.
프리앰블은, 시간축을 따라 High와 Low의 휘도치를 교호로 나타낸다. 즉, 프리앰블은, 시간 길이 P1만큼 High의 휘도치를 나타내고, 다음의 시간 길이 P2만큼 Low의 휘도치를 나타내고, 다음의 시간 길이 P3만큼 High의 휘도치를 나타내고, 다음의 시간 길이 P4만큼 Low의 휘도치를 나타낸다. 또한, 시간 길이 P1∼P4는, 예를 들면 100μs이다.
데이터 R은, 시간축을 따라 High와 Low의 휘도치를 교호로 나타내고, 프리앰블의 직후에 배치된다. 즉, 데이터 R은, 시간 길이 DR1만큼 High의 휘도치를 나타내고, 다음의 시간 길이 DR2만큼 Low의 휘도치를 나타내고, 다음의 시간 길이 DR3만큼 High의 휘도치를 나타내고, 다음의 시간 길이 DR4만큼 Low의 휘도치를 나타낸다. 또한, 시간 길이 DR1∼DR4는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 이 수식은, DRi＝120＋20xi(i∈1∼4, xi∈0∼15)이다. 또한, 120 및 20 등의 수치는 시간(μs)을 나타낸다. 또한, 이들 수치는 일 예이다.
데이터 L은, 시간축을 따라 High와 Low의 휘도치를 교호로 나타내고, 프리앰블의 직전에 배치된다. 즉, 데이터 L은, 시간 길이 DL1만큼 High의 휘도치를 나타내고, 다음의 시간 길이 DL2만큼 Low의 휘도치를 나타내고, 다음의 시간 길이 DL3만큼 High의 휘도치를 나타내고, 다음의 시간 길이 DL4만큼 Low의 휘도치를 나타낸다. 또한, 시간 길이 DL1∼DL4는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 이 수식은, DLi＝120＋20×(15－xi)이다. 또한, 상술과 동일하게, 120 및 20 등의 수치는 시간(μs)을 나타낸다. 또한, 이들 수치는 일 예이다.
또한, 송신 대상의 신호는 4×4＝16비트로 이루어지고, xi는, 그 송신 대상의 신호 중 4비트의 신호이다. 가시광 신호에서는, 데이터 R에 있어서의 시간 길이 DR1∼DR4의 각각, 또는 데이터 L에 있어서의 시간 길이 DL1∼DL4의 각각에 의해, 그 xi(4비트의 신호)의 수치를 나타낸다. 또한, 송신 대상의 신호의 16비트 중, 4비트는 어드레스를 나타내고, 8비트는 데이터를 나타내고, 4비트는 에러 검출에 이용된다.
여기서, 데이터 R과 데이터 L은, 밝기에 대하여 보완 관계가 있다. 즉, 데이터 R의 밝기가 밝으면, 데이터 L의 밝기는 어둡고, 반대로, 데이터 R의 밝기가 어두우면, 데이터 L의 밝기는 밝아진다. 즉, 데이터 R의 전체의 시간 길이와 데이터 L의 시간 길이의 합은, 송신 대상의 신호에 상관없이 일정하다.
조광부는, 가시광 신호의 밝기(휘도)를 조정하기 위한 신호로서, 시간 길이 C1만큼 High의 휘도치를 나타내고, 다음의 시간 길이 C2만큼 Low의 신호를 나타낸다. 시간 길이 C1 및 C2는, 임의로 조정된다. 또한, 조광부는, 가시광 신호에 포함되어 있어도, 포함되어 있지 않아도 된다.
또한, 도 188에 나타내는 예에서는, 데이터 R 및 데이터 L이 가시광 신호에 포함되어 있지만, 데이터 R 및 데이터 L 중 어느 한쪽만이 포함되어 있어도 된다. 가시광 신호를 밝게 하고 싶을 때에는, 데이터 R 및 데이터 L 중의 밝은 데이터만을 송신해도 된다. 또한, 데이터 R 및 데이터 L의 배치를 반대로 해도 된다. 또한, 데이터 R이 포함되어 있는 경우에는, 조광부의 시간 길이 C1은 예를 들면 100μs보다도 길고, 데이터 L이 포함되어 있는 경우에는, 조광부의 시간 길이 C2는 예를 들면 100μs보다도 길다.
도 189a는, 본 실시의 형태에 있어서의 가시광 신호의 다른 일 예를 나타내는 도면이다.
도 188에 나타내는 가시광 신호에서는, High의 휘도치를 나타내는 시간 길이와, Low의 휘도치를 나타내는 시간 길이의 각각에 따라 송신 대상의 신호를 표현했지만, 도 189a의 (a)에 나타내는 바와 같이, Low의 휘도치를 나타내는 시간 길이만으로 송신 대상의 신호를 표현해도 된다. 또한, 도 189a의 (b)는, 도 188의 가시광 신호를 나타낸다.
예를 들면, 도 189a의 (a)에 나타내는 바와 같이, 프리앰블에서는, High의 휘도치를 나타내는 시간 길이는 어느 것이나 동일하여 비교적 짧고, Low의 휘도치를 나타내는 시간 길이 P1∼P4는 각각 예를 들면 100μs이다. 또한, 데이터 R에서는, High의 휘도치를 나타내는 시간 길이는 어느 것이나 동일하여 비교적 짧고, Low의 휘도치를 나타내는 시간 길이 DR1∼DR4는 각각 신호 xi에 따라서 조정된다. 또한, 프리앰블 및 데이터 R에 있어서, High의 휘도치를 나타내는 시간 길이는 예를 들면 10μs 이하이다.
도 189b는, 본 실시의 형태에 있어서의 가시광 신호의 다른 일 예를 나타내는 도면이다.
예를 들면, 도 189b에 나타내는 바와 같이, 프리앰블에서는, High의 휘도치를 나타내는 시간 길이는 어느것이나 동일하여 비교적 짧고, Low의 휘도치를 나타내는 시간 길이 P1∼P3은 각각 예를 들면 160μs, 180μs, 160μs이다. 또한, 데이터 R에서는, High의 휘도치를 나타내는 시간 길이는 어느 것이나 동일하여 비교적 짧고, Low의 휘도치를 나타내는 시간 길이 DR1∼DR4는 각각 신호 xi에 따라서 조정된다. 또한, 프리앰블 및 데이터 R에 있어서, High의 휘도치를 나타내는 시간 길이는 예를 들면 10μs 이하이다.
도 189c는, 본 실시의 형태에 있어서의 가시광 신호의 신호 길이를 나타내는 도면이다.
도 190은, 본 실시의 형태에 있어서의 가시광 신호와 규격 IEC(International　Electrotechnical　Commission)의 가시광 신호의 휘도치의 비교 결과를 나타내는 도면이다. 또한, 규격 IEC는, 구체적으로는, "VISIBLE LIGHT BEACON SYSTEM FOR MULTIMEDIA APPLICATIONS"이다.
본 실시의 형태에 있어서의 가시광 신호(실시의 형태의 방식(Data 편측))에서는, 규격 IEC의 가시광 신호의 최고 휘도보다도 높은 최고 휘도 82%를 얻을 수 있고, 규격 IEC의 가시광 신호의 최저 휘도보다도 낮은 최저 휘도 18%를 얻을 수 있다. 또한, 최고 휘도 82% 및 최저 휘도 18%는, 본 실시의 형태에 있어서의, 데이터 R 및 데이터 L 중 어느 한쪽만을 포함하는 가시광 신호에 의해서 얻어진 수치이다.
도 191은, 본 실시의 형태에 있어서의 가시광 신호와 규격 IEC의 가시광 신호의, 화각에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도면이다.
본 실시의 형태에 있어서의 가시광 신호(실시의 형태의 방식(both))에서는, 화각이 작아져도, 즉, 가시광 신호를 송신하는 송신기로부터 수신기까지의 거리가 길어져도, 규격 IEC의 가시광 신호보다도 수신 패킷수가 많아, 높은 신뢰도를 얻을 수 있다. 또한, 도 191에 나타내는 실시 형태의 방식(both)의 수치는, 데이터 R 및 데이터 L의 양쪽을 포함하는 가시광 신호에 의해서 얻어진 수치이다.
도 192는, 본 실시의 형태에 있어서의 가시광 신호와 규격 IEC의 가시광 신호의, 노이즈에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도면이다.
본 실시의 형태에 있어서의 가시광 신호(IEEE)에서는, 노이즈(노이즈의 분산치)에 상관없이, 규격 IEC의 가시광 신호보다도 수신 패킷수가 많아, 높은 신뢰도를 얻을 수 있다.
도 193은, 본 실시의 형태에 있어서의 가시광 신호와, 규격 IEC의 가시광 신호의, 수신측 클록 오차에 대한 수신 패킷수 및 신뢰도의 비교 결과를 나타내는 도면이다.
본 실시의 형태에 있어서의 가시광 신호(IEEE)에서는, 수신측 클록 오차가 넓은 범위에서, 규격 IEC의 가시광 신호보다도 수신 패킷수가 많아, 높은 신뢰도를 얻을 수 있다. 또한, 수신측 클록 오차는, 수신기의 이미지 센서에 있어서의 노광 라인이 노광을 개시하는 타이밍의 오차이다.
도 194는, 본 실시의 형태에 있어서의 송신 대상의 신호의 구성을 나타내는 도면이다.
송신 대상의 신호는, 상술과 같이 4비트의 신호(xi)를 4개(4×4＝16비트) 포함한다. 예를 들면, 송신 대상의 신호는, 신호 x1∼x4를 포함한다. 신호 x1는, 비트 x11∼x14로 이루어지고, 신호 x2는, 비트 x21∼x24로 이루어진다. 또한, 신호 x3는, 비트 x31∼x34로 이루어지고, 신호 x4는, 비트 x41∼x44로 이루어진다. 여기서, 비트 x11, 비트 x21, 비트 x31 및 비트 x41은 틀리기 쉽고, 그들 이외의 비트는 틀리기 어렵다. 여기서, 신호 x4에 포함되는 비트 x42∼비트 x44는 각각, 신호 x1의 비트 x11, 신호 x2의 비트 x21, 신호 x3의 비트 x31의 패리티에 이용되고, 신호 x4에 포함되는 비트 x41은 사용되지 않고 항상 0을 나타낸다. 비트 x42, x43, x44의 각각의 산출에는, 도 194에 나타내는 수식이 이용된다. 이 수식에 의해서, 비트 x42＝비트 x11, 비트 x43＝비트 x21, 비트 x44＝비트 x31과 같이, 비트 x42, x43, x44가 각각 산출된다.
도 195a는, 본 실시의 형태에 있어서의 가시광 신호의 수신 방법을 나타내는 도면이다.
수신기는, 상술의 가시광 신호의 신호부를 순차적으로 취득한다. 신호부는, 4비트의 어드레스(Addr)와, 8비트의 데이터(Data)를 포함한다. 수신기는, 그들 신호부의 데이터를 각각 결합하고, 복수의 데이터로 이루어지는 ID와, 1개 또는 복수의 데이터로 이루어지는 패리티(Partity)를 생성한다.
도 195b는, 본 실시의 형태에 있어서의 가시광 신호의 재배열을 나타내는 도면이다.
도 196은, 본 실시의 형태에 있어서의 가시광 신호의 다른 예를 나타내는 도면이다.
도 196에 나타내는 가시광 신호는, 도 188에 나타내는 가시광 신호에 대하여 고주파 신호를 중첩함으로써 구성되어 있다. 고주파 신호의 주파수는 예를 들면 1∼수 Gbps이다. 이에 따라, 도 188에 나타내는 가시광 신호보다도 고속으로 데이터를 송신할 수 있다.
도 197은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 또한, 도 197에 나타내는 가시광 신호의 구성은, 도 188에 나타내는 구성과 동일하지만, 도 197에 나타내는 가시광 신호에 있어서의 조광부의 시간 길이 C1 및 C2는, 도 188에 나타내는 시간 길이 C1 및 C2와는 상이하다.
도 198은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 198에 나타내는 가시광 신호에서는, 데이터 R 및 데이터 L은, V4PPM의 심볼을 8개 포함한다. 데이터 L에 포함되는 심볼 DLi의 상승 위치 또는 하강 위치는, 데이터 R에 포함되는 심볼 DRi의 상승 위치 또는 하강 위치와 동일하다. 그러나, 심볼 DLi의 평균 휘도와 심볼 DRi의 평균 휘도는, 동일해도, 상이해도 된다.
도 199는, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 199에 나타내는 가시광 신호는, ID 통신용 또는 저평균 휘도 용도의 신호이며, 도 189b에 나타내는 가시광 신호와 동일하다.
도 200은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 200에 나타내는 가시광 신호에서는, 데이터(Data)에 있어서의 짝수번째의 시간 길이 D2i와 홀수번째의 시간 길이 D2i＋1는 동일하다.
도 201은, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 201에 나타내는 가시광 신호에 있어서의 데이터(Data)는, 펄스 위치 변조의 신호인 심볼을 복수 포함한다.
도 202는, 본 실시의 형태에 있어서의 가시광 신호의 상세한 구성의 다른 예를 나타내는 도면이다. 이 도 202에 나타내는 가시광 신호는, 연속 통신용의 신호이며, 도 198에 나타내는 가시광 신호와 동일하다.
도 203∼도 211은, 도 197의 x1∼x4의 값을 결정하는 방법을 설명하기 위한 도면이다. 또한, 도 203∼도 211에 나타내는 x1∼x4는, 이하의 변형예에 나타내는 부호 w1∼w4의 값(W1∼W4)을 결정하는 방법과 동일한 방법으로 결정된다. 단, x1∼x4의 각각은, 4비트로 이루어지는 부호이며, 제1 비트에 패리티를 포함하는 점이, 이하의 변형예에 나타내는 부호 w1∼w4와는 상이하다.
(변형예 1)
도 212는, 본 실시의 형태의 변형예 1에 따른 가시광 신호의 상세한 구성의 일 예를 나타내는 도면이다. 이 변형예 1에 따른 가시광 신호는, 상기 실시의 형태의 도 188에 나타내는 가시광 신호와 동일하지만, High 또는 Low의 휘도치를 나타내는 시간 길이가 도 188에 나타내는 가시광 신호와 상이하다. 예를 들면, 본 변형예에 관련된 가시광 신호에서는, 프리앰블의 시간 길이 P2, P3는 90μs이다. 또한, 본 변형예에 따른 가시광 신호에서는, 상기 실시의 형태와 동일하게, 데이터 R에 있어서의 시간 길이 DR1∼DR4는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 그러나, 본 변형예에 있어서의 수식은, DRi＝120＋30×wi(i∈1∼4, wi∈0∼7)이다. 또한, wi는 3비트로 이루어지는 부호이고, 0∼7의 어느 하나의 정수의 값을 나타내는 송신 대상의 신호이다. 또한, 본 변형예에 따른 가시광 신호에서는, 상기 실시의 형태와 동일하게, 데이터 L에 있어서의 시간 길이 DL1∼DL4는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 그러나, 본 변형예에 있어서의 수식은, DLi＝120＋30×(7－wi)이다.
또한, 도 212에 나타내는 예에서는, 데이터 R 및 데이터 L이 가시광 신호에 포함되어 있지만, 데이터 R 및 데이터 L 중 어느 한쪽만이 가시광 신호에 포함되어 있어도 된다. 가시광 신호를 밝게 하고 싶을 때에는, 데이터 R 및 데이터 L 중의 밝은 데이터만을 송신해도 된다. 또한, 데이터 R 및 데이터 L의 배치를 반대로 해도 된다.
도 213은, 본 변형예에 따른 가시광 신호의 다른 예를 나타내는 도면이다.
변형예 1에 따른 가시광 신호는, 도 189a의 (a) 및 도 189b에 나타내는 예와 동일하게, Low의 휘도치를 나타내는 시간 길이만으로 송신 대상의 신호를 표현해도 된다.
예를 들면, 도 213에 나타내는 바와 같이, 프리앰블에서는, High의 휘도치를 나타내는 시간 길이는 예를 들면 10μs 미만이고, Low의 휘도치를 나타내는 시간 길이 P1∼P3의 각각은 예를 들면 160μs, 180μs, 160μs이다. 또한, 데이터(Data)에서는, High의 휘도치를 나타내는 시간 길이는 10μs 미만이고, Low의 휘도치를 나타내는 시간 길이 D1∼D3은 각각 신호 wi에 따라서 조정된다. 구체적으로는, Low의 휘도치를 나타내는 시간 길이 Di는, Di＝180＋30×wi(i∈1∼4, wi∈0∼7)이다.
도 214는, 본 변형예에 관련된 가시광 신호의 또 다른 예를 나타내는 도면이다.
본 변형예에 따른 가시광 신호는, 도 214에 나타내는 프리앰블과 데이터를 포함하고 있어도 된다. 프리앰블은, 도 212에 나타내는 프리앰블과 동일하게, 시간축을 따라 High와 Low의 휘도치를 교호로 나타낸다. 또한, 프리앰블에 있어서의 시간 길이 P1∼P4의 각각은, 50μs, 40μs, 40μs, 50μs이다. 데이터(Data)는, 시간축을 따라 High와 Low의 휘도치를 교호로 나타낸다. 예를 들면, 데이터 L은, 시간 길이 D1만큼 High의 휘도치를 나타내고, 다음의 시간 길이 D2만큼 Low의 휘도치를 나타내고, 다음의 시간 길이 D3만큼 High의 휘도치를 나타내고, 다음의 시간 길이 D4만큼 Low의 휘도치를 나타낸다.
여기서, 시간 길이 D2i -1＋D2i는, 송신 대상의 신호에 따른 수식에 따라서 결정된다. 즉, High의 휘도치를 나타내는 시간 길이와, 그 휘도치에 연속되는 Low의 휘도치를 나타내는 시간 길이의 합이, 그 수식에 따라서 결정된다. 이 수식은, 예를 들면, D2i -1＋D2i＝100＋20×xi(i∈1∼N, xi∈0∼7, D2i＞50μs, D2i ＋ 1＞50μs)이다.
도 215는, 패킷 변조의 일 예를 나타내는 도면이다.
신호 생성 장치는, 본 변형예에 따른 가시광 신호의 생성 방법에 의해서, 가시광 신호를 생성한다. 본 변형예에 따른 가시광 신호의 생성 방법에서는, 패킷을 상술의 송신 대상의 신호 wi로 변조(즉 변환)한다. 또한, 상술의 신호 생성 장치는, 상기 각 실시의 형태에 있어서의 송신기에 구비되어 있어도 되고, 그 송신기에 구비되어 있지 않아도 된다.
예를 들면, 신호 생성 장치는, 도 215에 나타내는 바와 같이, 패킷을, 부호 w1, w2, w3 및 w4의 각각에 의해서 나타나는 수치를 포함하는 송신 대상의 신호로 변환한다. 이들 부호 w1, w2, w3 및 w4는, 각각 제1비트 내지 제3비트까지의 3비트로 이루어지는 부호이고, 도 212에 나타내는 바와 같이, 0∼7의 정수치를 나타낸다.
여기서, 부호 w1∼w4의 각각에 있어서, 제1비트의 값을 b1, 제2비트의 값을 b2, 제3비트의 값을 b3로 한다. 또한, b1, b2 및 b3는, 0 또는 1이다. 이 경우, 부호 w1∼w4에 의해서 나타나는 수치 W1∼W4의 각각은, 예를 들면, b1×20＋b2×21＋b3×22이다.
패킷은, 0∼4비트로 이루어지는 어드레스 데이터(A1∼A4)와, 4∼7비트로 이루어지는 주데이터 Da(Da1∼Da7)와, 3∼4비트로 이루어지는 부데이터 Db(Db1∼Db4)와, 스탑 비트의 값(S)을 데이터로서 포함한다. 또한, Da1∼Da7, A1∼A4, Db1∼Db4, 및 S의 각각은, 비트의 값, 즉 0 또는 1을 나타낸다.
즉, 신호 생성 장치는, 패킷을 송신 대상의 신호로 변조할 때에는, 그 패킷에 포함되는 데이터를, 부호 w1, w2, w3, 및 w4중 어느 하나의 비트에 할당한다. 이에 의해, 패킷은, 부호 w1, w2, w3, 및 w4의 각각에 의해 나타나는 수치를 포함하는 송신 대상의 신호로 변환된다.
신호 생성 장치는, 패킷에 포함되는 데이터를 할당할 때는, 구체적으로는, 부호 w1∼w4의 각각의 제1비트(bit1)로 이루어지는 제1의 비트열에, 패킷에 포함되는 주데이터 Da의 적어도 일부(Da1∼Da4)를 할당한다. 또한, 신호 생성 장치는, 부호 w1의 제2비트(bit2)에, 패킷에 포함되는 스탑 비트의 값(S)을 할당한다. 또한, 신호 생성 장치는, 부호 w2∼w4의 각각의 제2비트(bit2)로 이루어지는 제2의 비트열에, 패킷에 포함되는 주데이터 Da의 일부(Da5∼Da7), 또는, 패킷에 포함되는 어드레스 데이터의 적어도 일부(A1∼A3)를 할당한다. 또한, 신호 생성 장치는, 부호 w1∼w4의 각각의 제3비트(bit3)로 이루어지는 제3의 비트열에, 패킷에 포함되는 부데이터 Db의 적어도 일부(Db1∼Db3)와, 그 부데이터 Db의 일부(Db4) 또는 어드레스 데이터의 일부(A4)를 할당한다.
또한, 부호 w1∼w4의 각각의 제3비트(bit3)가 모두 0인 경우에는, 상술의 「b1×20＋b2×21＋b3×22」에 의해, 그들 부호가 나타내는 수치는, 3 이하로 억제된다. 따라서, 도 212에 나타내는 수식 DRi＝120＋30×wi(i∈1∼4, wi∈0∼7)에 의해, 시간 길이 DRi를 짧게 할 수 있다. 그 결과, 1 패킷을 송신하는 시간을 짧게 할 수 있어, 보다 먼 곳으로부터라도, 그 패킷을 수신할 수 있다.
도 216∼도 226은, 원데이터로부터 패킷을 생성하는 처리를 나타내는 도면이다.
본 변형예에 따른 신호 생성 장치는, 원데이터의 비트 길이에 따라서 그 원데이터를 분할할지 여부를 판정한다. 그리고, 신호 생성 장치는, 그 판정의 결과에 따른 처리를 행함으로써, 원데이터로부터 적어도 1개의 패킷을 생성한다. 즉, 신호 생성 장치는, 원데이터의 비트 길이가 길수록, 그 원데이터를 많은 패킷으로 분할한다. 반대로, 신호 생성 장치는, 원데이터의 비트 길이가 소정의 비트 길이보다도 짧으면, 원데이터를 분할하는 일 없이 패킷을 생성한다.
신호 생성 장치는, 이와 같이, 원데이터로부터 적어도 1개의 패킷을 생성하면, 그 적어도 1개의 패킷의 각각을 상술의 송신 대상의 신호, 즉, 부호 w1∼w4로 변환한다.
또한, 도 216∼도 226에 있어서, Data는, 원데이터를 나타내고, Dataa는, 원데이터에 포함되는 주 원데이터를 나타내고, Datab는, 원데이터에 포함되는 부 원데이터를 나타낸다. 또한, Da(k)는, 주 원데이터 그 자체, 또는, 주 원데이터와 패리티를 포함하는 데이터를 구성하는 복수의 부분 중 k번째의 부분을 나타낸다. 동일하게 Db(k)는, 부 원데이터 그 자체, 또는, 부 원데이터와 패리티를 포함하는 데이터를 구성하는 복수의 부분 중의 k번째의 부분을 나타낸다. 예를 들면, Da(2)는, 주 원데이터와 패리티를 포함하는 데이터를 구성하는 복수의 부분 중 2번째의 부분을 나타낸다. 또한, S는, 스타트 비트를 나타내고, A는, 어드레스 데이터를 나타낸다.
또한, 각 블록 내에 나타나는 최상단의 표기는, 원데이터, 주 원데이터, 부 원데이터, 스타트 비트, 및 어드레스 데이터 등을 식별하기 위한 라벨이다. 또한, 각 블록 내에 나타나는, 중앙의 수치는, 비트 사이즈(비트수)이며, 최하단의 수치는, 각 비트의 값이다.
도 216은, 원데이터를 1분할하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원데이터(Data)의 비트 길이가 7비트이면, 그 원데이터를 분할하는 일 없이, 1개의 패킷을 생성한다. 구체적으로는, 원데이터는, 4비트의 주 원데이터 Dataa(Da1∼Da4)와, 3비트의 부 원데이터 Datab(Db1∼Db3)를 각각, 주데이터 Da(1)와 부데이터 Db(1)로서 포함한다. 이 경우, 신호 생성 장치는, 스타트 비트 S(S＝1)와, 4비트로 이루어지고 「0000」을 나타내는 어드레스 데이터(A1∼A4)를, 그 원데이터에 대하여 부가함으로써, 패킷을 생성한다. 또한, 스타트 비트 S＝1은, 그 스타트 비트를 포함하는 패킷이 종단의 패킷인 것을 나타낸다.
신호 생성 장치는, 이 패킷을 변환함으로써, 부호 w1＝(Da1, S＝1, Db1), 부호 w2＝(Da2, A1＝0, Db2), 부호 w3＝(Da3, A2＝0, Db3), 및 부호 w4＝(Da4, A3＝0, A4＝0)를 생성한다. 또한, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 의해 나타나는 수치 W1, W2, W3 및 W4를 포함하는 송신 대상의 신호를 생성한다.
또한, 본 변형예에서는, wi는, 3비트의 부호로서 표현됨과 더불어, 10진수의 수치로서도 표현된다. 여기서, 본 변형예에서는, 설명을 알기 쉽게 하기 위해서, 10진수의 수치로서 이용되는 wi(w1∼w4)를, 수치 Wi(W1∼W4)로서 표기한다.
도 217은, 원데이터를 2분할하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원데이터(Data)의 비트 길이가 16비트이면, 그 원데이터를 분할함으로써, 2개의 중간 데이터를 생성한다. 구체적으로는, 원데이터는, 10비트의 주 원데이터 Dataa와, 6비트의 부 원데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주 원데이터 Dataa와, 그 주 원데이터 Dataa에 대응하는 1비트의 패리티를 포함하는 제1 중간 데이터를 생성하고, 부 원데이터 Datab와, 그 부 원데이터 Datab에 대응하는 1비트의 패리티를 포함하는 제2 중간 데이터를 생성한다.
다음으로, 신호 생성 장치는, 제1 중간 데이터를, 7비트로 이루어지는 주데이터 Da(1)와 4비트로 이루어지는 주데이터 Da(2)로 분할한다. 또한, 신호 생성 장치는, 제2 중간 데이터를, 4비트로 이루어지는 부데이터 Db(1)와 3비트로 이루어지는 부데이터 Db(2)로 분할한다. 또한, 주데이터는, 주 원데이터와 패리티를 포함하는 데이터를 구성하는 복수의 부분 중의 1개의 부분이다. 동일하게, 부데이터는, 부 원데이터와 패리티를 포함하는 데이터를 구성하는 복수의 부분 중의 1개의 부분이다.
다음으로, 신호 생성 장치는, 스타트 비트 S(S＝0)와, 주데이터 Da(1)와, 부데이터 Db(1)를 포함하는 12비트의 제1 패킷을 생성한다. 이에 따라, 어드레스 데이터를 포함하지 않는 제1 패킷이 생성된다.
또한, 신호 생성 장치는, 스타트 비트 S(S＝1)와, 4비트로 이루어져 「1000」을 나타내는 어드레스 데이터와, 주데이터 Da(2)와, 부데이터 Db(2)를 포함하는 12비트의 제2 패킷을 생성한다. 또한, 스타트 비트 S＝0은, 생성되는 복수의 패킷 중, 그 스타트 비트를 포함하는 패킷이 종단에 없는 패킷인 것을 나타낸다. 또한, 스타트 비트 S＝1은, 생성되는 복수의 패킷 중, 그 스타트 비트를 포함하는 패킷이 종단에 있는 패킷인 것을 나타낸다.
이에 따라, 원데이터는, 제1 패킷과 제2 패킷으로 분할된다.
신호 생성 장치는, 제1 패킷을 변환함으로써, 부호 w1＝(Da1, S＝0, Db1), 부호 w2＝(Da2, Da7, Db2), 부호 w3＝(Da3, Da6, Db3), 및 부호 w4＝(Da4, Da5, Db4)를 생성한다. 또한, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각 의해 나타나는 수치 W1, W2, W3 및 W4를 포함하는 송신 대상의 신호를 생성한다.
또한, 신호 생성 장치는, 제2 패킷을 변환함으로써, 부호 w1＝(Da1, S＝1, Db1), 부호 w2＝(Da2, A1＝1, Db2), 부호 w3＝(Da3, A2＝0, Db3), 및 부호 w4＝(Da4, A3＝0, A4＝0)를 생성한다. 또한, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 의해 나타나는 수치 W1, W2, W3 및 W4를 포함하는 송신 대상의 신호를 생성한다.
도 218은, 원데이터를 3분할로 하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원데이터(Data)의 비트 길이가 17비트이면, 그 원데이터를 분할함으로써, 2개의 중간 데이터를 생성한다. 구체적으로는, 원데이터는, 10비트의 주 원데이터 Dataa와, 7비트의 부 원데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주 원데이터 Dataa와, 그 주 원데이터 Dataa에 대응하는 6비트의 패리티를 포함하는 제1 중간 데이터를 생성한다. 또한, 신호 생성 장치는, 부 원데이터 Datab와, 그 부 원데이터 Datab에 대응하는 4비트의 패리티를 포함하는 제2 중간 데이터를 생성한다. 예를 들면, 신호 생성 장치는, CRC(Cyclic　Redundancy　Check)에 의해서 패리티를 생성한다.
다음으로, 신호 생성 장치는, 제1 중간 데이터를, 6비트의 패리티로 이루어지는 주데이터 Da(1)와, 6비트로 이루어지는 주데이터 Da(2)와, 4비트로 이루어지는 주데이터 Da(3)로 분할한다. 또한, 신호 생성 장치는, 제2 중간 데이터를, 4비트의 패리티로 이루어지는 부데이터 Db(1)와, 4비트로 이루어지는 부데이터 Db(2)와, 3비트로 이루어지는 부데이터 Db(3)로 분할한다.
다음으로, 신호 생성 장치는, 스타트 비트 S(S＝0)와, 1비트로 이루어지고 「0」을 나타내는 어드레스 데이터와, 주데이터 Da(1)와, 부데이터 Db(1)를 포함하는 12비트의 제1 패킷을 생성한다. 추가로, 신호 생성 장치는, 스타트 비트 S(S＝0)와, 1비트로 이루어지고 「1」을 나타내는 어드레스 데이터와, 주데이터 Da(2)와, 부데이터 Db(2)를 포함하는 12비트의 제2 패킷을 생성한다. 추가로, 신호 생성 장치는, 스타트 비트 S(S＝1)와, 4비트로 이루어지고 「0100」을 나타내는 어드레스 데이터와, 주데이터 Da(3)와, 부데이터 Db(3)를 포함하는 12비트의 제3 패킷을 생성한다.
이에 따라, 원데이터는, 제1 패킷과, 제2 패킷과, 제3 패킷으로 분할된다.
신호 생성 장치는, 제1 패킷을 변환함으로써, 부호 w1＝(Da1, S＝0, Db1), 부호 w2＝(Da2, A1＝0, Db2), 부호 w3＝(Da3, Da6, Db3), 및 부호 w4＝(Da4, Da5, Db4)를 생성한다. 추가로, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 의해 나타나는 수치 W1, W2, W3 및 W4를 포함하는 송신 대상의 신호를 생성한다.
동일하게, 신호 생성 장치는, 제2 패킷을 변환함으로써, 부호 w1＝(Da1, S=0, Db1), 부호 w2＝(Da2, A1＝1, Db2), 부호 w3＝(Da3, Da6, Db3), 및 부호 w4＝(Da4, Da5, Db4)를 생성한다. 추가로, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 의해 나타나는 수치 W1, W2, W3 및 W4를 포함하는 송신 대상의 신호를 생성한다.
동일하게, 신호 생성 장치는, 제3 패킷을 변환함으로써, 부호 w1＝(Da1, S＝1, Db1), 부호 w2＝(Da2, A1＝0, Db2), 부호 w3＝(Da3, A2＝1, Db3), 및 부호 w4＝(Da4, A3＝0, A4＝0)를 생성한다. 추가로, 신호 생성 장치는, 부호 w1, w2, w3 및 w4의 각각에 의해 나타나는 수치 W1, W2, W3 및 W4를 포함하는 송신 대상의 신호를 생성한다.
도 219는, 원데이터를 3분할로 하는 처리의 다른 예를 나타내는 도면이다.
도 218에 나타내는 예에서는, CRC에 의해서 6비트 또는 4비트의 패리티를 생성하지만, 1비트의 패리티를 생성해도 된다.
이 경우, 신호 생성 장치는, 원데이터(Data)의 비트 길이가 25비트이면, 그 원데이터를 분할함으로써, 2개의 중간 데이터를 생성한다. 구체적으로는, 원데이터는, 15비트의 주 원데이터 Dataa와, 10비트의 부 원데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주 원데이터 Dataa와, 그 주 원데이터 Dataa에 대응하는 1비트의 패리티를 포함하는 제1 중간 데이터를 생성하고, 부 원데이터 Datab와, 그 부 원데이터 Datab에 대응하는 1비트의 패리티를 포함하는 제2 중간 데이터를 생성한다.
다음으로, 신호 생성 장치는, 제1 중간 데이터를, 패리티를 포함하는 6비트로 이루어지는 주데이터 Da(1)와, 6비트로 이루어지는 주데이터 Da(2)와, 4비트로 이루어지는 주데이터 Da(3)로 분할한다. 또한, 신호 생성 장치는, 제2 중간 데이터를, 패리티를 포함하는 4비트로 이루어지는 부데이터 Db(1)와, 4비트로 이루어지는 부데이터 Db(2)와, 3비트로 이루어지는 부데이터 Db(3)로 분할한다.
다음으로, 신호 생성 장치는, 도 218에 나타내는 예와 동일하게, 제1 중간 데이터 및 제2 중간 데이터로부터, 제1 패킷과, 제2 패킷과, 제3 패킷을 생성한다.
도 220은, 원데이터를 3분할로 하는 처리의 다른 예를 나타내는 도면이다.
도 218에 나타내는 예에서는, 주 원데이터 Dataa에 대한 CRC에 의해서 6비트의 패리티를 생성하고, 부 원데이터 Datab에 대한 CRC에 의해서 4비트의 패리티를 생성한다. 그러나, 주 원데이터 Dataa 및 부 원데이터 Datab의 전체에 대한 CRC에 의해서 패리티를 생성해도 된다.
이 경우, 신호 생성 장치는, 원데이터(Data)의 비트 길이가 22비트이면, 그 원데이터를 분할함으로써, 2개의 중간 데이터를 생성한다.
구체적으로는, 원데이터는, 15비트의 주 원데이터 Dataa와, 7비트의 부 원데이터 Datab를 포함한다. 신호 생성 장치는, 주 원데이터 Dataa와, 그 주 원데이터 Dataa에 대응하는 1비트의 패리티를 포함하는 제1 중간 데이터를 생성한다. 추가로, 신호 생성 장치는, 주 원데이터 Dataa 및 부 원데이터 Datab의 전체에 대한 CRC에 의해서, 그 4비트의 패리티를 생성한다. 그리고, 신호 생성 장치는, 부 원데이터 Datab와, 4비트의 패리티를 포함하는 제2 중간 데이터를 생성한다.
다음으로, 신호 생성 장치는, 제1 중간 데이터를, 패리티를 포함하는 6비트로 이루어지는 주데이터 Da(1)와, 6비트로 이루어지는 주데이터 Da(2)와, 4비트로 이루어지는 주데이터 Da(3)로 분할한다. 추가로, 신호 생성 장치는, 제2 중간 데이터를, 4비트로 이루어지는 부데이터 Db(1)와, CRC의 패리티의 일부를 포함하는 4비트로 이루어지는 부데이터 Db(2)와, CRC의 패리티의 나머지를 포함하는 3비트로 이루어지는 부데이터 Db(3)로 분할한다.
다음으로, 신호 생성 장치는, 도 218에 나타내는 예와 동일하게, 제1 중간 데이터 및 제2 중간 데이터로부터, 제1 패킷과, 제2 패킷과, 제3 패킷을 생성한다.
또한, 원데이터를 3분할로 하는 처리의 각 구체적인 예 중, 도 218에 나타내는 처리를 버젼 1로 칭하고, 도 219에 나타내는 처리를 버젼 2로 칭하고, 도 220에 나타내는 처리를 버젼 3으로 칭한다.
도 221은, 원데이터를 4분할로 하는 처리를 나타내는 도면이다. 또한, 도 222는, 원데이터를 5분할로 하는 처리를 나타내는 도면이다.
신호 생성 장치는, 원데이터를 3분할로 하는 처리와 동일하게, 즉 도 218∼도 220에 나타내는 처리와 동일하게, 원데이터를 4 분할 또는 5 분할로 한다.
도 223은, 원데이터를 6, 7 또는 8분할로 하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원데이터(Data)의 비트 길이가 31비트이면, 그 원데이터를 분할함으로써, 2개의 중간 데이터를 생성한다. 구체적으로는, 원데이터는, 16비트의 주 원데이터 Dataa와, 15비트의 부 원데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주 원데이터 Dataa와, 그 주 원데이터 Dataa에 대응하는 8비트의 패리티를 포함하는 제1 중간 데이터를 생성한다. 또한, 신호 생성 장치는, 부 원데이터 Datab와, 그 부 원데이터 Datab에 대응하는 8비트의 패리티를 포함하는 제2 중간 데이터를 생성한다. 예를 들면, 신호 생성 장치는, 리드-솔로몬 부호에 의해서 패리티를 생성한다.
여기서, 리드-솔로몬 부호에 있어서 4비트를 1심볼로서 취급하는 경우, 주 원데이터 Dataa 및 부 원데이터 Datab의 각각의 비트 길이는, 4비트의 정수배가 아니면 안된다. 그런데, 부 원데이터 Datab는 상술과 같이 15비트이며, 4비트의 정수배인 16비트보다도 1비트 적다.
따라서, 신호 생성 장치는, 제2 중간 데이터를 생성할 때에는, 부 원데이터 Datab에 대하여 패딩을 행하고, 그 패딩이 행해진 16비트의 부 원데이터 Datab에 대응하는 8비트의 패리티를 리드-솔로몬 부호에 의해서 생성한다.
다음으로, 신호 생성 장치는, 제1 중간 데이터 및 제2 중간 데이터의 각각을 상술과 동일한 수법으로 6개의 부분(4비트 또는 3비트)으로 분할한다. 그리고, 신호 생성 장치는, 스타트 비트와, 3비트 또는 4비트로 이루어지는 어드레스 데이터와, 1번째의 주데이터와, 1번째의 부데이터를 포함하는 제1 패킷을 생성한다. 동일하게 신호 생성 장치는, 제2 패킷∼제6 패킷을 생성한다.
도 224는, 원데이터를 6, 7 또는 8분할로 하는 처리의 다른 예를 나타내는 도면이다.
도 223에 나타내는 예에서는, 리드-솔로몬 부호에 의해서 패리티를 생성했지만, CRC에 의해서 패리티를 생성해도 된다.
예를 들면, 신호 생성 장치는, 원데이터(Data)의 비트 길이가 39비트이면, 그 원데이터를 분할함으로써, 2개의 중간 데이터를 생성한다. 구체적으로는, 원데이터는, 20비트의 주 원데이터 Dataa와, 19비트의 부 원데이터 Datab를 포함한다. 이 경우, 신호 생성 장치는, 주 원데이터 Dataa와, 그 주 원데이터 Dataa에 대응하는 4비트의 패리티를 포함하는 제1 중간 데이터를 생성하고, 부 원데이터 Datab와, 그 부 원데이터 Datab에 대응하는 4비트의 패리티를 포함하는 제2 중간 데이터를 생성한다. 예를 들면, 신호 생성 장치는, CRC에 의해서 패리티를 생성한다.
다음으로, 신호 생성 장치는, 제1 중간 데이터 및 제2 중간 데이터의 각각을 상술과 동일한 수법으로 6개의 부분(4비트 또는 3비트)으로 분할한다. 그리고, 신호 생성 장치는, 스타트 비트와, 3비트 또는 4비트로 이루어지는 어드레스 데이터와, 1번째의 주데이터와, 1번째의 부데이터를 포함하는 제1 패킷을 생성한다. 동일하게, 신호 생성 장치는, 제2 패킷∼제6 패킷을 생성한다.
또한, 원데이터를 6, 7 또는 8분할로 하는 처리의 각 구체예 중, 도 223에 나타내는 처리를 버젼 1로 칭하고, 도 224에 나타내는 처리를 버젼 2로 칭한다.
도 225는, 원데이터를 9분할로 하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원데이터(Data)의 비트 길이가 55비트이면, 그 원데이터를 분할함으로써, 제1 패킷∼제9 패킷까지의 9개의 패킷을 생성한다. 또한, 도 225에서는, 제1 중간 데이터 및 제2 중간 데이터를 생략하고 있다.
구체적으로는, 원데이터(Data)의 비트 길이는 55비트이고, 4비트의 정수배인 56비트보다도 1비트 적다. 따라서, 신호 생성 장치는, 그 원데이터에 대하여 패딩을 행하고, 패딩이 행해진 56비트로 이루어지는 원데이터에 대한 패리티(16비트)를, 리드-솔로몬 부호에 의해서 생성한다.
다음으로, 신호 생성 장치는, 16비트의 패리티와, 55비트의 원데이터를 포함한 데이터 전체를, 9개의 데이터 DaDb(1)∼DaDb(9)로 분할한다.
데이터 DaDb(k)의 각각은, 주 원데이터 Dataa에 포함되는 k번째의 4비트로 이루어지는 부분과, 부 원데이터 Datab에 포함되는 k번째의 4비트로 이루어지는 부분을 포함한다. 또한, k는 1∼8 중 어느 하나의 정수이다. 또한, 데이터 DaDb(9)는, 주 원데이터 Dataa에 포함되는 9번째의 4비트로 이루어지는 부분과, 부 원데이터 Datab에 포함되는 9번째의 3비트로 이루어지는 부분을 포함한다.
다음으로, 신호 생성 장치는, 9개의 데이터 DaDb(1)∼DaDb(9)의 각각에, 스타트 비트 S와 어드레스 데이터를 부가함으로써, 제1 패킷∼제9 패킷을 생성한다.
도 226은, 원데이터를 10∼16의 어느 하나의 수로 분할하는 처리를 나타내는 도면이다.
예를 들면, 신호 생성 장치는, 원데이터(Data)의 비트 길이가 7×(N－2)비트이면, 그 원데이터를 분할함으로써, 제1 패킷∼제N 패킷까지의 N개의 패킷을 생성한다. 또한, N은 10∼16중 어느 하나의 정수이다. 또한, 도 226에서는, 제1 중간 데이터 및 제2 중간 데이터를 생략하고 있다.
구체적으로는, 신호 생성 장치는, 7×(N－2)비트로 이루어지는 원데이터에 대한 패리티(14비트)를, 리드-솔로몬 부호에 의해서 생성한다. 또한, 이 리드-솔로몬 부호에서는, 7비트가 1심볼로서 취급된다.
다음으로, 신호 생성 장치는, 14비트의 패리티와, 7×(N－2)비트의 원데이터를 포함하는 데이터 전체를, N개의 데이터 DaDb(1)∼DaDb(N)로 분할한다.
데이터 DaDb(k)의 각각은, 주 원데이터 Dataa에 포함되는 k번째의 4비트로 이루어지는 부분과, 부 원데이터 Datab에 포함되는 k번째의 3비트로 이루어지는 부분을 포함한다. 또한, k는 1∼(N－1) 중 어느 하나의 정수이다.
다음으로, 신호 생성 장치는, 9개의 데이터 DaDb(1)∼DaDb(N)의 각각에, 스타트 비트 S와 어드레스 데이터를 부가함으로써, 제1 패킷∼제N 패킷을 생성한다.
도 227∼도 229는, 원데이터의 분할수와, 데이터 사이즈와, 오류 정정 부호의 관계의 일 예를 나타내는 도면이다.
구체적으로는, 도 227∼도 229는, 도 216∼도 226에 나타내는 각 처리에 있어서의 상기 관계를 정리하여 나타낸다. 또한, 상술과 같이, 원데이터를 3분할로 하는 처리에는, 버젼 1∼3이 있고, 원데이터를 6, 7 또는 8분할로 하는 처리에는, 버젼 1 및 버젼 2가 있다. 도 227은, 분할수에 대하여 복수의 버젼이 있으면, 복수의 버젼 중의 버젼 1에 있어서의 상기 관계를 나타낸다. 동일하게, 도 228은, 분할수에 대하여 복수의 버젼이 있으면, 복수의 버젼 중의 버젼 2에 있어서의 상기 관계를 나타낸다. 동일하게, 도 229는, 분할수에 대하여 복수의 버젼이 있으면, 복수의 버젼 중의 버젼 3에 있어서의 상기 관계를 나타낸다.
또한, 본 변형예에서는, 숏 모드와 풀 모드가 있다. 숏 모드의 경우, 패킷에 있어서의 부데이터가 0이며, 도 215에 나타내는 제3의 비트열의 모든 비트가 0이다. 이 경우, 부호 w1∼w4에 의해서 나타나는 수치 W1∼W4는, 상술의 「b1×20＋b2×21＋b3×22」에 의해서, 3 이하로 억제된다. 그 결과, 도 212에 나타내는 바와 같이, 데이터 R에 있어서의 시간 길이 DR1∼DR4는, DRi＝120＋30×wi(i∈1∼4, wi∈0∼7)에 의해서 결정되기 때문에, 짧아진다. 즉, 숏 모드의 경우에는, 1패킷당의 가시광 신호를 짧게 할 수 있다. 1패킷당의 가시광 신호를 짧게 함으로써, 수신기는 그 패킷을 멀리로부터도 수신할 수 있어, 통신 거리를 길게 할 수 있다.
한편, 풀 모드의 경우, 도 215에 나타내는 제3의 비트열 중의 어느 하나의 비트는 1이다. 이 경우, 가시광 신호는, 숏 모드와 같이 짧게는 되지 않는다.
본 변형예에서는, 도 227∼도 229에 나타내는 바와 같이, 분할수가 적으면 숏 모드의 가시광 신호를 생성할 수 있다. 또한, 도 227∼도 229에 있어서의 숏 모드의 데이터 사이즈는, 주 원데이터(Dataa)의 비트수를 나타내고, 풀 모드의 데이터 사이즈는, 원데이터(Data)의 비트수를 나타낸다.
(실시의 형태 20의 정리)
도 230a는, 본 실시의 형태에 있어서의 가시광 신호의 생성 방법을 나타내는 플로우차트이다.
본 실시의 형태에 있어서의 가시광 신호의 생성 방법은, 송신기가 구비하는 광원의 휘도 변화에 의해서 송신되는 가시광 신호를 생성하는 방법으로서, 단계 SD1∼SD3를 포함한다.
단계 SD1에서는, 서로 상이한 휘도치인 제1 및 제2의 휘도치의 각각이, 소정의 시간 길이만큼, 시간축 상을 따라서 교호로 나타나는 데이터인 프리앰블을 생성한다.
단계 SD2에서는, 제1 및 제2의 휘도치가 시간축 상을 따라서 교호로 나타나는 데이터에 있어서, 상기 제1 및 제2의 휘도치의 각각이 계속되는 시간 길이를, 송신 대상의 신호에 따른 제1의 방식에 따라서 결정함으로써, 제1의 데이터를 생성한다.
최후에, 단계 SD3에서는, 프리앰블과 제1의 데이터를 결합함으로써 가시광 신호를 생성한다.
예를 들면, 도 188에 나타내는 바와 같이, 제1 및 제2의 휘도치는, High 및 Low이고, 제1의 데이터는, 데이터 R 또는 데이터 L이다. 이와 같이 생성된 가시광 신호를 송신함으로써, 도 191∼도 193에 나타내는 바와 같이, 수신 패킷수를 늘릴 수 있음과 더불어, 신뢰도를 높일 수 있다. 그 결과, 다양한 기기간의 통신을 가능하게 할 수 있다.
또한, 상기 가시광 신호의 생성 방법은, 추가로, 상기 제1 및 제2의 휘도치가 시간축 상을 따라서 교호로 나타나는 데이터에 있어서, 상기 제1 및 제2의 휘도치의 각각이 계속되는 시간 길이를, 송신 대상의 신호에 따른 제2의 방식에 따라서 결정함으로써, 상기 제1의 데이터에 의해서 표현되는 밝기와 보완 관계를 갖는 제2의 데이터를 생성하고, 상기 가시광 신호의 생성에서는, 상기 제1의 데이터, 상기 프리앰블, 상기 제2의 데이터의 순으로, 상기 프리앰블과 상기 제1 및 제2의 데이터를 결합함으로써, 상기 가시광 신호를 생성해도 된다.
예를 들면, 도 188에 나타내는 바와 같이, 제1 및 제2의 휘도치는, High 및 Low이고, 제1 및 제2의 데이터는, 데이터 R 및 데이터 L이다.
또한, a 및 b를 각각 정수로 하고, 상기 송신 대상의 신호에 포함되는 수치를 n으로 하고, 수치 n을 취할 수 있는 최대치인 정수를 m으로 하는 경우, 상기 제1의 방식은, a＋b×n에 의해, 상기 제1의 데이터에 있어서의, 상기 제1 또는 제2의 휘도치가 계속되는 시간 길이를 결정하는 방식이고, 상기 제2의 방식은, a＋b×(m－n)에 의해, 상기 제2의 데이터에 있어서의, 상기 제1 또는 제2의 휘도치가 계속되는 시간 길이를 결정하는 방식이어도 된다.
예를 들면, 도 188에 나타내는 바와 같이, a는 120μs이고, b는 20μs이고, n은 0∼15 중의 어느 하나의 정수치(신호 xi가 나타내는 수치)이고, m은 15이다.
또한, 상기 보완 관계에서는, 상기 제1의 데이터의 전체에 있어서의 시간 길이와, 상기 제2의 데이터의 전체에 있어서의 시간 길이의 합이 일정하게 되어도 된다.
또한, 상기 가시광 신호의 생성 방법은, 추가로, 상기 가시광 신호에 의해 표현되는 밝기를 조정하기 위한 데이터인 조광부를 생성하고, 상기 가시광 신호의 생성에서는, 추가로 상기 조광부를 결합함으로써 상기 가시광 신호를 생성해도 된다.
조광부는, 예를 들면 도 188에 있어서의, 시간 길이 C1만큼 High의 휘도치를 나타내고, 시간 길이 C2만큼 Low의 휘도치를 나타내는 신호(Dimming)이다. 이에 의해, 가시광 신호의 밝기를 임의로 조정할 수 있다.
도 230b는, 본 실시의 형태에 있어서의 신호 생성 장치의 구성을 나타내는 블록도이다.
본 실시의 형태에 있어서의 신호 생성 장치(D10)는, 송신기가 구비하는 광원의 휘도 변화에 의해 송신되는 가시광 신호를 생성하는 신호 생성 장치로서, 프리앰블 생성부(D11)와, 데이터 생성부(D12)와, 결합부(D13)를 구비한다.
프리앰블 생성부(D11)는, 서로 상이한 휘도치인 제1 및 제2의 휘도치의 각각이, 소정의 시간길이만큼, 시간축상을 따라서 교호로 나타나는 데이터인 프리앰블을 생성한다.
데이터 생성부(D12)는, 제1 및 제2의 휘도치가 시간축상을 따라서 교호로 나타내는 데이터에 있어서, 제1 및 제2의 휘도치의 각각이 계속되는 시간 길이를, 송신 대상의 신호에 따른 제1의 방식에 따라서 결정함으로써, 제1의 데이터를 생성한다.
결합부(D13)는, 프리앰블과 제1의 데이터를 결합함으로써 가시광 신호를 생성한다.
이와 같이 생성된 가시광 신호를 송신함으로써, 도 191∼도 193에 나타내는 바와 같이, 수신 패킷수를 늘릴 수 있음과 더불어, 신뢰도를 높일 수 있다. 그 결과, 다양한 기기간의 통신을 가능하게 할 수 있다.
(실시의 형태 20의 변형예 1의 정리)
또한, 실시의 형태 20의 변형예 1과 같이, 상기 가시광 신호의 생성 방법은, 추가로, 원데이터의 비트 길이에 따라서 상기 원데이터를 분할할지 여부를 판정하고, 그 판정의 결과에 따른 처리를 행함으로써, 원데이터로부터 적어도 1개의 패킷을 생성해도 된다. 그리고, 그 적어도 1개의 패킷의 각각을 송신 대상의 신호로 변환해도 된다.
그 송신 대상의 신호로의 변환에서는, 도 215에 나타내는 바와 같이, 그 적어도 1개의 패킷에 포함되는 대상 패킷마다, 당해 대상 패킷에 포함되는 데이터를, 각각 제1비트부터 제3비트까지의 3비트로 이루어지는 부호 w1, w2, w3 및 w4 중 어느 하나의 비트에 할당함으로써, 그 대상 패킷을, 부호 w1, w2, w3 및 w4의 각각에 의해서 나타나는 수치를 포함하는 송신 대상의 신호로 변환한다.
그 데이터의 할당에서는, 부호 w1∼w4의 각각의 제1비트로 이루어지는 제1의 비트열에, 대상 패킷에 포함되는 주데이터의 적어도 일부를 할당한다. 부호 w1의 제2비트에, 대상 패킷에 포함되는 스탑 비트의 값을 할당한다. 부호 w2∼w4의 각각의 제2비트로 이루어지는 제2의 비트열에, 대상 패킷에 포함되는 주데이터의 일부, 또는, 대상 패킷에 포함되는 어드레스 데이터의 적어도 일부를 할당하는, 부호 w1∼w4의 각각의 제3비트로 이루어지는 제3의 비트열에, 대상 패킷에 포함되는 부데이터를 할당한다.
여기서, 스탑 비트는, 생성된 적어도 1개의 패킷 중, 대상 패킷이 종단에 있는지 여부를 나타낸다. 어드레스 데이터는, 생성된 적어도 1개의 패킷 중, 대상 패킷의 순서를 어드레스로서 나타낸다. 주데이터 및 부데이터의 각각은, 원데이터를 복원하기 위한 데이터이다.
또한, a 및 b를 각각 정수로 하고, 부호 w1, w2, w3 및 w4의 각각에 의해 나타나는 수치를 W1, W2, W3 및 W4로 하는 경우, 예를 들면 도 212에 나타내는 바와 같이, 전술의 제1의 방식은, a＋b×W1, a＋b×W2, a＋b×W3 및 a＋b×W4에 의해, 제1의 데이터에 있어서의, 제1 또는 제2의 휘도치가 계속되는 시간 길이를 결정하는 방식이다.
예를 들면, 부호 w1∼w4의 각각에 있어서, 제1 비트의 값을 b1, 제2 비트의 값을 b2, 제3 비트의 값을 b3로 한다. 이 경우, 부호 w1∼w4에 의해 나타나는 값 W1∼W4의 각각은, 예를 들면, b1×20＋b2×21＋b3×22이다. 따라서, 부호 w1∼w4에 있어서, 제1 비트를 1로 하는 것보다도, 제2 비트를 1로 한 쪽이, 그 부호 w1∼w4에 의해서 나타나는 값 W1∼W4는 커진다. 또한, 제2 비트를 1로 하는 것보다도, 제3 비트를 1로 한 쪽이, 그 부호 w1∼w4에 의해 나타나는 값 W1∼W4는 커진다. 이들 부호 w1∼w4에 의해 나타나는 값 W1∼W4가 크면, 전술의 제1 및 제2의 휘도치의 각각이 계속되는 시간 길이(예를 들면 DRi)는 길어지기 때문에, 가시광 신호의 휘도의 오검지를 억제할 수 있어, 수신 에러를 저감할 수 있다. 반대로, 이들 부호 w1∼w4에 의해서 나타나는 값 W1∼W4가 작으면, 전술의 제1 및 제2의 휘도치의 각각이 계속되는 시간 길이는 짧아지기 때문에, 가시광 신호의 휘도의 오검지가 비교적 발생하기 쉽다.
여기서, 실시의 형태 20의 변형예 1에서는, 원데이터를 수신하기 위해서 중요해지는 스탑 비트 및 어드레스를 우선적으로, 부호 w1∼w4의 제2 비트에 할당함으로써, 그 수신 에러의 저하를 도모할 수 있다. 또한, 부호 w1은, 프리앰블에 가장 가까운 High 또는 Low의 휘도치가 계속되는 시간 길이를 정의한다. 즉, 부호 w1은, 다른 부호 w2∼w4보다도 프리앰블에 가깝기 때문에, 이들 다른 부호보다도 적절히 수신되기 쉽다. 여기서, 실시의 형태 20의 변형예 1에서는, 스탑 비트를 부호 w1의 제2 비트에 할당함으로써, 수신 에러의 저하를 보다 억제할 수 있다.
또한, 실시의 형태 20의 변형예 1에서는, 주데이터는, 오검지가 비교적 발생하기 쉬운 제1의 비트열에 우선적으로 할당된다. 그러나, 주데이터에 오류 정정 부호(패리티)를 넣어 두면, 그 주데이터의 수신 에러를 억제할 수 있다.
또한, 실시의 형태 20의 변형예 1에서는, 부호 w1∼w4의 제3 비트로 이루어지는 제3의 비트열에, 부데이터가 할당된다. 따라서, 부데이터를 0으로 하면, 부호 w1∼w4에 의해서 정의되는 High 및 Low의 휘도치의 각각이 계속되는 시간 길이를 대폭으로 짧게 할 수 있다. 그 결과, 1 패킷당의 가시광 신호의 송신 시간을 대폭으로 짧게 할 수 있는, 이른바 숏 모드를 실현할 수 있다. 이 숏 모드에서는, 전술과 같이 송신 시간이 짧기 때문에, 패킷을 멀리부터라도 용이하게 수신할 수 있다. 따라서, 가시광 통신의 통신 거리를 길게 할 수 있다.
또한, 실시의 형태 20의 변형예 1에서는, 도 217에 나타내는 바와 같이, 적어도 1개의 패킷의 생성에서는, 원데이터를 2개의 패킷으로 분할함으로써, 2개의 패킷을 생성하고, 데이터의 할당에서는, 2개의 패킷 중의 종단에 없는 패킷을 대상 패킷으로서 송신 대상의 신호로 변환하는 경우, 제2의 비트열에는, 어드레스 데이터의 적어도 일부를 할당하는 일 없이, 종단에 없는 패킷에 포함되는 주데이터의 일부를 할당한다.
예를 들면, 도 217에 나타내는 종단에 없는 패킷(Packet1)에는 어드레스 데이터는 포함되지 않는다. 그리고, 그 종단에 없는 패킷에는, 주데이터 Da(1)가 7비트이다. 따라서, 도 215에 나타내는 바와 같이, 7비트의 주데이터 Da(1)에 포함되는, 데이터 Da1∼Da4가 제1의 비트열에 할당되고, 데이터 Da5∼Da7가 제2의 비트열에 할당된다.
이와 같이, 원데이터가 2개의 패킷으로 분할되는 경우, 종단에 없는 패킷, 즉, 1번째의 패킷에는, 스타트 비트(S＝0)가 있으면, 어드레스 데이터는 불필요하다. 따라서, 제2의 비트열의 모든 비트를 주데이터에 이용할 수 있고, 패킷에 포함되는 데이터량을 늘릴 수 있다.
또한, 실시의 형태 20의 변형예 1에 있어서의 데이터의 할당에서는, 제2의 비트열에 포함되는 3개의 비트 중, 배열순으로 선두측의 비트를 우선적으로 어드레스 데이터의 할당에 이용하고, 제2의 비트열의 선두측의 1개 또는 2개의 비트에 대하여, 어드레스 데이터의 모두를 할당하는 경우에는, 제2의 비트열에 있어서 어드레스 데이터가 할당되지 않는 1개 또는 2개의 비트에 대해서는, 주데이터의 일부를 할당한다. 예를 들면, 도 218에 있어서의 Paket1에서는, 제2의 비트열의 선두측의 1개의 비트(부호 w2의 제2 비트)에 대하여, 1비트의 어드레스 데이터 A1을 할당한다. 이 경우에는, 제2의 비트열에 있어서 어드레스 데이터가 할당되지 않는 2개의 비트(부호 w3, w4의 각각의 제2 비트)에 대해서는, 주데이터 Da6, Da5를 할당한다.
이에 따라, 제2의 비트열을 어드레스 데이터와 주데이터의 일부로 공용할 수 있어, 패킷 구성의 자유도를 증가시킬 수 있다.
또한, 실시의 형태 20의 변형예 1에 있어서의 데이터의 할당에서는, 제2의 비트열에 어드레스 데이터의 모두를 할당할 수 없는 경우에는, 제3의 비트열 중 어느 것의 비트에, 어드레스 데이터 중의 제2의 비트열에 할당되는 부분을 제외한 나머지 부분을 할당한다. 예를 들면, 도 218에 있어서의 Paket3에서는, 제2의 비트열에 4비트의 어드레스 데이터 A1∼A4의 모두를 할당할 수 없다. 이 경우에는, 제3의 비트열 중 최후 비트(부호 w4의 제3비트)에, 어드레스 데이터 A1∼A4 중 제2의 비트열에 할당되는 부분 A1∼A3을 제외한 나머지의 부분 A4를 할당한다.
이에 따라, 어드레스 데이터를 부호 w1∼w4에 적절히 할당할 수 있다.
또한, 실시의 형태 20의 변형예 1에 있어서의 데이터의 할당에서는, 적어도 1개의 패킷 중의 종단의 패킷을 대상 패킷으로서 송신 대상의 신호로 변환하는 경우, 제2의 비트열, 및, 제3의 비트열에 포함되는 어느 1개의 비트에, 어드레스 데이터를 할당한다. 예를 들면, 도 217∼도 226에 있어서의 종단의 패킷의 어드레스 데이터의 비트수는 4이다. 이 경우, 제2의 비트열, 및, 제3의 비트열 중 최후 비트(부호 w4의 제3 비트)에, 4비트의 어드레스 데이터 A1∼A4를 할당한다.
이에 따라, 어드레스 데이터를 부호 w1∼w4에 적절히 할당할 수 있다.
또한, 실시의 형태 20의 변형예 1에 있어서의, 적어도 1개의 패킷의 생성에서는, 원데이터를 2개로 분할함으로써, 2개의 분할 원데이터를 생성하고, 상기 2개의 분할 원데이터의 각각의 오류 정정 부호를 생성한다. 그리고, 2개의 분할 원데이터와, 당해 2개의 분할 원데이터의 각각에 대하여 생성된 상기 오류 정정 부호를 이용하여, 2개 이상의 패킷을 생성한다. 2개의 분할 원데이터의 각각의 오류 정정 부호의 생성에서는, 2개의 분할 원데이터 중 어느 것의 분할 원데이터의 비트수가, 오류 정정 부호의 생성에 필요해지는 비트수를 만족시키지 않는 경우에는, 분할 원데이터에 대하여 패딩을 행하여, 패딩된 분할 원데이터의 오류 정정 부호를 생성한다. 예를 들면, 도 223에 나타내는 바와 같이, 분할 원데이터인 Datab에 대하여, 리드-솔로몬 부호에 의해서 패리티를 생성할 때에, 그 Datab가 15비트밖에 없고, 16비트를 만족하지 않는 경우에는, 그 Datab에 대하여 패딩을 행하고, 패딩된 분할 원데이터(16비트)에 대하여, 리드-솔로몬 부호에 의해서 패리티를 생성한다.
이에 따라, 분할 원데이터의 비트수가, 오류 정정 부호의 생성에 필요해지는 비트수를 만족하지 않아도, 적절한 오류 정정 부호를 생성할 수 있다.
또한, 실시의 형태 20의 변형예 1에 있어서의 데이터의 할당에서는, 부데이터가 0을 나타내는 경우, 제3의 비트열에 포함되는 모든 비트에 대하여 0을 할당한다. 이에 따라, 전술의 숏 모드를 실현할 수 있어, 가시광 통신의 통신 거리를 길게 할 수 있다.
(실시의 형태 21)
도 231은, 본 실시의 형태에 있어서의 고주파 가시광 신호를 수신하는 방법을 나타내는 도면이다.
수신기는, 고주파 가시광 신호를 수신할 때에는, 예를 들면, 도 231의 (a)에 나타내는 바와 같이, 가시광 신호의 상승 및 하강에 있어서 가이드 타임(가이드 인터벌)을 설정한다. 그리고, 수신기는, 그 가이드 타임에 있어서의 고주파 신호를 이용하는 일 없이, 그 가이드 타임의 직전에 수신된 고주파 신호를 카피함으로써, 그 가이드 타임에 있어서의 고주파 신호를 보충한다. 또한, 가시광 신호에 중첩되는 고주파 신호는, OFDM(Orthogonal　Frequency　Diｖision　Multiplexing)에 의해 변조되어 있어도 된다.
또한, 수신기는, High의 휘도치를 나타내는 고주파 신호와 Low의 휘도치를 나타내는 고주파 신호를 고주파 가시광 신호로부터 분리하면, 그들 고주파 신호의 게인을 자동 조정한다(Automatic　Gain　Control). 이에 따라, 고주파 신호의 게인(휘도치)이 통일된다.
도 232a는, 본 실시의 형태에 있어서의 고주파 가시광 신호를 수신하는 다른 방법을 나타내는 도면이다.
고주파 가시광 신호를 수신하는 수신기는, 상기 각 실시의 형태와 동일하게 이미지 센서를 구비함과 더불어, 추가로, DMD(Digital　Mirror　Deｖice) 소자와, 포토 센서를 구비한다. 포토 센서는, 포토 다이오드 또는 애벌란시 포토다이오드이다.
수신기는, 고주파 가시광 신호를 송신하는 송신기(광원)를 이미지 센서에 의해서 촬영한다. 이에 따라, 수신기는, 휘선의 줄무늬를 포함하는 휘선 화상을 취득한다. 이 휘선의 줄무늬는, 고주파 가시광 신호에 있어서의 고주파 신호 이외의 신호, 즉 도 188에 나타내는 가시광 신호의 휘도 변화에 의해서 나타난다. 수신기는, 그 휘선 화상에 있어서의, 휘선의 줄무늬의 위치(x1, y1) 및 (x2, y2)를 특정한다. 그리고, 수신기는, DMD 소자에 있어서의, 그 위치(x1, y1) 및 (x2, y2)의 각각에 대응하는 마이크로 미러를 특정한다. 이들 마이크로 미러가, 휘선의 줄무늬를 나타내는 고주파 가시광 신호의 광을 받는다. 따라서, 수신기는, DMD 소자에 포함되는 복수의 마이크로 미러 중, 특정된 마이크로 미러에 의한 반사광만 포토 센서에 수광되도록, 각 마이크로 미러의 각도를 조정한다. 즉, 수신기는, 위치(x1, y1)에 대응하는 마이크로 미러에 의한 반사광만 포토 센서(1)에 수광되도록, 그 마이크로 미러를 ON으로 한다. 또한, 수신기는, 위치(x2, y2)에 대응하는 마이크로 미러에 의한 반사광만 포토 센서(2)에 수광되도록, 그 마이크로 미러를 ON으로 한다. 그리고, 수신기는, 그들 특정된 마이크로 미러 이외의 각 마이크로 미러를 OFF로 한다. 이에 따라 OFF로 된 마이크로 미러에 의한 반사광은, 광 흡수체(흑체)에 흡수된다. 또한, ON으로 된 마이크로 미러에 의해, 고주파 가시광 신호가 적절히 포토 센서에 의해서 수광된다. 또한, DMD 소자의 각 마이크로 미러는, ON과 OFF의 전환에 의해, 경사 각도(＋0° 또는 －0°)가 전환된다. 마이크로 미러가 ON일 때에는, 그 마이크로 미러는, 포토 센서를 향해서 반사광을 출력하고, 마이크로 미러가 OFF일 때에는, 그 마이크로 미러는, 광 흡수부를 향해서 반사광을 출력한다.
또한, 수신기는, 도 232a에 나타내는 바와 같이, 하프 미러와 발광 소자를 구비하고 있어도 된다. 발광 소자(1)는, 광을 발하여 휘도 변화함으로써, 가시광 신호(또는 고주파 가시광 신호)를 송신한다. 이 발광 소자(1)로부터 출력된 광은, 하프 미러에 의해 반사되고, 추가로, DMD 소자에 있어서, 위치(x1, y1)에 대응하는 ON의 마이크로 미러에 의해서도 반사된다. 그 결과, 발광 소자(1)로부터의 가시광 신호는, 위치(x1, y1)에 있는 휘선의 줄무늬에 대응하는 송신기에 송신된다. 이에 의해, 수신기와, 위치(x1, y1)에 있는 휘선의 줄무늬에 대응하는 송신기는, 쌍방향 통신을 행할 수 있다. 동일하게, 발광 소자(2)로부터 출력된 광은, 하프 미러에 의해 반사되고, 추가로, DMD 소자에 있어서, 위치(x2, y2)에 대응하는 ON의 마이크로 미러에 의해서 반사된다. 그 결과, 발광 소자(2)로부터의 가시광 신호는, 위치(x2, y2)에 있는 휘선의 줄무늬에 대응하는 송신기에 송신된다. 이에 따라, 수신기와, 위치(x2, y2)에 있는 휘선의 줄무늬에 대응하는 송신기는, 쌍방향 통신을 행할 수 있다.
이에 따라, 이미지 센서에 의해 촬영되는 송신기(광원)가 복수 있어도, 수신기는, 이들 송신기와 동시에, 또한 고속으로 쌍방향 통신을 행할 수 있다. 예를 들면, 수신기가, 10Gbps로 수신 가능한 포토 센서를 100개 구비하고, 그들 수신기가 100개의 송신기와 통신하는 경우에는, 1Tbps의 통신 속도를 실현할 수 있다.
도 232b는, 본 실시의 형태에 있어서의 고주파 가시광 신호를 수신하는, 추가로 다른 방법을 나타내는 도면이다.
수신기는, 예를 들면, 렌즈 L1 및 L2와, 복수의 하프 미러와, DMD 소자와, 이미지 센서와, 광 흡수부(흑체)와, 처리부와, DMD 제어부와, 포토 센서(1 및 2)와, 발광 소자(1 및 2)를 구비한다.
이러한 수신기는, 도 232a에 나타내는 예와 동일한 원리로, 2개의 차와 쌍방향 통신한다. 2개의 차는, 헤드라이트로부터 광을 출력하여 그 헤드라이트를 휘도 변화시킴으로써, 고주파 가시광 신호를 송신한다. 또한, 1개의 차는, 헤드라이트로부터 통상의 광(휘도 변화하지 않는 광)을 출력한다.
이미지 센서는, 렌즈(L1)를 통하여 그들 고주파 가시광 신호와 통상의 광을 받는다. 이에 의해, 도 232a에 나타내는 예와 동일하게, 그들 고주파 가시광 신호에 의해서 발생하는 휘선의 줄무늬를 포함하는 휘선 화상이 얻어진다. 처리부는, 그 휘선 화상에 있어서의 그들 줄무늬의 위치를 특정한다. DMD 제어부는, DMD 소자에 포함되는 복수의 마이크로 미러 중에서, 그들 특정된 줄무늬의 위치에 대응하는 마이크로 미러를 특정하고, 그들 마이크로 미러를 ON으로 한다.
이에 의해, 2개의 차의 각각으로부터 렌즈 L1 및 하프 미러를 투과한 고주파 가시광 신호는, DMD 소자의 마이크로 미러에 의해서 반사되고, 렌즈 L2를 향한다. 또한, 1개의 차의 헤드라이트의 통상의 광은, 그 광에 의해 휘선의 줄무늬가 생기지 않기 때문에, 렌즈 L1 및 하프 미러를 투과해도, DMD 소자의 OFF의 마이크로 미러에 의해서 반사된다. OFF의 마이크로 미러에 의해서 반사된 광은, 광 흡수부(흑체)에 의해서 흡수된다.
렌즈(L2)를 통과한 고주파 가시광 신호는, 하프 미러를 통과하여 포토 센서(1 또는 2)에 의해 수신된다. 이에 따라, 각 차로부터의 고주파 가시광 신호를 수신할 수 있다. 또한, 발광 소자(1 및 2)가 하프 미러에 대하여 가시광 신호(또는 고주파 가시광 신호)를 출력하면, 그 가시광 신호는 하프 미러에 의해 반사되어, 렌즈 L2를 투과하고, 추가로, DMD 소자에 있어서의 ON의 마이크로 미러에 의해 반사된다. 그 결과, 발광 소자(1 및 2)로부터의 가시광 신호는, 하프 미러 및 렌즈 L1를 통하여, 고주파 가시광 신호를 송신한 차에 대하여 송신된다. 즉, 수신기는, 고주파 가시광 신호를 송신하는 복수의 차와의 사이에서, 쌍방향 통신을 행할 수 있다.
이와 같이, 본 실시의 형태에 있어서의 수신기는, 이미지 센서에 의해 휘선 화상을 취득하고, 그 휘선 화상에 있어서의 휘선의 줄무늬의 위치를 특정한다. 그리고, 수신기는, DMD 소자에 포함되는 복수의 마이크로 미러 중, 그 줄무늬의 위치에 대응하는 마이크로 미러를 특정한다. 그리고, 수신기는, 그 마이크로 미러를 ON으로 함으로써, 고주파 가시광 신호를 포토 센서에서 수신한다. 또한, 수신기는, 발광 소자로부터 가시광 신호를 출력하고, 그 ON으로 된 마이크로 미러에 반사시킴으로써, 그 가시광 신호를 송신기에 송신할 수 있다.
또한, 도 232a 및 도 232b에 나타내는 예에서는, 광학 기기로서 하프 미러 및 렌즈 등을 이용했지만, 이들과 동일한 기능을 갖는 것이면, 어떠한 광학 기기를 이용해도 된다. 또한, DMD 소자, 하프 미러, 및 렌즈 등의 배치는, 일 예이며, 어떻게 배치되어도 된다. 또한, 도 232a 및 도 232b에 나타내는 예에서는, 수신기는 포토 센서와 발광 소자의 조(組)를 2조 구비하는데, 1조만 구비해도 되고, 3조 이상 구비해도 된다. 또한, 1개의 발광 소자가, 복수의 ON의 마이크로 렌즈에 대하여 가시광 신호를 송신해도 된다. 이에 따라, 수신기는, 복수의 송신기에 대하여 동일한 가시광 신호를 동시에 송신할 수 있다. 또한, 수신기는, 도 232a 및 도 232b에 나타내는 각 구성 요소를 모두 구비하는 일 없이, 그들 구성 요소의 일부만을 구비하고 있어도 된다.
도 233은, 본 실시의 형태에 있어서의 고주파 신호를 출력하는 방법을 나타내는 도면이다.
도 188에 나타내는 가시광 신호에 중첩되는 고주파 신호를 출력하는 신호 출력 장치는, 예를 들면, 블루 레이저와 형광체를 구비한다. 즉, 도 114a에 나타내는 예와 동일하게, 그 신호 출력 장치는, 블루 레이저로부터 고주파수의 청색 레이저광을 형광체에 조사시킨다. 이에 따라, 신호 출력 장치는, 고주파수의 자연광을 고주파 신호로서 출력한다.
(실시의 형태 22)
본 실시의 형태에서는, 상기 각 실시의 형태에 있어서의 가시광 통신을 이용한 자율 비행 장치(드론이라고도 한다)에 대해서 설명한다.
도 234는, 본 실시의 형태에 있어서의 자율 비행 장치를 설명하기 위한 도면이다.
본 실시의 형태에 있어서의 자율 비행 장치(1921)는, 감시 카메라(1922)의 내부에 수납되어 있다. 예를 들면, 감시 카메라(1922)에 의해, 수상한 사람의 화상이 파악되면, 감시 카메라(1922)의 문이 열리고, 내부에 수납되어 있는 자율 비행 장치(1921)는, 그 감시 카메라(1922)로부터 날아 오르고, 그 수상한 사람의 추적을 개시한다. 자율 비행 장치(1921)는, 소형 카메라를 구비하고, 감시 카메라(1922)에 의해 파악된 수상한 사람의 화상이, 그 소형 카메라에 의해서도 파악되도록 추적을 행한다. 또한, 자율 비행 장치(1921)는, 비행 등을 행하기 위한 전력이 부족한 것을 검지하면, 감시 카메라(1922)로 돌아와, 감시 카메라(1922)의 내부에 수납된다. 이 때에, 감시 카메라(1922)에 다른 자율 비행 장치(1921)가 수납되어 있으면, 이 외의 자율 비행 장치(1921)가, 전력 부족의 자율 비행 장치(1921)에 대신하여, 수상한 사람의 추적을 개시한다. 또한, 전력 부족의 자율 비행 장치(1921)는, 감시 카메라(1922)에 구비되어 있는 무선 급전 장치(1921a)에 의해 급전된다. 또한, 무선 급전 장치(1921a)에 의한 급전은, 예를 들면 규격 Qi에 따라서 행해진다.
자율 비행 장치(1921)의 소형 카메라 및 감시 카메라(1922)는, 상기 각 실시의 형태에 있어서의 가시광 신호를 수신할 수 있고, 이 수신된 가시광 신호에 따른 동작을 행할 수 있다. 또한, 자율 비행 장치(1921) 및 감시 카메라(1922)의 적어도 한쪽에, 가시광 신호의 송신기를 구비하면, 자율 비행 장치(1921)와 감시 카메라(1922)의 사이에서 가시광 통신을 행할 수 있다. 그 결과, 수상한 사람의 추적을 보다 효율적으로 행할 수 있다.
(실시의 형태 23)
본 실시의 형태에서는, 광 ID를 이용한 AR(Augmented Reality)를 실현하는 표시 방법 등에 대해서 설명한다.
도 235는, 본 실시의 형태에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도면이다.
본 실시의 형태에 있어서의 수신기(200)는, 상기 실시의 형태 1∼22 중 어느 실시의 형태에 있어서의, 이미지 센서 및 디스플레이(201)를 구비한 수신기로서, 예를 들면 스마트 폰으로서 구성되어 있다. 이러한 수신기(200)는, 그 이미지 센서에 의한 피사체의 촬상에 의해, 상술의 통상 촬영 화상인 촬상 표시 화상(Pa)과, 전술의 가시광 통신 화상 또는 휘선 화상인 복호용 화상을 취득한다.
구체적으로는, 수신기(200)의 이미지 센서는, 역명표로서 구성되어 있는 송신기(100)를 촬상한다. 송신기(100)는, 상기 실시의 형태 1∼22 중 어느 실시의 형태에 있어서의 송신기로서, 1개 또는 복수의 발광 소자(예를 들면 LED)를 구비한다. 이 송신기(100)는, 그 1개 또는 복수의 발광 소자를 점멸시킴으로써 휘도 변화하고, 그 휘도 변화에 의해서 광 ID(광 식별 정보)를 송신한다. 이 광 ID는, 전술의 가시광 신호이다.
수신기(200)는, 송신기(100)를 통상 노광 시간에 촬상함으로써, 그 송신기(100)가 비추어진 촬상 표시 화상(Pa)을 취득함과 더불어, 그 통상 노광 시간보다도 짧은 통신용 노광 시간에 송신기(100)를 촬상함으로써, 복호용 화상을 취득한다. 또한, 통상 노광 시간은, 전술의 통상 촬영 모드에 있어서의 노광 시간이며, 통신용 노광 시간은, 상술의 가시광 통신 모드에 있어서의 노광 시간이다.
수신기(200)는, 그 복호용 화상에 대한 복호에 의해 광 ID를 취득한다. 즉, 수신기(200)는, 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P1과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상(Pa) 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 송신기(100)인 역명표가 비추어져 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상(P1)을 중첩하고, AR 화상(P1)이 중첩된 촬상 표시 화상(Pa)을 디스플레이(201)에 표시한다. 예를 들면, 송신기(100)인 역명표에, 역명으로서 일본어로 「쿄토역」이 기재되어 있는 경우, 수신기(200)는, 영어로 역명이 기재된 AR 화상 P1, 즉 「Kyoto　Station」이라고 기재되어 있는 AR 화상 P1을 취득한다. 이 경우, 촬상 표시 화상 Pa의 대상 영역에 그 AR 화상 P1이 중첩되기 때문에, 영어로 역명이 기재되어 있는 역명표가 현실로 존재하도록, 촬상 표시 화상 Pa를 표시할 수 있다. 그 결과, 영어를 이해할 수 있는 유저는, 일본어를 읽을 수 없어도, 그 촬상 표시 화상 Pa를 보면, 그 송신기(100)인 역명표에 기재되어 있는 역명을 용이하게 이해할 수 있다.
예를 들면, 인식 정보는, 인식 대상의 화상(예를 들면 상술의 역명표의 화상)이어도 좋고, 그 화상의 특징점 및 특징량이어도 된다. 특징점 및 특징량은, 예를 들면, SIFT(Scale－inｖariant　feature　transform), SURF(Speed－Upped　Robust　Feature), ORB(Oriented－BRIEF), AKAZE(Accelerated　KAZE) 등의 화상 처리에 의해서 얻어진다. 또는, 인식 정보는, 인식 대상의 화상에 유사한 흰 사각형의 화상이어도 되고, 또한 그 사각형의 종횡비(어스펙트비)를 나타내도 된다. 또는, 식별 정보는, 인식 대상의 화상에 나타나는 랜덤 도트라도 된다. 또한, 인식 정보는, 상술이 흰 사각형 또는 랜덤 도트 등의, 소정의 방향을 기준으로 하는 방향을 나타내도 된다. 소정의 방향은, 예를 들면 중력 방향이다.
수신기(200)는, 촬상 표시 화상(Pa) 중에서, 이러한 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 구체적으로는, 인식 정보가 화상이면, 수신기(200)는, 그 인식 정보인 화상에 유사한 영역을 대상 영역으로서 인식한다. 또한, 인식 정보가, 화상 처리에 의해서 얻어진 특징점 및 특징량이면, 수신기(200)는, 그 화상 처리를 촬상 표시 화상(Pa)에 대하여 행함으로써, 특징점 검출 및 특징량 추출을 행한다. 그리고, 수신기(200)는, 촬상 표시 화상(Pa)에 있어서, 인식 정보인 특징점 및 특징량에 유사한, 특징점 및 특징량을 갖는 영역을 대상 영역으로서 인식한다. 또한, 인식 정보가, 흰 사각형과 그 방향을 나타내고 있으면, 수신기(200)는, 우선, 스스로 구비된 가속도 센서에 의해 중력 방향을 검출한다. 그리고, 수신기(200)는, 중력 방향을 기준으로 하여 배치된 촬상 표시 화상(Pa)으로부터, 인식 정보에 의해 나타나는 방향으로 향해진 흰 사각형에 유사한 영역을 대상 영역으로서 인식한다.
여기에서, 인식 정보는, 촬상 표시 화상(Pa) 중의 기준 영역을 특정하기 위한 기준 정보와, 그 기준 영역에 대한 대상 영역의 상대 위치를 나타내는 대상 정보를 포함하고 있어도 된다. 기준 정보는, 상술과 같은, 인식 대상의 화상, 특징점 및 특징량, 흰 사각형의 화상, 또는 랜덤 도트 등이다. 이 경우, 수신기(200)는, 대상 영역을 인식할 때에는, 우선, 기준 정보에 의거하여 촬상 표시 화상(Pa)으로부터 기준 영역을 특정한다. 그리고, 수신기(200)는, 촬상 표시 화상(Pa) 중, 기준 영역의 위치를 기준으로 하여 대상 정보에 의해 나타나는 상대 위치에 있는 영역을, 대상 영역으로서 인식한다. 또한, 대상 정보는, 대상 영역이 기준 영역과 동일한 위치에 있는 것을 나타내고 있어도 된다. 이와 같이, 인식 정보가 기준 정보와 대상 정보를 포함함으로써, 폭넓은 범위에서 대상 영역을 인식할 수 있다. 또한, AR 화상이 중첩되는 장소를 서버가 자유롭게 설정하여 수신기(200)에 알릴 수 있다.
또한, 기준 정보는, 촬상 표시 화상(Pa)에 있어서의 기준 영역이, 촬상 표시 화상 중의 디스플레이가 비추어져 있는 영역인 것을 나타내고 있어도 된다. 이 경우, 송신기(100)가 예를 들면 텔레비전 등의 디스플레이로서 구성되어 있으면, 그 디스플레이가 비추어져 있는 영역을 기준으로 하여 대상 영역을 인식할 수 있다.
도 236은, 본 실시의 형태에 있어서의 표시 시스템의 일 예를 나타내는 도면이다.
본 실시의 형태에 있어서의 표시 시스템은, 예를 들면, 상술의 역명표인 송신기(100)와, 수신기(200)와, 서버(300)를 구비한다.
수신기(200)는, 전술과 같이 AR 화상이 중첩된 촬상 표시 화상을 표시하기 위해서, 우선, 송신기(100)로부터 광 ID를 수신한다. 다음으로, 수신기(200)는, 그 광 ID를 서버(300)에 송신한다.
서버(300)는, 광 ID마다, 그 광 ID에 대응지어진 AR 화상 및 인식 정보를 유지하고 있다. 여기서, 서버(300)는, 수신기(200)로부터 광 ID를 수신하면, 그 수신된 광 ID에 대응지어진 AR 화상 및 인식 정보를 선택하고, 그 선택된 AR 화상 및 인식 정보를 수신기(200)에 송신한다. 이에 따라, 수신기(200)는, 서버(300)로부터 송신된 AR 화상 및 인식 정보를 수신하고, AR 화상이 중첩된 촬상 표시 화상을 표시한다.
도 237은, 본 실시의 형태에 있어서의 표시 시스템의 다른 예를 나타내는 도면이다.
본 실시의 형태에 있어서의 표시 시스템은, 예를 들면, 상술의 역명표인 송신기(100)와, 수신기(200)와, 제1의 서버(301)와, 제2의 서버(302)를 구비한다.
수신기(200)는, 상술과 같이 AR 화상이 중첩된 촬상 표시 화상을 표시하기 위해서, 우선, 송신기(100)로부터 광 ID를 수신한다. 다음으로, 수신기(200)는, 그 광 ID를 제1의 서버(301)에 송신한다.
제1의 서버(301)는, 수신기(200)로부터 광 ID를 수신하면, 그 수신된 광 ID에 대응지어진 URL(Uniform Resource Locator)과 Key를 수신기(200)에 통지한다. 이러한 통지를 받은 수신기(200)는, 그 URL에 의거하여 제2의 서버(302)에 액세스하고, Key를 제2의 서버(302)에 받아넘긴다.
제2의 서버(302)는, Key마다, 그 Key에 대응지어진 AR 화상 및 인식 정보를 유지하고 있다. 여기서, 제2의 서버(302)는, 수신기(200)로부터 Key를 수취하면, 그 Key에 대응지어진 AR 화상 및 인식 정보를 선택하고, 그 선택된 AR 화상 및 인식 정보를 수신기(200)에 송신한다. 이에 따라, 수신기(200)는, 제2의 서버(302)로부터 송신된 AR 화상 및 인식 정보를 수신하고, AR 화상이 중첩된 촬상 표시 화상을 표시한다.
도 238은, 본 실시의 형태에 있어서의 표시 시스템의 다른 예를 나타내는 도면이다.
본 실시의 형태에 있어서의 표시 시스템은, 예를 들면, 상술의 역명표인 송신기(100)와, 수신기(200)와, 제1의 서버(301)와, 제2의 서버(302)를 구비한다.
수신기(200)는, 상술과 같이 AR 화상이 중첩된 촬상 표시 화상을 표시하기 위해서, 우선, 송신기(100)로부터 광 ID를 수신한다. 다음으로, 수신기(200)는, 그 광 ID를 제1의 서버(301)에 송신한다.
제1의 서버(301)는, 수신기(200)로부터 광 ID를 수신하면, 그 수신된 광 ID에 대응지어진 Key를 제2의 서버(302)에 통지한다.
제2의 서버(302)는, Key마다, 그 Key에 대응지어진 AR 화상 및 인식 정보를 유지하고 있다. 여기서, 제2의 서버(302)는, 제1의 서버(301)로부터 Key를 수취하면, 그 Key에 대응지어진 AR 화상 및 인식 정보를 선택하고, 그 선택된 AR 화상 및 인식 정보를, 제1의 서버(301)에 송신한다. 제1의 서버(301)는, 제2의 서버(302)로부터 AR 화상 및 인식 정보를 수신하면, 그 AR 화상 및 인식 정보를 수신기(200)에 송신한다. 이에 따라, 수신기(200)는, 제1의 서버(301)로부터 송신된 AR 화상 및 인식 정보를 수신하고, AR 화상이 중첩된 촬상 표시 화상을 표시한다.
또한, 상술의 예에서는, 제2의 서버(302)는, AR 화상 및 인식 정보를 제1의 서버(301)에 송신했지만, 제1의 서버(301)에 송신하는 일 없이, 수신기(200)에 송신해도 된다.
도 239는, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 일 예를 나타내는 플로우차트이다.
우선, 수신기(200)는, 상술의 통상 노광 시간 및 통신용 노광 시간에 의한 촬상을 개시한다(단계 S101). 그리고, 수신기(200)는, 통신용 노광 시간에서의 촬상에 의해 얻어지는 복호용 화상에 대한 복호에 의해서, 광 ID를 취득한다(단계 S102). 다음으로, 수신기(200)는, 그 광 ID를 서버에 송신한다(단계 S103).
수신기(200)는, 송신된 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다(단계 S104). 다음으로, 수신기(200)는, 통상 노광 시간의 촬상에 의해 얻어지는 촬상 표시 화상 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다(단계 S105). 그리고, 수신기(200)는, 그 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상을 표시한다(단계 S106).
다음으로, 수신기(200)는, 촬상과 촬상 표시 화상의 표시를 종료해야 하는지 여부를 판정한다(단계 S107). 여기서, 수신기(200)는, 종료해서는 안된다고 판정하면(단계 S107의 N), 추가로, 수신기(200)의 가속도가 역치 이상인지 여부를 판정한다(단계 S108). 이 가속도는, 수신기(200)에 구비되어 있는 가속도 센서에 의해서 계측된다. 수신기(200)는, 가속도가 역치 미만이라고 판정하면(단계 S108의 N), 단계 S105로부터의 처리를 실행한다. 이에 따라, 수신기(200)의 디스플레이(201)에 표시되어 있는 촬상 표시 화상이 어긋나는 경우라도, 그 촬상 표시 화상의 대상 영역에 AR 화상을 추종시킬 수 있다. 또한, 수신기(200)는, 가속도가 역치 이상이라고 판정하면(단계 S108의 Y), 단계 S102로부터의 처리를 실행한다. 이에 따라, 촬상 표시 화상에 송신기(100)가 비치지 않게 된 경우에, 송신기(100)와 상이한 피사체가 비추어져 있는 영역을 잘못해 대상 영역으로서 인식해 버리는 것을 억제할 수 있다.
이와 같이 본 실시의 형태에서는, AR 화상이 촬상 표시 화상에 중첩되어 표시되기 때문에, 유저에게 유익한 화상을 표시할 수 있다. 또한, 처리 부하를 억제하여 적절한 대상 영역에 AR 화상을 중첩할 수 있다.
즉, 일반적인 확장 현실(즉 AR)에서는, 미리 보존되어 있는 방대한 수의 인식 대상 화상과, 촬상 표시 화상을 비교함으로써, 그 촬상 표시 화상에 어떠한 인식 대상 화상이 포함되어 있는지 여부가 판정된다. 그리고, 인식 대상 화상이 포함되어 있다고 판정되면, 그 인식 대상 화상에 대응하는 AR 화상이 촬상 표시 화상에 중첩된다. 이 때, 인식 대상 화상을 기준으로 AR 화상의 위치 맞춤이 행해진다. 이와 같이, 일반적인 확장 현실에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교하기 위해, 또한, 위치 맞춤에 있어서도 촬상 표시 화상에 있어서의 인식 대상 화상의 위치 검출이 필요해지기 때문에, 계산량이 많아, 처리 부하가 높다고 하는 문제가 있다.
그러나, 본 실시의 형태에 있어서의 표시 방법에서는, 피사체의 촬상에 의해서 얻어지는 복호용 화상을 복호함으로써 광 ID가 취득된다. 즉, 피사체인 송신기로부터 송신된 광 ID가 수신된다. 또한, 이 광 ID에 대응하는 AR 화상과 인식 정보가 서버로부터 취득된다. 따라서, 서버에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교할 필요가 없고, 광 ID에 미리 대응지어져 있는 AR 화상을 선택하여 표시 장치에 송신할 수 있다. 이에 따라, 계산량을 줄여 처리 부하를 대폭으로 억제할 수 있다. 또한, AR 화상의 표시 처리를 고속으로 할 수 있다.
또한, 본 실시의 형태에서는, 이 광 ID에 대응하는 인식 정보가 서버로부터 취득된다. 인식 정보는, 촬상 표시 화상에 있어서 AR 화상이 중첩되는 영역인 대상 영역을 인식하기 위한 정보이다. 이 인식 정보는, 예를 들면 흰 사각형이 대상 영역인 것을 나타내는 정보라도 된다. 이 경우에는, 대상 영역을 간단하게 인식할 수 있어, 처리 부하를 더욱 억제할 수 있다. 즉, 인식 정보의 내용에 따라서, 처리 부하를 더욱 억제할 수 있다. 또한, 서버에서는, 광 ID에 따라서 그 인식 정보의 내용을 임의로 설정할 수 있기 때문에, 처리 부하와 인식 정도의 밸런스를 적절히 유지할 수 있다.
또한, 본 실시의 형태에서는, 수신기(200)가 광 ID를 서버에 송신한 후에, 수신기(200)가 그 광 ID에 대응하는 AR 화상 및 인식 정보를 서버로부터 취득하지만, AR 화상 및 인식 정보 중 적어도 한쪽을 미리 취득해 두어도 된다. 즉, 수신기(200)는, 수신될 가능성이 있는 복수의 광 ID에 대응하는 복수의 AR 화상 및 복수의 인식 정보를 정리하여 서버로부터 취득하여 보존해 둔다. 그 후, 수신기(200)는, 광 ID를 수신하면, 스스로 보존되어 있는 복수의 AR 화상 및 복수의 인식 정보로부터, 그 광 ID에 대응하는 AR 화상 및 인식 정보를 선택한다. 이에 따라, AR 화상의 표시 처리를 더욱 고속으로 할 수 있다.
도 240은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 240에 나타내는 바와 같이, 조명 장치로서 구성되고, 시설의 안내판(101)을 비추면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 안내판(101)은, 그 송신기(100)로부터의 광에 의해서 비추어져 있기 때문에, 송신기(100)과 동일하게 휘도 변화하여, 광 ID를 송신하고 있다.
수신기(200)는, 송신기(100)에 의해서 비추어진 안내판(101)을 촬상함으로써, 전술과 동일하게, 촬상 표시 화상(Pb)과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 안내판(101)으로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P2와 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상(Pb) 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 안내판(101)에 있어서의 테두리(102)가 비추어져 있는 영역을 대상 영역으로서 인식한다. 이 테두리(102)는, 시설의 대기 시간을 나타내기 위한 테두리이다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P2를 중첩하고, AR 화상 P2가 중첩된 촬상 표시 화상 Pb를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P2는, 문자열 「30분」을 포함하는 화상이다. 이 경우, 촬상 표시 화상 Pb의 대상 영역에 그 AR 화상 P2가 중첩되기 때문에, 수신기(200)는, 대기 시간 「30분 」이 기재된 안내판(101)이 현실로 존재하도록, 촬상 표시 화상(Pb)을 표시할 수 있다. 이에 따라, 안내판(101)에 특별한 표시 장치를 구비하는 일 없이, 수신기(200)의 유저에게 대기 시간을 간단하게, 또한, 알기 쉽게 알릴 수 있다.
도 241은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 241에 나타내는 바와 같이, 2개의 조명 장치로 이루어진다. 송신기(100)는, 시설의 안내판(104)을 비추면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 안내판(104)은, 그 송신기(100)로부터의 광에 의해서 비추어지고 있기 때문에, 송신기(100)와 동일하게 휘도 변화하고, 광 ID를 송신하고 있다. 또한, 안내판(104)은, 예를 들면 「ABC 랜드」 및 「어드벤쳐 랜드」등의 복수의 시설의 명칭을 나타낸다.
수신기(200)는, 송신기(100)에 의해서 비추어진 안내판(104)을 촬상함으로써, 전술과 동일하게, 촬상 표시 화상 Pc와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 안내판(104)으로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P3과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pc 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 안내판(104)이 비추어져 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P3를 중첩하고, AR 화상 P3가 중첩된 촬상 표시 화상 Pc를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P3은, 복수의 시설의 명칭을 나타내는 화상이다. 이 AR 화상 P3에서는, 시설의 대기 시간이 길수록, 그 시설의 명칭이 작게 표시되고, 반대로, 시설의 대기 시간이 짧을수록, 그 시설의 명칭이 크게 표시되고 있다. 이 경우, 촬상 표시 화상 Pc의 대상 영역에 그 AR 화상 P3이 중첩되기 때문에, 수신기(200)는, 대기 시간에 따른 크기의 각 시설 명칭이 기재된 안내판(104)이 현실로 존재하도록, 촬상 표시 화상 Pc를 표시할 수 있다. 이에 따라, 안내판(104)에 특별한 표시 장치를 구비하는 일 없이, 수신기(200)의 유저에게 각 시설의 대기 시간을 간단하게, 또한, 알기 쉽게 알릴 수 있다.
도 242는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 242에 나타내는 바와 같이, 2개의 조명 장치로 이루어진다. 송신기(100)는, 성벽(105)를 비추면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 성벽(105)은, 그 송신기(100)로부터의 광에 의해서 비추어져 있기 때문에, 송신기(100)와 동일하게 휘도 변화하고, 광 ID를 송신하고 있다. 또한, 성벽(105)에는, 예를 들면, 캐릭터의 얼굴을 모방한 작은 마크가 숨겨진 캐릭터(106)로서 새겨져 있다.
수신기(200)는, 송신기(100)에 의해서 비추어진 성벽(105)을 촬상함으로써, 전술과 동일하게, 촬상 표시 화상 Pd와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 성벽(105)으로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P4와 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pd 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 성벽(105) 중 숨겨진 캐릭터(106)를 포함하는 범위가 비추어져 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P4를 중첩하고, AR 화상 P4가 중첩 된 촬상 표시 화상 Pd를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P4는, 캐릭터의 얼굴을 모방한 화상이다. 이 AR 화상 P4는, 촬상 표시 화상 Pd에 비추어져 있는 숨겨진 캐릭터(106)보다도 충분히 큰 화상이다. 이 경우, 촬상 표시 화상(Pd)의 대상 영역에 그 AR 화상 P4가 중첩되기 때문에, 수신기(200)는, 캐릭터의 얼굴을 모방한 큰 마크가 새겨진 성벽(105)이 현실로 존재하도록, 촬상 표시 화상(Pd)을 표시할 수 있다. 이에 따라, 수신기(200)의 유저에게, 숨겨진 캐릭터(106)의 위치를 알기 쉽게 알릴 수 있다.
도 243은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 243에 나타내는 바와 같이, 2개의 조명 장치로 이루어진다. 송신기(100)는, 시설의 안내판(107)을 비추면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 안내판(107)은, 그 송신기(100)로부터의 광에 의해서 비추어져 있기 때문에, 송신기(100)와 동일하게 휘도 변화하여, 광 ID를 송신하고 있다. 또한, 안내판(107)의 구석의 복수 개소에는, 적외선 차단 도료(108)가 도포되어 있다.
수신기(200)는, 송신기(100)에 의해서 비추어진 안내판(107)을 촬상함으로써, 전술과 동일하게, 촬상 표시 화상 Pe와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 안내판(107)으로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P5와 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pe 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 안내판(107)이 비추어져 있는 영역을 대상 영역으로서 인식한다.
구체적으로는, 인식 정보에는, 복수 개소의 적외선 차단 도료(108)에 외접하는 직사각형이 대상 영역인 것이 나타나 있다. 또한, 적외선 차단 도료(108)는, 송신기(100)로부터 조사되는 광에 포함되는 적외선을 차단한다. 따라서, 수신기(200)의 이미지 센서에는, 적외선 차단 도료(108)가 그 주변보다도 어두운 상으로서 인식된다. 수신기(200)는, 각각 어두운 상으로서 나타나는 복수 개소의 적외선 차단 도료(108)에 외접하는 직사각형을 대상 영역으로서 인식한다.
그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P5를 중첩하고, AR 화상 P5가 중첩된 촬상 표시 화상 Pe를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P5는, 안내판(107)의 시설에 있어서 행해지는 행사의 스케줄을 나타낸다. 이 경우, 촬상 표시 화상 Pe의 대상 영역에 그 AR 화상 P5가 중첩되기 때문에, 수신기(200)는, 행사의 스케줄이 기재된 안내판(107)이 현실로 존재하도록, 촬상 표시 화상 Pe를 표시할 수 있다. 이에 따라, 안내판(107)에 특별한 표시 장치를 구비하는 일 없이, 수신기(200)의 유저에게 시설의 행사의 스케줄을 알기 쉽게 알릴 수 있다.
또한, 안내판(107)에는, 적외선 차단 도료(108) 대신에, 적외선 반사 도료가 도포되어 있어도 된다. 적외선 반사 도료는, 송신기(100)로부터 조사되는 광에 포함되는 적외선을 반사한다. 따라서, 수신기(200)의 이미지 센서에는, 적외선 반사 도료가 그 주변보다도 밝은 상으로서 인식된다. 즉, 이 경우에는, 수신기(200)는, 각각 밝은 상으로서 나타나는 복수 개소의 적외선 반사 도료에 외접하는 직사각형을 대상 영역으로서 인식한다.
도 244는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 역명표로서 구성되고, 역 출구 안내판(110)의 가까이에 배치되어 있다. 역 출구 안내판(110)은, 광원을 구비하고 발광하고 있지만, 송신기(100)와는 달리, 광 ID를 송신하지 않는다.
수신기(200)가 송신기(100) 및 역 출구 안내판(110)을 촬상함으로써 촬상 표시 화상 Ppre 및 복호용 화상 Pdec를 취득한다. 송신기(100)는 휘도 변화하고, 역 출구 안내판(110)은 발광하고 있기 때문에, 그 복호용 화상 Pdec에는, 송신기(100)에 대응하는 휘선 패턴 영역 Pdec1과 역 출구 안내판(110)에 대응하는 밝은 영역 Pdec2가 나타난다. 휘선 패턴 영역 Pdec1은, 수신기(200)의 이미지 센서가 갖는 복수의 노광 라인의 통신용 노광 시간에서의 노광에 의해서 나타나는 복수의 휘선의 패턴으로 이루어지는 영역이다.
여기에서, 식별 정보는, 상술과 같이, 촬상 표시 화상 Ppre 중의 기준 영역 Pbas를 특정하기 위한 기준 정보와, 그 기준 영역 Pbas에 대한 대상 영역 Ptar의 상대 위치를 나타내는 대상 정보를 포함하고 있다. 예를 들면, 그 기준 정보는, 촬상 표시 화상 Ppre에 있어서의 기준 영역 Pbas의 위치가, 복호용 화상 Pdec에 있어서의 휘선 패턴 영역 Pdec1의 위치와 동일한 것을 나타낸다. 또한, 대상 정보는, 대상 영역의 위치가 기준 영역의 위치인 것을 나타낸다.
따라서, 수신기(200)는, 기준 정보에 의거하여 촬상 표시 화상 Ppre로부터 기준 영역 Pbas를 특정한다. 즉, 수신기(200)는, 촬상 표시 화상 Ppre에 있어서, 복호용 화상 Pdec에 있어서의 휘선 패턴 영역 Pdec1의 위치와 동일한 위치에 있는 영역을, 기준 영역 Pbas로서 특정한다. 또한, 수신기(200)는, 촬상 표시 화상 Ppre 중, 기준 영역 Pbas의 위치를 기준으로 하여 대상 정보에 의해 나타나는 상대 위치에 있는 영역을, 대상 영역 Ptar로서 인식한다. 전술의 예에서는, 대상 정보는, 대상 영역 Ptar의 위치가 기준 영역 Pbas의 위치인 것을 나타내기 때문에, 수신기(200)는, 촬상 표시 화상 Ppre 중의 기준 영역 Pbas를 대상 영역 Ptar로서 인식한다.
그리고, 수신기(200)는, 촬상 표시 화상 Ppre에 있어서의 대상 영역 Ptar에 AR 화상 P1을 중첩한다.
이와 같이, 상술의 예에서는, 대상 영역 Ptar을 인식하기 위해서, 휘선 패턴 영역 Pdec1을 이용하고 있다. 한편, 휘선 패턴 영역 Pdec1을 이용하지 않고, 촬상 표시 화상 Ppre만으로부터, 송신기(100)가 비추어져 있는 영역을, 대상 영역 Ptar로서 인식하고자 하는 경우에는, 오인식이 발생할 가능성이 있다. 즉, 촬상 표시 화상 Ppre 중, 송신기(100)가 비추어져 있는 영역이 아니라, 역 출구 안내판(110)이 비추어져 있는 영역을, 대상 영역 Ptar로서 오인식해 버릴 가능성이 있다. 이것은, 촬상 표시 화상 Ppre에 있어서의, 송신기(100)의 화상과 역 출구 안내판(110)의 화상이 비슷하기 때문이다. 그러나, 상술의 예의 같이, 휘선 패턴 영역 Pdec1을 이용하는 경우에는, 오인식의 발생을 억제하고, 정확하게 대상 영역 Ptar을 인식할 수 있다.
도 245는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 244에 나타내는 예에서는, 송신기(100)는, 역명표의 전체를 휘도 변화시킴으로써 광 ID를 송신하고, 대상 정보는, 대상 영역의 위치가 기준 영역의 위치인 것을 나타내고 있다. 그러나, 본 실시의 형태에서는, 송신기(100)는, 역명표의 전체를 휘도 변화시키는 일 없이, 역명표의 외측선의 일부에 배치된 발광 소자를 휘도 변화시킴으로써 광 ID를 송신해도 된다. 또한, 대상 정보는, 기준 영역 Pbas에 대한 대상 영역 Ptar의 상대 위치를 나타내고 있으면 되고, 예를 들면, 대상 영역 Ptar의 위치가 기준 영역 Pbas 위(구체적으로는, 연직 방향 상향)인 것을 나타내고 있어도 된다.
도 245에 나타내는 예에서는, 송신기(100)는, 역명표의 외측 테두리 하부에 수평 방향을 따라서 배치된 복수의 발광 소자를 휘도 변화시킴으로써 광 ID를 송신한다. 또한, 대상 정보는, 대상 영역 Ptar의 위치가 기준 영역 Pbas의 위인 것을 나타낸다.
이러한 경우, 수신기(200)는, 기준 정보에 의거하여 촬상 표시 화상 Ppre로부터 기준 영역 Pbas를 특정한다. 즉, 수신기(200)는, 촬상 표시 화상 Ppre에 있어서, 복호용 화상 Pdec에 있어서의 휘선 패턴 영역 Pdec1의 위치와 동일한 위치에 있는 영역을, 기준 영역 Pbas로서 특정한다. 구체적으로는, 수신기(200)는, 수평 방향으로 길고 수직 방향으로 짧은 직사각형 형상의 기준 영역 Pbas를 특정한다. 또한, 수신기(200)는, 촬상 표시 화상 Ppre 중, 기준 영역 Pbas의 위치를 기준으로서 대상 정보에 의해 나타나는 상대 위치에 있는 영역을, 대상 영역 Ptar로서 인식한다. 즉, 수신기(200)는, 촬상 표시 화상 Ppre 중의 기준 영역 Pbas보다도 위에 있는 영역을, 대상 영역 Ptar로서 인식한다. 또한, 이 때에는, 수신기(200)는, 자신에게 구비되어 있는 가속도 센서에 의해서 계측되는 중력 방향에 의거하여, 기준 영역 Pbas보다도 위의 방향을 특정한다.
또한, 대상 정보는, 대상 영역 Ptar의 상대 위치 뿐만 아니라, 대상 영역 Ptar의 사이즈, 형상 및 어스펙트비를 나타내도 된다. 이 경우, 수신기(200)는, 대상 정보에 의해서 나타나는 사이즈, 형상 및 어스펙트비의 대상 영역 Ptar을 인식한다. 또한, 수신기(200)는, 기준 영역 Pbas의 사이즈에 의거하여, 대상 영역 Ptar의 사이즈를 결정해도 된다.
도 246은, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우차트이다.
수신기(200)는, 도 239에 나타내는 예와 동일하게, 단계 S101∼S104의 처리를 실행한다.
다음으로, 수신기(200)는, 복호용 화상 Pdec로부터 휘선 패턴 영역 Pdec1을 특정한다(단계 S111). 다음으로, 수신기(200)는, 촬상 표시 화상 Ppre로부터, 그 휘선 패턴 영역 Pdec1에 대응하는 기준 영역 Pbas를 특정한다(단계 S112). 그리고, 수신기(200)는, 인식 정보(구체적으로는 대상 정보)와 그 기준 영역 Pbas에 의거하여, 촬상 표시 화상 Ppre로부터 대상 영역 Ptar을 인식한다(단계 S113).
다음으로, 수신기(200)는, 도 239에 나타내는 예와 동일하게, 촬상 표시 화상 Ppre의 대상 영역 Ptar에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상 Ppre를 표시한다(단계 S106). 그리고, 수신기(200)는, 촬상과 촬상 표시 화상 Ppre의 표시를 종료해야할지 여부를 판정한다(단계 S107). 여기서, 수신기(200)는, 종료해서는 안된다고 판정하면(단계 S107의 N), 추가로 수신기(200)의 가속도가 역치 이상인지 여부를 판정한다(단계 S114). 이 가속도는, 수신기(200)에 구비되어 있는 가속도 센서에 의해서 계측된다. 수신기(200)는, 가속도가 역치 미만이라고 판정하면(단계 S114의 N), 단계 S113로부터의 처리를 실행한다. 이에 따라, 수신기(200)의 디스플레이(201)에 표시되어 있는 촬상 표시 화상 Ppre가 어긋나는 경우라도, 그 촬상 표시 화상 Ppre의 대상 영역 Ptar에 AR 화상을 추종시킬 수 있다. 또한, 수신기(200)는, 가속도가 역치 이상이라고 판정하면(단계 S114의 Y), 단계 S111 또는 단계 S102로부터의 처리를 실행한다. 이에 따라, 송신기(100)와 상이한 피사체(예를 들면, 역 출구 안내판(110))가 비추어져 있는 영역을 잘못하여 대상 영역 Ptar로서 인식해 버리는 것을 억제할 수 있다.
도 247은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
수신기(200)는, 표시되어 있는 촬상 표시 화상 Ppre에 있어서의 AR 화상 P1이 탭되면, 그 AR 화상 P1을 확대하여 표시한다. 또는, 수신기(200)는, 탭되면, AR 화상 P1에 나타나 있는 내용보다도 상세한 내용을 나타내는 새로운 AR 화상을, 그 AR 화상 P1 대신에 표시해도 된다. 또한, AR 화상 P1이, 복수 페이지로 이루어지는 정보지의 1페이지분의 정보를 나타내는 경우에는, 수신기(200)는, AR 화상 P1의 페이지의 다음 페이지 정보를 나타내는 새로운 AR 화상을, 그 AR 화상 P1 대신에 표시해도 된다. 또는, 수신기(200)는, 탭되면, 그 AR 화상 P1에 관련된 동화상을 새로운 AR 화상으로서 그 AR 화상 P1 대신에 표시해도 된다. 이 때, 수신기(200)는, 대상 영역 Ptar로부터 오브젝트(도 247의 예에서는 단풍)가 나가는 동화상을 AR 화상으로서 표시해도 된다.
도 248은, 본 실시의 형태에 있어서의 수신기(200)의 촬상에 의해서 취득되는 촬상 표시 화상 Ppre 및 복호용 화상 Pdec를 나타내는 도면이다.
수신기(200)는, 촬상하고 있을 때는, 예를 들면 도 248의 (a1)에 나타내는 바와 같이, 30fps의 프레임 레이트로 촬상 표시 화상 Ppre 및 복호용 화상 Pdec 등의 촬상 화상을 취득한다. 구체적으로는, 수신기(200)는, 시각 t1에 촬상 표시 화상 Ppre 「A」를 취득하고, 시각 t2에 복호용 화상 Pdec를 취득하고, 시각 t3에 촬상 표시 화상 Ppre 「B」를 취득하도록, 촬상 표시 화상 Ppre와 복호용 화상 Pdec를 교호로 취득한다.
또한, 수신기(200)는, 촬상 화상을 표시하고 있을 때는, 촬상 화상 중 촬상 표시 화상 Ppre만을 표시하고, 복호용 화상 Pdec를 표시하지 않는다. 즉, 수신기(200)는, 도 248의 (a2)에 나타내는 바와 같이, 복호용 화상 Pdec를 취득할 때에는, 그 복호용 화상 Pdec 대신에, 직전에 취득된 촬상 표시 화상 Ppre를 표시한다. 구체적으로는, 수신기(200)는, 시각 t1에는, 취득된 촬상 표시 화상 Ppre 「A」를표시하고, 시각 t2에는, 시각 t1에서 취득된 촬상 표시 화상 Ppre 「A」를 다시 표시한다. 이에 따라, 수신기(200)는, 15fps의 프레임 레이트로 촬상 표시 화상 Ppre를 표시한다.
여기서, 도 248의 (a1)에 나타내는 예에서는, 수신기(200)는, 촬상 표시 화상 Ppre와 복호용 화상 Pdec를 교호로 취득하지만, 본 실시의 형태에 있어서의 이들 화상의 취득 형태는, 이러한 형태에 한정되지 않는다. 즉, 수신기(200)는, N(N은 1 이상의 정수)매의 복호용 화상 Pdec를 연속하여 취득하고, 그 후, M(M은 1 이상의 정수)매의 촬상 표시 화상 Ppre를 연속하여 취득하는 것을 반복해도 된다.
또한, 수신기(200)는, 취득되는 촬상 화상을, 촬상 표시 화상 Ppre와 복호용 화상 Pdec로 전환할 필요가 있고, 이 전환에 시간이 걸려 버리는 경우가 있다. 여기서, 도 248의 (b1)에 나타내는 바와 같이, 수신기(200)는, 촬상 표시 화상 Ppre의 취득과 복호용 화상 Pdec의 취득 사이의 전환시에 있어서, 전환 기간을 설정해도 좋다. 구체적으로는, 수신기(200)는, 시각 t3에 복호용 화상 Pdec를 취득하면, 시각 t3∼t5까지의 전환 기간에 있어서, 촬상 화상을 전환하기 위한 처리를 실행하고, 시각 t5에 촬상 표시 화상 Ppre 「A」를 취득한다. 그 후, 수신기(200)는, 시각 t5∼t7까지의 전환 기간에 있어서, 촬상 화상을 전환하기 위한 처리를 실행하고, 시각 t7에 복호용 화상 Pdec를 취득한다.
이와 같이 전환 기간이 설정된 경우, 수신기(200)는, 도 248의 (b2)에 나타내는 바와 같이, 전환 기간에서는, 직전에 취득된 촬상 표시 화상 Ppre를 표시한다. 따라서, 이 경우에는, 수신기(200)에 있어서의 촬상 표시 화상 Ppre의 표시의 프레임 레이트는 낮고, 예를 들면 3fps가 된다. 이와 같이 프레임 레이트가 낮은 경우에는, 유저가 수신기(200)를 움직여도, 표시되고 있는 촬상 표시 화상 Ppre가 그 수신기(200)의 움직임에 따라서 이동하지 않는 경우가 있다. 즉, 촬상 표시 화상 Ppre는 라이브 뷰로서 표시되지 않는다. 여기서, 수신기(200)는, 촬상 표시 화상 Ppre를 수신기(200)의 움직임에 따라 이동시켜도 된다.
도 249는, 본 실시의 형태에 있어서의 수신기(200)에 표시되는 촬상 표시 화상 Ppre의 일 예를 나타내는 도면이다.
수신기(200)는, 예를 들면 도 249의 (a)에 나타내는 바와 같이, 촬상에 의해서 얻어진 촬상 표시 화상 Ppre를 디스플레이(201)에 표시한다. 여기서, 유저가 수신기(200)를 좌측으로 움직이게 한다. 이 때, 수신기(200)에 의한 촬상에 의해서 새로운 촬상 표시 화상 Ppre가 취득되지 않는 경우, 수신기(200)는, 도 249의 (b)에 나타내는 바와 같이, 표시되어 있는 촬상 표시 화상 Ppre를 우측으로 이동시킨다. 즉, 수신기(200)는, 가속도 센서를 구비하고, 그 가속도 센서에 의해서 계측되는 가속도에 따라서, 수신기(200)의 움직임에 정합하도록, 표시되어 있는 촬상 표시 화상 Ppre를 이동시킨다. 이에 따라, 수신기(200)는, 촬상 표시 화상 Ppre를 의사적으로 라이브 뷰로서 표시할 수 있다.
도 250은, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우차트이다.
수신기(200)는, 우선, 상술과 동일하게, 촬상 표시 화상 Ppre의 대상 영역 Ptar에 AR 화상을 중첩하고, 그 대상 영역 Ptar에 추종시킨다(단계 S122). 즉, 촬상 표시 화상 Ppre에 있어서의 대상 영역 Ptar과 함께 이동하는 AR 화상이 표시된다. 그리고, 수신기(200)는, AR 화상의 표시를 유지할지 여부를 판정한다(단계 S122). 여기서, AR 화상의 표시를 유지하지 않는다고 판정하면(단계 S122의 N), 수신기(200)는, 촬상에 의해서 새로운 광 ID를 취득하면, 그 광 ID에 대응하는 새로운 AR 화상을 촬상 표시 화상 Ppre에 중첩하여 표시한다(단계 S123).
한편, AR 화상의 표시를 유지한다고 판정하면(단계 S122의 Y), 수신기(200)는, 단계 S121로부터의 처리를 반복하여 실행시킨다. 이 때에는, 수신기(200)는, 다른 AR 화상을 취득하고 있어도 다른 AR 화상을 표시하지 않는다. 또는, 수신기(200)는, 새로운 복호용 화상 Pdec를 취득하고 있어도, 그 복호용 화상 Pdec에 대한 복호에 의해 광 ID를 취득하는 것은 행하지 않는다. 이 때에는, 복호에 걸리는 소비 전력을 억제할 수 있다.
이와 같이, AR 화상의 표시를 유지함으로써, 표시되어 있는 그 AR 화상이 소거되거나, 다른 AR 화상의 표시에 의해서 보이기 어려워져 버리는 것을 억제할 수 있다. 즉, 표시되어 있는 AR 화상을 유저에게 보이기 쉽게 할 수 있다.
예를 들면, 단계 S122에서는, 수신기(200)는, AR 화상이 표시되고 나서 미리 정해진 기간(일정 기간)이 경과할 때까지는, AR 화상의 표시를 유지한다고 판정한다. 즉, 수신기(200)는, 촬상 표시 화상 Ppre를 표시할 때에는, 단계 S121에서 중첩되어 있는 AR 화상인 제1의 AR 화상과 상이한 제2의 AR 화상의 표시를 억제하면서, 미리 정해진 표시 기간만, 그 제1의 AR 화상을 표시한다. 수신기(200)는, 이 표시 기간에는, 새롭게 취득되는 복호용 화상 Pdec에 대한 복호를 금지해도 된다.
이에 따라, 유저가 한번 표시된 제1의 AR 화상을 보고 있을 때, 그 제1의 AR 화상이 그것과는 상이한 제2의 AR 화상으로 곧장 치환되어 버리는 것을 억제할 수 있다. 또한, 새롭게 취득되는 복호용 화상 Pdec의 복호는, 제2의 AR 화상의 표시가 억제되어 있을 때는 쓸데없는 처리이기 때문에, 그 복호를 금지함으로써, 소비 전력을 억제할 수 있다.
또는, 단계 S122에서는, 수신기(200)는, 페이스 카메라를 구비하고, 그 페이스 카메라에 의한 촬상 결과에 의거하여, 유저의 얼굴이 근접해 있는 것을 검출하면, AR 화상의 표시를 유지한다고 판정해도 된다. 즉, 수신기(200)는, 촬상 표시 화상 Ppre를 표시할 때에는, 추가로, 수신기(200)에 구비된 페이스 카메라에 의한 촬상에 의해서, 수신기(200)에 유저의 얼굴이 근접해 있는지 여부를 판정한다. 그리고, 수신기(200)는, 얼굴이 근접해 있다고 판정하면, 단계 S121에서 중첩되어 있는 AR 화상인 제1의 AR 화상과 상이한 제2의 AR 화상의 표시를 억제하면서, 그 제1의 AR 화상을 표시한다.
또는, 단계 S122에서는, 수신기(200)는, 가속도 센서를 구비하고, 그 가속도 센서에 의한 계측 결과에 의거하여, 유저의 얼굴이 근접해 있는 것을 검출하면, AR 화상의 표시를 유지한다고 판정해도 된다. 즉, 수신기(200)는, 촬상 표시 화상 Ppre를 표시할 때에는, 추가로, 가속도 센서에 의해서 계측되는 수신기(200)의 가속도에 의해서, 수신기(200)에 유저의 얼굴이 근접해 있는지 여부를 판정한다. 예를 들면, 가속도 센서에 의해서 계측되는 수신기(200)의 가속도가, 수신기(200)의 디스플레이(201)에 대하여 수직 외부 방향으로 양의 값을 나타내는 경우에, 수신기(200)는 유저의 얼굴이 근접해 있다고 판정한다. 그리고, 수신기(200)는, 얼굴이 근접해 있다고 판정하면, 단계 S121에서 중첩되어 있는 AR 화상인 제1의 확장 현실 화상과 상이한 제2의 AR 화상의 표시를 억제하면서, 그 제1의 AR 화상을 표시한다.
이에 따라, 유저가 제1의 AR 화상을 보려고 수신기(200)에 얼굴을 근접하고 있을 때, 그 제1의 AR 화상이 그것과는 상이한 제2의 AR 화상으로 치환되어 버리는 것을 억제할 수 있다.
또는, 단계 S122에서는, 수신기(200)는, 그 수신기(200)에 구비되어 있는 록 버튼이 눌려지면, AR 화상의 표시를 유지한다고 판정해도 된다.
또한, 단계 S122에서는, 수신기(200)는, 상술의 일정 기간(즉 표시 기간)이 경과하면, AR 화상의 표시를 유지하지 않는다고 판정한다. 또한, 수신기(200)는, 전술의 일정 기간이 경과하고 있지 않은 경우라도, 가속도 센서에 의해서 역치 이상의 가속도가 계측되었을 때에는, AR 화상의 표시를 유지하지 않는다고 판정한다. 즉, 수신기(200)는, 촬상 표시 화상 Ppre를 표시할 때에는, 추가로, 전술의 표시 기간에 있어서, 수신기(200)의 가속도를 가속도 센서에 의해서 계측하고, 계측된 가속도가 역치 이상인지 여부를 판정한다. 그리고, 수신기(200)는, 역치 이상이라고 판정했을 때에는, 제2의 AR 화상의 표시의 억제를 해제함으로써, 단계 S123에 있어서, 제1의 AR 화상 대신에 제2의 AR 화상을 표시한다.
이에 따라, 역치 이상의 표시 장치의 가속도가 계측되었을 때에, 제2의 AR 화상의 표시의 억제가 해제된다. 따라서, 예를 들면, 유저가 다른 피사체에 이미지 센서를 향하려고 하여 수신기(200)를 크게 움직였을 때에는, 제2의 AR 화상을 곧바로 표시할 수 있다.
도 251은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 251에 나타내는 바와 같이, 조명 장치로서 구성되고, 작은 인형용의 스테이지(111)를 비추면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 스테이지(111)는, 그 송신기(100)로부터의 광에 의해서 비추어져 있기 때문에, 송신기(100)와 동일하게 휘도 변화하여, 광 ID를 송신하고 있다.
2개의 수신기(200)는, 송신기(100)에 의해서 비추어진 스테이지(111)를 좌우로부터 촬상한다.
2개의 수신기(200) 중의 좌측의 수신기(200)는, 송신기(100)에 의해서 비추어진 스테이지(111)를 좌측으로부터 촬상함으로써, 상술과 동일하게, 촬상 표시 화상 Pf와 복호용 화상을 취득한다. 좌측의 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 좌측의 수신기(200)는, 스테이지(111)로부터 광 ID를 수신한다. 좌측의 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 좌측의 수신기(200)는, 그 광 ID에 대응하는 3차원의 AR 화상과 인식 정보를 서버로부터 취득한다. 이 3차원의 AR 화상은, 예를 들면 인형을 입체적으로 표시하기 위한 화상이다. 좌측의 수신기(200)는, 촬상 표시 화상 Pf 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 좌측의 수신기(200)는, 스테이지(111) 중앙의 상측의 영역을 대상 영역으로서 인식한다.
다음으로, 좌측의 수신기(200)는, 촬상 표시 화상 Pf에 비추어져 있는 스테이지(111)의 방향에 의거하여, 그 방향에 따른 2차원의 AR 화상 P6a를 3차원의 AR 화상으로부터 생성한다. 그리고, 좌측의 수신기(200)는, 그 대상 영역에 2차원의 AR 화상 P6a를 중첩하고, AR 화상 P6a가 중첩된 촬상 표시 화상 Pf를 디스플레이 (201)에 표시한다. 이 경우, 촬상 표시 화상 Pf의 대상 영역에 그 2차원의 AR 화상 P6a가 중첩되기 때문에, 좌측의 수신기(200)는, 스테이지(111) 상에 인형이 현실로 존재하도록, 촬상 표시 화상 Pf를 표시할 수 있다.
마찬가지로, 2개의 수신기(200) 중 우측의 수신기(200)는, 송신기(100)에 의해서 비추어진 스테이지(111)를 우측으로부터 촬상함으로써, 상술과 동일하게, 촬상 표시 화상 Pg와 복호용 화상을 취득한다. 우측의 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 우측의 수신기(200)는, 스테이지(111)로부터 광 ID를 수신한다. 우측의 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 우측의 수신기(200)는, 그 광 ID에 대응하는 3차원의 AR 화상과 인식 정보를 서버로부터 취득한다. 우측의 수신기(200)는, 촬상 표시 화상 Pg 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 우측의 수신기(200)는, 스테이지(111) 중앙의 상측의 영역을 대상 영역으로서 인식한다.
다음으로, 우측의 수신기(200)는, 촬상 표시 화상 Pg에 비추어져 있는 스테이지(111)의 방향에 의거하여, 그 방향에 따른 2차원의 AR 화상 P6b를 3차원의 AR 화상으로부터 생성한다. 그리고, 우측의 수신기(200)는, 그 대상 영역에 2차원의 AR 화상 P6b를 중첩하고, AR 화상 P6b가 중첩된 촬상 표시 화상 Pg를 디스플레이(201)에 표시한다. 이 경우, 촬상 표시 화상 Pg의 대상 영역에 그 2차원의 AR 화상 P6b가 중첩되기 때문에, 우측의 수신기(200)는, 스테이지(111) 상에 인형이 현실로 존재하도록, 촬상 표시 화상 Pg를 표시할 수 있다.
이와 같이, 2개의 수신기(200)는, 스테이지(111) 상의 동일한 위치에, AR 화상 P6a 및 P6b를 표시한다. 또한, 이들 AR 화상 P6a 및 P6b는, 가상적인 인형이 실제로 소정의 방향을 향하고 있도록, 수신기(200)의 방향에 따라서 생성되어 있다. 따라서, 스테이지(111)의 어느 방향으로부터 촬상해도, 스테이지(111) 상에 인형이 현실로 존재하도록, 촬상 표시 화상을 표시할 수 있다.
또한, 상술의 예에서, 수신기(200)는, 3차원의 AR 화상으로부터, 수신기(200)와 스테이지(111)의 사이의 위치 관계에 따른 2차원의 AR 화상을 생성했지만, 그 2차원의 AR 화상을 서버로부터 취득해도 된다. 즉, 수신기(200)는, 광 ID와 함께, 그 위치 관계를 나타내는 정보를 서버에 송신하고, 3차원의 AR 화상 대신에, 그 2차원의 AR 화상을 서버로부터 취득한다. 이에 따라, 수신기(200)의 부담을 경감할 수 있다.
도 252는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 252에 나타내는 바와 같이, 조명 장치로서 구성되어, 원주 형상의 구조물(112)을 비추면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 구조물(112)은, 그 송신기(100)로부터의 광에 의해서 비추어져 있기 때문에, 송신기(100)와 동일하게 휘도 변화하고, 광 ID를 송신하고 있다.
수신기(200)는, 송신기(100)에 의해서 비추어진 구조물(112)을 촬상함으로써, 상술과 동일하게, 촬상 표시 화상 Ph와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 구조물(112)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P7과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Ph 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 구조물(112)의 중앙부가 비추어져 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P7을 중첩하고, AR 화상 P7이 중첩된 촬상 표시 화상 Ph를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P7은, 문자열 「ABCD」를 포함하는 화상으로서, 그 문자열은 구조물(112)의 중앙부의 곡면에 맞추어 일그러져 있다. 이 경우, 촬상 표시 화상 Ph의 대상 영역에 그 일그러진 문자열을 포함하는 AR 화상 P2가 중첩되기 때문에, 수신기(200)는, 구조물(112)에 대하여 그려진 문자열이 현실로 존재하도록, 촬상 표시 화상 Ph를 표시할 수 있다.
도 253은, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 253에 나타내는 바와 같이, 음식점의 메뉴(113)를 비추면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 메뉴(113)는, 그 송신기(100)로부터의 광에 의해서 비추어져 있기 때문에, 송신기(100)와 동일하게 휘도 변화하여, 광 ID를 송신하고 있다. 또한, 메뉴(113)는, 예를 들면 「ABC 스프」, 「XYZ 샐러드」 및 「KLM 런치」등의 복수의 요리의 명칭을 나타낸다.
수신기(200)는, 송신기(100)에 의해서 비추어진 메뉴(113)를 촬상함으로써, 상술과 동일하게, 촬상 표시 화상 Pi와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 메뉴(113)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P8과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pi 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 메뉴(113)가 비추어져 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P8을 중첩하고, AR 화상 P8이 중첩된 촬상 표시 화상 Pi를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P8은, 복수의 요리의 각각에 사용되고 있는 식재를 마크로 나타내는 화상이다. 예를 들면, AR 화상 P8은, 계란이 사용되고 있는 요리 「XYZ 샐러드」에 대해서는, 계란을 모방한 마크를 나타내고, 돼지고기가 사용되고 있는 요리 「KLM 런치」에 대해서는, 돼지를 모방한 마크를 나타낸다. 이 경우, 촬상 표시 화상 Pi의 대상 영역에 그 AR 화상 P8이 중첩되기 때문에, 수신기(200)는, 식재의 마크가 붙여진 메뉴(113)가 현실로 존재하도록, 촬상 표시 화상 Pi를 표시할 수 있다. 이에 따라, 메뉴(113)에 특별한 표시 장치를 구비하는 일 없이, 수신기(200)의 유저에게 각 요리의 식재를 간단하게, 또한, 알기 쉽게 알릴 수 있다.
또한, 수신기(200)는, 복수의 AR 화상을 취득하고, 유저에 의해서 설정된 유저 정보에 의거하여, 그들 복수의 AR 화상으로부터 유저에 적합한 AR 화상을 선택하고, 그 AR 화상을 중첩해도 된다. 예를 들면, 유저가 계란에 알레르기 반응을 나타내는 것이 유저 정보에 나타나 있으면, 수신기(200)는, 계란이 사용된 요리에 대하여 계란의 마크가 붙여진 AR 화상을 선택한다. 또한, 돼지고기의 섭취가 금지되어 있는 것이 유저 정보에 나타나 있으면, 수신기(200)는, 돼지고기가 사용된 요리에 대하여 돼지의 마크가 붙여진 AR 화상을 선택한다. 또는, 수신기(200)는, 광 ID와 함께, 그 유저 정보를 서버에 송신하고, 그 광 ID와 유저 정보에 따른 AR 화상을 서버로부터 취득해도 된다. 이에 따라, 유저마다, 그 유저에 대하여 환기를 촉구하는 메뉴를 표시할 수 있다.
도 254는, 본 실시의 형태에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 254에 나타내는 바와 같이, 텔레비전으로서 구성되고, 디스플레이에 영상을 표시하면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 또한, 송신기(100)의 근방에는, 통상의 텔레비전(114)이 배치되어 있다. 텔레비전(114)은, 디스플레이에 영상을 표시하고 있지만, 광 ID를 송신하고 있지 않다.
수신기(200)는, 예를 들면 송신기(100)와 함께 텔레비전(114)을 촬상함으로써, 상술과 동일하게, 촬상 표시 화상 Pj와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P9와 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pj 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다.
예를 들면, 수신기(200)는, 복호용 화상의 휘선 패턴 영역을 이용함으로써, 촬상 표시 화상 Pj에 있어서, 광 ID를 송신하고 있는 송신기(100)가 비추어져 있는 영역의 하부를 제1의 대상 영역으로서 인식한다. 또한, 이 때, 인식 정보에 포함되는 기준 정보는, 촬상 표시 화상 Pj에 있어서의 기준 영역의 위치가, 복호용 화상에 있어서의 휘선 패턴 영역의 위치와 동일한 것을 나타낸다. 또한, 인식 정보에 포함되는 대상 정보는, 그 기준 영역의 하부에 대상 영역이 있는 것을 나타낸다. 수신기(200)는, 이러한 인식 정보를 이용하여 전술의 제1의 대상 영역을 인식하고 있다.
또한, 수신기(200)는, 촬상 표시 화상 Pj의 하부에 있어서 미리 위치가 고정되어 있는 영역을 제2의 대상 영역으로서 인식한다. 제2의 대상 영역은, 제1의 대상 영역보다도 크다. 또한, 인식 정보에 포함되는 대상 정보는, 추가로, 제1의 대상 영역의 위치뿐만 아니라, 전술과 같은 제2의 대상 영역의 위치 및 사이즈도 나타내고 있다. 수신기(200)는, 이러한 인식 정보를 이용하여 전술의 제2의 대상 영역을 인식하고 있다.
그리고, 수신기(200)는, 그 제1의 대상 영역 및 제2의 대상 영역에 AR 화상 P9를 중첩하고, AR 화상 P8이 중첩된 촬상 표시 화상 Pj를 디스플레이(201)에 표시한다. 이 AR 화상 P9의 중첩에서는, 수신기(200)는, 그 AR 화상 P9의 사이즈를 제1의 대상 영역의 사이즈에 맞추어, 사이즈 조정된 AR 화상 P9를 그 제1의 대상 영역에 중첩한다. 또한, 수신기(200)는, AR 화상 P9의 사이즈를 제2의 대상 영역의 사이즈에 맞추어 사이즈 조정된 AR 화상 P9를 그 제2의 대상 영역에 중첩한다.
예를 들면, AR 화상 P9는, 송신기(100)의 영상에 대한 자막을 나타낸다. 또한, AR 화상 P9의 자막의 언어는, 수신기(200)에 설정 등록되어 있는 유저 정보에 따른 언어이다. 즉, 수신기(200)는, 광 ID를 서버에 송신할 때에, 그 유저 정보(예를 들면, 유저의 국적 또는 사용 언어 등을 나타내는 정보)도 서버에 송신한다. 그리고, 수신기(200)는, 그 유저 정보에 따른 언어의 자막을 나타내는 AR 화상 P9를 취득한다. 또는, 수신기(200)는, 각각 상이한 언어의 자막을 나타내는 복수의 AR 화상 P9를 취득하고, 설정 등록되어 있는 유저 정보에 따라서, 그들 복수의 AR 화상 P9로부터, 중첩에 사용되는 AR 화상 P9를 선택해도 된다.
환언하면, 도 254에 나타내는 예에서는, 수신기(200)는, 각각 화상을 표시하고 있는 복수의 디스플레이를 피사체로서 촬상함으로써, 촬상 표시 화상 Pj 및 복호용 화상을 취득한다. 그리고, 수신기(200)는, 대상 영역을 인식할 때에는, 촬상 표시 화상 Pj 중, 복수의 디스플레이 중 광 ID를 송신하고 있는 디스플레이인 송신 디스플레이(즉 송신기(100))가 나타나 있는 영역을 대상 영역으로서 인식한다. 다음으로, 수신기(200)는, 송신 디스플레이에 표시되어 있는 화상에 대응하는 제1의 자막을 AR 화상으로서 그 대상 영역에 중첩한다. 또한, 수신기(200)는, 촬상 표시 화상 Pj 중 대상 영역보다도 큰 영역에, 제1의 자막이 확대된 자막인 제2의 자막을 중첩한다.
이에 따라, 수신기(200)는, 송신기(100)의 영상에 자막이 현실로 존재하도록, 촬상 표시 화상 Pj를 표시할 수 있다. 또한, 수신기(200)는, 촬상 표시 화상 Pj의 하부에도, 큰 자막을 중첩하기 때문에, 송신기(100)의 영상에 붙여져 있는 자막이 작아도, 자막을 보기 쉽게 할 수 있다. 또한, 송신기(100)의 영상에 붙여진 자막이 없고, 촬상 표시 화상 Pj의 하부에 큰 자막만이 중첩되는 경우에는, 그 중첩되어 있는 자막이 송신기(100)의 영상에 대한 자막인지, 텔레비전(114)의 영상에 대한 자막인지를 판단하는 것이 곤란하다. 그러나, 본 실시의 형태에서는, 광 ID를 송신하는 송신기(100)의 영상에 대해서도 자막이 붙여지기 때문에, 유저는, 중첩되어 있는 자막이 어느 쪽의 영상에 대한 자막인지를 용이하게 판단할 수 있다.
또한, 수신기(200)는, 촬상 표시 화상 Pj의 표시에서는, 추가로, 서버로부터 취득되는 정보에, 음성 정보가 포함되어 있는지 여부를 판정해도 된다. 그리고, 수신기(200)는, 음성 정보가 포함되어 있다고 판정했을 때에는, 제1 및 제2의 자막보다도, 음성 정보가 나타내는 음성을 우선하여 출력한다. 이에 따라, 음성이 우선적으로 출력되기 때문에, 유저가 자막을 읽는 부담을 경감할 수 있다.
또한, 상술의 예에서는, 유저 정보(즉 유저의 속성)에 따라서 자막의 언어를 상이하게 했지만, 송신기(100)에 표시되어 있는 영상(즉 컨텐츠) 그 자체를 상이하게 해도 된다. 예를 들면, 송신기(100)에 표시되어 있는 영상이 뉴스 영상인 경우에 있어서, 유저가 일본인인 것이 유저 정보에 나타나 있으면, 수신기(200)는, 일본에서 방송되고 있는 뉴스 영상을 AR 화상으로서 취득한다. 그리고, 수신기(200)는, 그 뉴스 영상을, 송신기(100)의 디스플레이가 비추어져 있는 영역(즉 대상 영역)에 중첩한다. 한편, 유저가 미국인인 것이 유저 정보에 나타나 있으면, 수신기(200)는, 미국에서 방송되고 있는 뉴스 영상을 AR 화상으로서 취득한다. 그리고, 수신기(200)는, 그 뉴스 영상을, 송신기(100)의 디스플레이가 비추어져 있는 영역(즉 대상 영역)에 중첩한다. 이에 따라, 유저에게 적합한 영상을 표시할 수 있다. 또한, 유저 정보에는, 유저의 속성으로서, 예를 들면, 국적 또는 사용 언어 등이 나타나고, 수신기(200)는 그 속성에 의거하여 상술의 AR 화상을 취득한다.
도 255는, 본 실시의 형태에 있어서의 인식 정보의 일 예를 나타내는 도면이다.
인식 정보가 예를 들면 상술과 같은 특징점 및 특징량 등이라도, 오인식이 발생할 가능성이 있다. 예를 들면, 송신기(100a 및 100b)는, 각각 송신기(100)와 동일하게 역명표로서 구성되어 있다. 이들 송신기(100a 및 100b)는, 서로 상이한 역명표라도, 서로 가까운 위치에 있으면, 유사하기 때문에 오인식될 가능성이 있다.
그래서, 송신기(100a 및 100b)의 각각의 인식 정보는, 송신기(100a 또는 100b)의 화상 전체의 각 특징점 및 각 특징량을 나타내는 일 없이, 그 화상 중의 특징적인 일부분만의 각 특징점 및 각 특징량을 나타내도 된다.
예를 들면, 송신기(100a)의 부분 a1과, 송신기(100b)의 부분 b1은 서로 크게 상이하고, 송신기(100a)의 부분 a2와, 송신기(100b)의 부분 b2는 서로 크게 상이하다. 여기서, 서버는, 송신기(100a 및 100b)가 미리 정해진 범위 내(즉 근거리)에 설치되어 있으면, 송신기(100a)에 대응하는 인식 정보로서, 부분 a1 및 부분 a2의 각각의 화상의 특징점 및 특징량을 유지한다. 동일하게, 서버는, 송신기(100b)에대응하는 식별 정보로서, 부분 b1 및 부분 b2의 각각의 화상의 특징점 및 특징량을 유지한다.
이에 따라, 수신기(200)는, 서로 유사한 송신기(100a 및 100b)가 서로 가까이에 있는 경우(전술의 미리 정해진 범위 내에 있는 경우)라도, 그들 식별 정보를 이용하여 적절히 대상 영역을 인식할 수 있다.
도 256은, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우차트이다.
수신기(200)는, 우선, 수신기(200)에 설정 등록되어 있는 유저 정보에 의거하여, 유저에게 시각 장해가 있는지 여부를 판정한다(단계 S131). 여기서, 수신기(200)는, 시각 장해가 있다고 판정하면(단계 S131의 Y), 중첩하여 표시되는 AR 화상의 문자를 음성으로 출력한다(단계 S132). 한편, 수신기(200)는, 시각 장해가 없다고 판정하면(단계 S131의 N), 추가로, 유저 정보에 의거하여, 유저에게 청각 장해가 있는지 여부를 판정한다(단계 S133). 여기서, 수신기(200)는, 청각 장해가 있다고 판정하면(단계 S133의 Y), 음성 출력을 정지한다(단계 S134). 이 때, 수신기(200)는, 모든 기능에 의한 음성의 출력을 정지한다.
또한, 수신기(200)는, 단계 S131에 있어서 시각 장해가 있다고 판정했을 때에(단계 S131의 Y), 단계 S133의 처리를 행해도 된다. 즉, 수신기(200)는, 시각 장해가 있고, 또한, 청각 장해가 없다고 판정했을 때에, 중첩하여 표시되는 AR 화상의 문자를 음성으로 출력해도 된다.
도 257은, 본 실시의 형태에 있어서의 수신기(200)가 휘선 패턴 영역을 식별하는 일 예를 나타내는 도면이다.
수신기(200)는, 우선, 각각 광 ID를 송신하는 2개의 송신기를 촬상함으로써 복호용 화상을 취득하고, 그 복호용 화상에 대한 복호에 의해서, 도 257의 (e)에 나타내는 바와 같이, 광 ID를 취득한다. 이 때, 복호용 화상에는 2개의 휘선 패턴 영역 X 및 Y가 포함되어 있기 때문에, 수신기(200)는, 휘선 패턴 영역 X에 대응하는 송신기의 광 ID와 휘선 패턴 영역 Y에 대응하는 송신기의 광 ID를 취득한다. 휘선 패턴 영역 X에 대응하는 송신기의 광 ID는, 예를 들면, 어드레스 0∼9의 각각에 대응하는 수치(즉 데이터)로 이루어지고, 「5, 2, 8, 4, 3, 6, 1, 9, 4, 3」을 나타낸다. 휘선 패턴 영역 X에 대응하는 송신기의 광 ID도 동일하게, 예를 들면, 어드레스 0∼9의 각각에 대응하는 수치로 이루어지고, 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」를 나타낸다.
수신기(200)는, 이들 광 ID를 한번 취득해도, 즉 이들 광 ID를 이미 알고 있어도, 촬상하고 있을 때, 각각의 광 ID가 어느 쪽의 휘선 패턴 영역으로부터 얻어졌는지를 모르는 상황이 되는 경우가 있다. 이러한 경우, 수신기(200)는, 도 257의 (a)∼(d)에 나타내는 처리를 행함으로써, 각각의 이미 알고 있는 광 ID가 어느쪽의 휘선 패턴 영역으로부터 얻어졌는지를 용이하게, 또한, 신속하게 판정할 수 있다.
구체적으로는, 수신기(200)는, 우선, 도 257의 (a)에 나타내는 바와 같이, 복호용 화상 Pdec11을 취득하고, 그 복호용 화상 Pdec11에 대한 복호에 의해서, 휘선 패턴 영역 X 및 Y의 각각의 광 ID의 어드레스 0의 수치를 취득한다. 예를 들면, 휘선 패턴 영역 X의 광 ID의 어드레스 0의 수치는 「5」이고, 휘선 패턴 영역 Y의 광 ID의 어드레스 0의 수치도 「5」이다. 각각의 광 ID의 어드레스 0의 수치가 「5」이기 때문에, 이 때에는, 이미 알고 있는 광 ID가 어느 쪽의 휘선 패턴 영역으로부터 얻어졌는지를 판정할 수 없다.
여기서, 수신기(200)는, 도 257의 (b)에 나타내는 바와 같이, 복호용 화상 Pdec12를 취득하고, 그 복호용 화상 Pdec12에 대한 복호에 의해서, 휘선 패턴 영역 X 및 Y의 각각의 광 ID의 어드레스 1의 수치를 취득한다. 예를 들면, 휘선 패턴 영역 X의 광 ID의 어드레스 1의 수치는 「2」이고, 휘선 패턴 영역 Y의 광 ID의 어드레스 1의 수치도 「2」이다. 각각의 광 ID의 어드레스 1의 수치가 「2」이기 때문에, 이 때에도, 이미 알고 있는 광 ID가 어느 쪽의 휘선 패턴 영역으로부터 얻어졌는지를 판정할 수 없다.
그래서, 추가로, 수신기(200)는, 도 257의 (c)에 나타내는 바와 같이, 복호용 화상 Pdec13을 취득하고, 그 복호용 화상 Pdec13에 대한 복호에 의해서, 휘선 패턴 영역 X 및 Y의 각각의 광 ID의 어드레스 2의 수치를 취득한다. 예를 들면, 휘선 패턴 영역 X의 광 ID의 어드레스 2의 수치는 「8」이고, 휘선 패턴 영역 Y의 광 ID의 어드레스 2의 수치는 「7」이다. 이 때에는, 이미 알고 있는 광 ID 「5, 2, 8, 4, 3, 6, 1, 9, 4, 3」이 휘선 패턴 영역 X로부터 얻어졌다고 판정할 수 있고, 이미 알고 있는 광 ID 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」가 휘선 패턴 영역 Y로부터 얻어졌다고 판정할 수 있다.
그러나, 수신기(200)는, 신뢰도를 높이기 위해서, 추가로, 도 257의 (d)에 나타내는 바와 같이, 각각의 광 ID의 어드레스 3의 수치를 취득해도 된다. 즉, 수신기(200)는, 복호용 화상 Pdec14를 취득하고, 그 복호용 화상 Pdec14에 대한 복호에 의해서, 휘선 패턴 영역 X 및 Y의 각각의 광 ID의 어드레스 3의 수치를 취득한다. 예를 들면, 휘선 패턴 영역 X의 광 ID의 어드레스 3의 수치는 「4」이고, 휘선 패턴 영역 Y의 광 ID의 어드레스 3의 수치는 「7」이다. 이 때에는, 이미 알고 있는 광 ID 「5, 2, 8, 4, 3, 6, 1, 9, 4, 3」이 휘선 패턴 영역 X로부터 얻어졌다고 판정할 수 있고, 이미 알고 있는 광 ID 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」가 휘선 패턴 영역 Y로부터 얻어졌다고 판정할 수 있다. 즉, 어드레스 2뿐만 아니라 어드레스 3에 의해서, 휘선 패턴 영역 X 및 Y의 광 ID를 식별할 수 있기 때문에, 신뢰도를 높일 수 있다.
이와 같이, 본 실시의 형태에서는, 광 ID의 모든 어드레스의 수치(즉 데이터)를 재차 취득하는 일 없이, 적어도 1개의 어드레스의 수치를 다시 취득한다. 이에 따라, 이미 알고 있는 광 ID가 어느 쪽의 휘선 패턴 영역으로부터 얻어졌는지를 용이하게, 또한, 신속히 판정할 수 있다.
또한, 전술의 도 257의 (c) 및 (d)에 나타내는 예에서는, 소정의 어드레스에 대하여 취득된 수치가, 이미 알고 있는 광 ID의 수치와 일치하고 있지만, 일치하고 있지 않아도 된다. 예를 들면, 도 257의 (d)에 나타내는 예에 있어서, 수신기(200)는, 휘선 패턴 영역 Y의 광 ID의 어드레스 3의 수치로서 「6」을 취득한다. 이 어드레스 3의 수치 「6」은, 이미 알고 있는 광 ID 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」의 어드레스 3의 수치 「7」과는 상이하다. 그러나, 수치 「6」은 수치 「7」에 가까운 수치이기 때문에, 수신기(200)는, 이미 알고 있는 광 ID 「5, 2, 7, 7, 1, 5, 3, 2, 7, 4」가 휘선 패턴 영역 Y로부터 얻어졌다고 판정해도 된다. 또한, 수신기는, 수치 「6」이 수치 「7」±n(n은 예를 들면 1 이상의 수)의 범위 내에 있는지 여부에 따라서, 수치 「6」이 수치 「7」에 가까운 수치인지 여부를 판정해도 된다.
도 258은, 본 실시의 형태에 있어서의 수신기(200)의 다른 예를 나타내는 도면이다.
수신기(200)는, 상술의 예에서는 스마트 폰으로서 구성되어 있지만, 도 19∼도 21에 나타내는 예와 동일하게, 이미지 센서를 구비한 헤드 마운트 디스플레이(글래스라고도 한다)로서 구성되어 있어도 된다.
이러한 수신기(200)는, 상술과 같은 AR 화상의 표시를 위한 처리 회로(이하, AR 처리 회로라고 한다)를 항상 기동해 두면 소비 전력이 많아지기 때문에, 미리 정해진 신호를 검출했을 때에, 그 AR 처리 회로를 기동해도 된다.
예를 들면, 수신기(200)는, 터치 센서(202)를 구비하고 있다. 터치 센서(202)는, 유저의 손가락 등에 닿으면, 터치 신호를 출력한다. 수신기(200)는, 그 터치 신호를 검출했을 때에, AR 처리 회로를 기동한다.
또는, 수신기(200)는, Bluetooth(등록상표) 또는 Wi－Fi(등록상표) 등의 전파 신호를 검출했을 때에, AR 처리 회로를 기동해도 된다.
또는, 수신기(200)는, 가속도 센서를 구비하고, 그 가속도 센서에 의해서 중력의 방향과 반대의 방향으로의 역치 이상의 가속도가 계측되었을 때에, AR 처리 회로를 기동해도 된다. 즉, 수신기(200)는, 상기 가속도를 나타내는 신호를 검출했을 때에, AR 처리 회로를 기동한다. 예를 들면, 유저가, 글래스로서 구성되어 있는 수신기(200)의 코에 닿는 부분을 아래로부터 손가락으로 상방으로 밀어올리면, 수신기(200)는 상기 가속도를 나타내는 신호를 검출하고, AR 처리 회로를 기동한다.
또는, 수신기(200)는, GPS 및 9축 센서 등에 의해서, 이미지 센서가 송신기(100)를 향해진 것을 검지했을 때에, AR 처리 회로를 기동해도 된다. 즉, 수신기(200)는, 수신기(200)가 소정의 방향으로 향해진 것을 나타내는 신호를 검출했을 때에, AR 처리 회로를 기동한다. 이 경우, 송신기(100)가 상술의 일본어의 역명표 등이면, 수신기(200)는, 영어의 역명을 나타내는 AR 화상을 그 역명표에 중첩하여 표시한다.
도 259는, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우차트이다.
수신기(200)는, 송신기(100)로부터 광 ID를 취득하면(단계 S141), 그 광 ID에 따른 모드 지정 정보를 수신함으로써, 노이즈 캔슬의 모드를 전환한다(단계 S142). 그리고, 수신기(200)는, 그 모드의 전환 처리를 종료해야할지 여부를 판정하고(단계 S143), 종료해서는 안된다고 판정하면(단계 S143의 N) 단계 S141로부터의 처리를 반복하여 실행한다. 노이즈 캔슬의 모드의 전환은, 예를 들면, 비행기 내에 있어서의 엔진 등의 소음을 소거하는 모드(ON)와, 그 소음의 소거를 행하지 않는 모드(OFF)이다. 구체적으로는, 수신기(200)를 휴대하는 유저는, 그 수신기(200)에 접속되는 이어 폰을 귀에 대고, 그 수신기(200)로부터 출력되는 음악 등의 음성을 듣고 있다. 이러한 유저가 비행기에 탑승하면, 수신기(200)는 광ID를 취득한다. 그 결과, 수신기(200)는, 노이즈 캔슬의 모드를 OFF로부터 ON으로 전환한다. 이에 따라, 유저는, 기 내라도, 엔진의 소음 등의 노이즈가 포함되지 않는 음성을 들을 수 있다. 또한, 유저가 비행기에서 나올 때도, 수신기(200)는 광 ID를 취득한다. 이 광 ID를 취득한 수신기(200)는, 노이즈 캔슬의 모드를 ON으로부터 OFF로 전환한다. 또한, 노이즈 캔슬의 대상이 되는 노이즈는, 엔진의 소음뿐만 아니라, 사람의 소리 등, 어떠한 소리여도 된다.
도 260은, 본 실시의 형태에 있어서의 복수의 송신기를 포함하는 송신 시스템의 일 예를 나타내는 도면이다.
이 송신 시스템은, 미리 정해진 순으로 배열된 복수의 송신기(120)를 구비하고 있다. 이들 송신기(120)는, 송신기(100)와 동일하게, 상기 실시의 형태 1∼22 중 어느 것의 실시의 형태에 있어서의 송신기로서, 1개 또는 복수의 발광 소자(예를 들면 LED)를 구비한다. 선두의 송신기(120)는, 미리 정해진 주파수(캐리어 주파수)에 따라서 1개 또는 복수의 발광 소자의 휘도를 변화시킴으로써, 광 ID를 송신한다. 또한, 선두의 송신기(120)는, 그 휘도의 변화를 나타내는 신호를 동기 신호로서 후속의 송신기(120)에 출력한다. 후속의 송신기(120)는, 그 동기 신호를 받으면, 그 동기 신호에 따라서 1개 또는 복수의 발광 소자의 휘도를 변화시킴으로써, 광 ID를 송신한다. 또한, 후속의 송신기(120)는, 그 휘도의 변화를 나타내는 신호를 동기 신호로서 다음의 후속의 송신기(120)에 출력한다. 이에 따라, 송신 시스템에 포함되는 모든 송신기(120)는, 동기하여 광 ID를 송신한다.
여기서, 동기 신호는, 선두의 송신기(120)로부터 후속의 송신기(120)에 받아넘겨지고, 후속의 송신기(120)로부터 추가로 다음의 후속의 송신기(120)에 받아넘겨져, 최후 송신기(120)에까지 닿는다. 동기 신호의 받아넘김에는 예를 들면 약 1μ초 걸린다. 따라서, 송신 시스템에, N(N은 2 이상의 정수)대의 송신기(120)가 구비되어 있으면, 동기 신호가 선두의 송신기(120)로부터 최후 송신기(120)에 닿을 때까지 1×Nμ초 걸리게 된다. 그 결과, 광 ID의 송신의 타이밍이 최대 Nμ초 어긋나게 된다. 예를 들면, N대의 송신기(120)가 9.6kHz의 주파수에 따라서 광 ID를 송신하고, 수신기(200)가 9.6kHz의 주파수로 광 ID를 수신하려고 해도, 수신기(200)는, Nμ초 어긋난 광 ID를 수신하기 때문에, 그 광 ID를 올바르게 수신할 수 없는 경우가 있다.
그래서, 본 실시의 형태에서는, 선두의 송신기(120)는, 송신 시스템에 포함되는 송신기(120)의 대수에 따라서 빠르게 광 ID를 송신한다. 예를 들면, 선두의 송신기(120)는, 9.605kHz의 주파수에 따라서 광 ID를 송신한다. 한편, 수신기(200)는, 9.6kHz의 주파수로 광 ID를 수신한다. 이 때, 수신기(200)는 Nμ초 어긋난 광 ID를 수신해도, 선두의 송신기(120)의 주파수가 수신기(200)의 주파수보다도 0.005kHz만큼 높기 때문에, 그 광 ID의 어긋남에 의한 수신 에러의 발생을 억제할 수 있다.
또한, 선두의 송신기(120)는, 최후 송신기(120)로부터 동기 신호를 피드백하여, 주파수의 조정량을 제어해도 된다. 예를 들면, 선두의 송신기(120)는, 스스로 동기 신호를 출력하고 나서, 최후 송신기(120)로부터 피드백된 동기 신호를 수취할 때까지의 시간을 계측한다. 그리고, 선두의 송신기(120)는, 그 시간이 길수록, 기준의 주파수(예를 들면, 9.6kHz)보다도 높은 주파수에 따라서 광 ID를 송신한다.
도 261은, 본 실시의 형태에 있어서의 복수의 송신기 및 수신기를 포함하는 송신 시스템의 일 예를 나타내는 도면이다.
이 송신 시스템은, 예를 들면 2개의 송신기(120)와 수신기(200)를 구비하고 있다. 2개의 송신기(120) 중의 한쪽의 송신기(120)는, 9.599kHz의 주파수에 따라서 광 ID를 송신한다. 다른쪽의 송신기(120)는, 9.601kHz의 주파수에 따라서 광 ID를 송신한다. 이러한 경우, 2개의 송신기(120)는 각각, 스스로의 광 ID의 주파수를 전파 신호로 수신기(200)에 통지한다.
수신기(200)는, 그들 주파수의 통지를 받으면, 통지된 주파수의 각각에 따른 복호를 시도한다. 즉, 수신기(200)는, 9.599kHz의 주파수에 따라서, 복호용 화상에 대한 복호를 시도하고, 이에 의해 광 ID를 수신할 수 없으면, 9.601kHz의 주파수에 따라서, 복호용 화상에 대한 복호를 시도한다. 이와 같이, 수신기(200)는, 통지된 모든 주파수의 각각에 따라서, 복호용 화상에 대한 복호를 시도한다. 바꾸어 말하면, 수신기(200)는, 통지된 각각의 주파수에 대하여 모두 행한다. 또는, 수신기(200)는, 통지된 모든 주파수의 평균 주파수에 따른 복호를 시도해도 된다. 즉, 수신기(200)는, 9.599kHz와 9.601kHz의 평균 주파수인 9.6kHz에 따른 복호를 시도한다.
이에 따라, 수신기(200)와 송신기(120)의 각각의 주파수의 차이에 의한 수신 에러의 발생율을 저하시킬 수 있다.
도 262a는, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 일 예를 나타내는 플로우차트이다.
수신기(200)는, 우선, 촬상을 개시하고(단계 S151), 파라미터 N을 1에 초기화한다(단계 S152). 다음으로, 수신기(200)는, 그 촬상에 의해서 얻어진 복호용 화상을, 파라미터 N에 대응하는 주파수에 따라서 복호하고, 그 복호 결과에 대한 평가치를 산출한다(단계 S153). 예를 들면, 파라미터 N=1, 2, 3, 4, 5의 각각에는, 9.6kHz, 9.601kHz, 9.599kHz, 9.602kHz 등의 주파수가 미리 대응지어져 있다. 평가치는, 복호 결과가 올바른 광 ID에 유사해 있을수록 높은 수치를 나타낸다.
다음으로, 수신기(200)는, 파라미터 N의 수치가, 미리 정해진 1 이상의 정수인 Nmax에 동일한지 여부를 판정한다(단계 S154). 여기서, 수신기(200)는, Nmax에 동일하지 않다고 판정하면(단계 S154의 N), 파라미터 N을 인크리먼트하고(단계 S155), 단계 S153으로부터의 처리를 반복하여 실행한다. 한편, 수신기(200)는, Nmax에 동일하다고 판정하면(단계 S154의 Y), 최대의 평가치가 산출된 주파수를 최적 주파수로 하여, 수신기(200)의 장소를 나타내는 장소 정보에 대응지어 서버에 등록한다. 이와 같이 등록되는 최적 주파수 및 장소 정보는, 등록 후, 그 장소 정보에 나타나는 장소로 이동해 온 수신기(200)에 의한 광 ID의 수신을 위해서 이용된다. 또한, 장소 정보는, 예를 들면 GPS에 의해서 계측되는 위치를 나타내는 정보라도 좋고, 무선 LAN(Local　Area　Network)에 있어서의 액세스 포인트의 식별 정보(예를 들면, SSID：Serｖice　Set　Identifier)라도 된다.
또한, 서버에의 등록을 행한 수신기(200)는, 그 최적 주파수에 의한 복호에 의해서 얻어진 광 ID에 따라서, 예를 들면 전술과 같은 AR 화상의 표시를 행한다.
도 262b는, 본 실시의 형태에 있어서의 수신기(200)의 처리 동작의 일 예를 나타내는 플로우차트이다.
도 262a에 나타내는 서버로의 등록이 행해진 후, 수신기(200)는, 자신이 존재하는 장소를 나타내는 장소 정보를 서버에 송신한다(단계 S161). 다음으로, 수신기(200)는, 그 장소 정보에 대응지어 등록되어 있는 최적 주파수를 그 서버로부터 취득한다(단계 S162).
다음으로, 수신기(200)는, 촬상을 개시하고(단계 S163), 그 촬상에 의해서 얻어진 복호용 화상을, 단계 S162에서 취득한 최적 주파수에 따라서 복호한다(단계 S164). 수신기(200)는, 이 복호에 의해서 얻어진 광 ID에 따라서, 예를 들면 전술과 같은 AR 화상의 표시를 행한다.
이와 같이, 서버에의 등록이 행해진 후에는, 수신기(200)는, 도 262a에 나타내는 처리를 실행하는 일 없이, 최적 주파수를 취득하여 광 ID를 수신할 수 있다. 또한, 수신기(200)는, 단계 S162에 있어서 최적 주파수를 취득할 수 없었을 때에, 도 262a에 나타내는 처리를 실행함으로써 최적 주파수를 취득해도 된다.
［실시의 형태 23의 정리］
도 263a는, 본 실시의 형태에 있어서의 표시 방법을 나타내는 플로우차트이다.
본 실시의 형태에 있어서의 표시 방법은, 상술의 수신기(200)인 표시 장치가 화상을 표시하는 표시 방법으로서, 단계 SL11∼SL16을 포함한다.
단계 SL11에서는, 이미지 센서가 피사체를 촬상함으로써 촬상 표시 화상 및 복호용 화상을 취득한다. 단계 SL12에서는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 단계 SL13에서는, 그 광 ID를 서버에 송신한다. 단계 SL14에서는, 그 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다. 단계 SL15에서는, 촬상 표시 화상 중, 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 단계 SL16에서는, 대상 영역에 AR 화상이 중첩된 촬상 표시 화상을 표시한다.
이에 따라, AR 화상이 촬상 표시 화상에 중첩되어 표시되기 때문에, 유저에게 유익한 화상을 표시할 수 있다. 또한, 처리 부하를 억제하여 적절한 대상 영역에 AR 화상을 중첩할 수 있다.
즉, 일반적인 확장 현실(즉 AR)에서는, 미리 보존되어 있는 방대한 수의 인식 대상 화상과, 촬상 표시 화상을 비교함으로써, 그 촬상 표시 화상에 어떠한 인식 대상 화상이 포함되어 있는지 여부가 판정된다. 그리고, 인식 대상 화상이 포함되어 있다고 판정되면, 그 인식 대상 화상에 대응하는 AR 화상이 촬상 표시 화상에 중첩된다. 이 때, 인식 대상 화상을 기준으로 AR 화상의 위치 맞춤이 행해진다. 이와 같이, 일반적인 확장 현실에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교하기 때문에, 추가로, 위치 맞춤에 있어서도 촬상 표시 화상에 있어서의 인식 대상 화상의 위치 검출이 필요해지기 때문에, 계산량이 많아, 처리 부하가 높다는 문제가 있다.
그러나, 본 실시의 형태에 있어서의 표시 방법에서는, 도 235∼도 262b에도 나타내는 바와 같이, 피사체의 촬상에 의해서 얻어지는 복호용 화상을 복호함으로써 광 ID가 취득된다. 즉, 피사체인 송신기로부터 송신된 광 ID가 수신된다. 또한, 이 광 ID에 대응하는 AR 화상과 인식 정보가 서버로부터 취득된다. 따라서, 서버에서는, 방대한 수의 인식 대상 화상과 촬상 표시 화상을 비교할 필요가 없고, 광 ID에 미리 대응지어져 있는 AR 화상을 선택하여 표시 장치에 송신할 수 있다. 이에 따라, 계산량을 줄여 처리 부하를 대폭으로 억제할 수 있다.
또한, 본 실시의 형태에 있어서의 표시 방법에서는, 이 광 ID에 대응하는 인식 정보가 서버로부터 취득된다. 인식 정보는, 촬상 표시 화상에 있어서 AR 화상이 중첩되는 영역인 대상 영역을 인식하기 위한 정보이다. 이 인식 정보는, 예를 들면 흰 사각형이 대상 영역인 것을 나타내는 정보여도 된다. 이 경우에는, 대상 영역을 간단하게 인식할 수 있어, 처리 부하를 더욱 억제할 수 있다. 즉, 인식 정보의 내용에 따라서, 처리 부하를 더욱 억제할 수 있다. 또한, 서버에서는, 광 ID에 따라서 그 인식 정보의 내용을 임의로 설정할 수 있기 때문에, 처리 부하와 인식 정밀도의 밸런스를 적절히 유지할 수 있다.
여기서, 인식 정보는, 촬상 표시 화상 중의 기준 영역을 특정하기 위한 기준 정보와, 그 기준 영역에 대한 대상 영역의 상대 위치를 나타내는 대상 정보를 포함하고 있어도 된다. 이 경우, 대상 영역의 인식에서는, 기준 정보에 의거하여 촬상 표시 화상으로부터 기준 영역을 특정하고, 촬상 표시 화상 중, 그 기준 영역의 위치를 기준으로 하여 대상 정보에 의해 나타나는 상대 위치에 있는 영역을, 대상 영역으로서 인식한다.
이에 따라, 도 244 및 도 245에 나타내는 바와 같이, 촬상 표시 화상에 있어서 인식되는 대상 영역의 위치의 자유도를 넓힐 수 있다.
또한, 기준 정보는, 촬상 표시 화상에 있어서의 기준 영역의 위치가, 복호용 화상에 있어서의, 이미지 센서가 갖는 복수의 노광 라인의 노광에 의해서 나타나는 복수의 휘선의 패턴으로 이루어지는 휘선 패턴 영역의 위치와 동일한 것을 나타내도 된다.
이에 따라, 도 244 및 도 245에 나타내는 바와 같이, 촬상 표시 화상에 있어서의 휘선 패턴 영역에 대응하는 영역을 기준으로 하여 대상 영역을 인식할 수 있다.
또한, 기준 정보는, 촬상 표시 화상에 있어서의 기준 영역이, 촬상 표시 화상 중의 디스플레이가 비추어져 있는 영역인 것을 나타내도 된다.
이에 따라, 도 235에 나타내는 바와 같이, 예를 들면 역명표를 디스플레이로 하면, 그 디스플레이가 비추어져 있는 영역을 기준으로 하여 대상 영역을 인식할 수 있다.
또한, 촬상 표시 화상의 표시에서는, 상술의 AR 화상인 제1의 AR 화상과 상이한 제2의 AR 화상의 표시를 억제하면서, 미리 정해진 표시 기간만, 제1의 AR 화상을 표시해도 된다.
이에 따라, 도 250에 나타내는 바와 같이, 유저가 한번 표시된 제1의 AR 화상을 보고 있을 때, 그 제1의 AR 화상이 그것과는 상이한 제2의 AR 화상으로 곧바로 치환되어 버리는 것을 억제할 수 있다.
또한, 촬상 표시 화상의 표시에서는, 표시 기간에는, 새롭게 취득되는 복호용 화상에 대한 복호를 금지해도 된다.
이에 따라, 도 250에 나타내는 바와 같이, 새롭게 취득되는 복호용 화상의 복호는, 제2의 AR 화상의 표시가 억제되어 있을 때는 쓸데없는 처리이기 때문에, 그 복호를 금지함으로써, 소비 전력을 억제할 수 있다.
또한, 촬상 표시 화상의 표시에서는, 추가로, 표시 기간에 있어서, 표시 장치의 가속도를 가속도 센서에 의해서 계측하고, 계측된 가속도가 역치 이상인지 여부를 판정해도 된다. 그리고, 역치 이상으로 판정했을 때에는, 제2의 AR 화상의 표시의 억제를 해제함으로써, 제1의 AR 화상 대신에 제2의 AR 화상을 표시해도 된다.
이에 따라, 도 250에 나타내는 바와 같이, 역치 이상의 표시 장치의 가속도가 계측되었을 때에, 제2의 AR 화상의 표시의 억제가 해제된다. 따라서, 예를 들면, 유저가 다른 피사체에 이미지 센서를 향하려고 표시 장치를 크게 움직였을 때에는, 제2의 AR 화상을 곧바로 표시할 수 있다.
또한, 촬상 표시 화상의 표시에서는, 추가로 표시 장치에 구비된 페이스 카메라에 의한 촬상에 의해서, 표시 장치에 유저의 얼굴이 근접해 있는지 여부를 판정해도 된다. 그리고, 얼굴이 근접해 있다고 판정하면, 제1의 AR 화상과 상이한 제2의 AR 화상의 표시를 억제하면서, 제1의 AR 화상을 표시해도 된다. 또는, 촬상 표시 화상의 표시에서는, 추가로, 가속도 센서에 의해서 계측되는 표시 장치의 가속도에 의해서, 표시 장치에 유저의 얼굴이 근접해 있는지 여부를 판정해도 된다. 그리고, 얼굴이 근접해 있다고 판정하면, 제1의 AR 화상과 상이한 제2의 AR 화상의 표시를 억제하면서, 제1의 AR 화상을 표시해도 된다.
이에 따라, 도 250에 나타내는 바와 같이, 유저가 제1의 AR 화상을 보려고 표시 장치에 얼굴을 접근하고 있을 때, 그 제1의 AR 화상이 그것과는 상이한 제2의 AR 화상으로 치환되어 버리는 것을 억제할 수 있다.
또한, 도 254에 나타내는 바와 같이, 촬상 표시 화상 및 복호용 화상의 취득에서는, 각각 화상을 표시하고 있는 복수의 디스플레이를 피사체로서 촬상함으로써, 그 촬상 표시 화상 및 복호용 화상을 취득해도 된다. 이 때, 대상 영역의 인식에서는, 촬상 표시 화상 중, 복수의 디스플레이 중 광 ID를 송신하고 있는 디스플레이인 송신 디스플레이가 나타나 있는 영역을 대상 영역으로서 인식한다. 또한, 촬상 표시 화상의 표시에서는, 송신 디스플레이에 표시되어 있는 화상에 대응하는 제1의 자막을 AR 화상으로서 대상 영역에 중첩하고, 또한, 촬상 표시 화상 중의 대상 영역보다도 큰 영역에, 제1의 자막이 확대된 자막인 제2의 자막을 중첩한다.
이에 따라, 송신 디스플레이의 화상에 제1의 자막이 중첩되기 때문에, 그 제1의 자막이 복수의 디스플레이 중의 어느 디스플레이의 화상에 대한 자막인지를, 유저에게 용이하게 파악시킬 수 있다. 또한, 제1의 자막이 확대된 자막인 제2의 자막도 표시되기 때문에, 제1의 자막이 작아서 읽기 어려운 경우라도, 제2의 자막의 표시에 의해서, 자막을 읽기 쉽게 할 수 있다.
또한, 촬상 표시 화상의 표시에서는, 추가로, 전술의 서버로부터 취득되는 정보에, 음성 정보가 포함되어 있는지 여부를 판정하고, 포함되어 있다고 판정했을 때에는, 제1 및 제2의 자막보다도, 그 음성 정보가 나타내는 음성을 우선하여 출력해도 된다.
이에 따라, 음성이 우선적으로 출력되기 때문에, 유저가 자막을 읽는 부담을 경감할 수 있다.
도 263b는, 본 실시의 형태에 있어서의 표시 장치의 구성을 나타내는 블록도이다.
본 실시의 형태에 있어서의 표시 장치(10)는, 화상을 표시하는 표시 장치로서, 이미지 센서(11)와, 복호부(12)와, 송신부(13)와, 취득부(14)와, 인식부(15)와, 표시부(16)를 구비한다. 또한, 이 표시 장치(10)는, 전술의 수신기(200)에 상당한다.
이미지 센서(11)는, 피사체를 촬상함으로써 촬상 표시 화상 및 복호용 화상을 취득한다. 복호부(12)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 송신부(13)는, 그 광 ID를 서버에 송신한다. 취득부(14)는, 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다. 인식부(15)는, 촬상 표시 화상 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 표시부(16)는, 그 대상 영역에 AR 화상이 중첩된 촬상 표시 화상을 표시한다.
이에 따라, AR 화상이 촬상 표시 화상에 중첩되어 표시되기 때문에, 유저에게 유익한 화상을 표시할 수 있다. 또한, 처리 부하를 억제하여 적절한 대상 영역에 AR 화상을 중첩할 수 있다.
또한, 본 실시의 형태에 있어서, 각 구성 요소는, 전용의 하드웨어로 구성되거나, 각 구성 요소에 적절한 소프트웨어 프로그램을 실행함으로써 실현되어도 된다. 각 구성 요소는, CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 읽어내 실행함으로써 실현되어도 된다. 여기서, 본 실시의 형태의 수신기(200) 또는 표시 장치(10) 등을 실현하는 소프트웨어는, 도 239, 도 246, 도 250, 도 256, 도 259, 및 도 262a∼도 263a에 나타내는 플로우차트에 포함되는 각 단계를 컴퓨터에 실행시키는 프로그램이다.
［실시의 형태 23의 변형예 1］
이하, 실시의 형태 23의 변형예 1, 즉, 광 ID를 이용한 AR을 실현하는 표시 방법의 변형예 1에 대해서 설명한다.
도 264는, 실시의 형태 23의 변형예 1에 있어서의 수신기가 AR 화상을 표시하는 예를 나타내는 도면이다.
수신기(200)는, 그 이미지 센서에 의한 피사체의 촬상에 의해서, 상술의 통상 촬영 화상인 촬상 표시 화상 Pk와, 상술의 가시광 통신 화상 또는 휘선 화상인 복호용 화상을 취득한다.
구체적으로는, 수신기(200)의 이미지 센서는, 로봇으로서 구성되어 있는 송신기(100c)와, 송신기(100c)의 가까이에 있는 인물(21)을 촬상한다. 송신기(100c)는, 상기 실시의 형태 1∼22 중 어느 실시의 형태에 있어서의 송신기로서, 1개 또는 복수의 발광 소자(예를 들면 LED)(131)를 구비한다. 이 송신기(100c)는, 그 1개 또는 복수의 발광 소자(131)를 점멸시킴으로써 휘도 변화하고, 그 휘도 변화에 의해서 광 ID(광 식별 정보)를 송신한다. 이 광 ID는, 전술의 가시광 신호이다.
수신기(200)는, 송신기(100c) 및 인물(21)을 통상 노광 시간에 촬상함으로써, 그들이 비추어진 촬상 표시 화상 Pk를 취득한다. 또한, 수신기(200)는, 그 통상 노광 시간보다도 짧은 통신용 노광 시간에 송신기(100c) 및 인물(21)을 촬상함으로써, 복호용 화상을 취득한다.
수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 송신기(100c)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P10과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pk 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 송신기(100c)인 로봇이 비추어져 있는 영역의 우측에 있는 영역을 대상 영역으로서 인식한다. 구체적으로는, 수신기(200)는, 촬상 표시 화상 Pk에 비추어져 있는 송신기(100c)의 2개의 마커(132a 및 132b)의 사이의 거리를 특정한다. 그리고, 수신기(200)는, 그 거리에 따른 폭 및 높이를 갖는 영역을 대상 영역으로서 인식한다. 즉, 인식 정보는, 마커(132a 및 132b)의 형상과, 그들 마커(132a 및 132b)를 기준으로 하는 대상 영역의 위치 및 크기를 나타내고 있다.
그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P10을 중첩하고, AR 화상 P10이 중첩된 촬상 표시 화상 Pk를 디스플레이(201)에 표시한다. 예를 들면, 수신기(200)는, 송신기(100c)와는 상이한 다른 로봇을 나타내는 AR 화상 P10을 취득한다. 이 경우, 촬상 표시 화상 Pk의 대상 영역에 그 AR 화상 P10이 중첩되기 때문에, 송신기(100c)에 인접하는 다른 로봇이 현실로 존재하도록, 촬상 표시 화상 Pk를 표시할 수 있다. 그 결과, 인물(21)은, 다른 로봇이 실재하고 있지 않아도, 송신기(100c)와 함께 다른 로봇과 함께 사진에 찍힐 수 있다.
도 265는, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 265에 나타내는 바와 같이, 표시 패널을 갖는 화상 표시 장치로서 구성되고, 그 표시 패널에 정지 화상 PS를 표시하면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 또한, 표시 패널은, 예를 들면 액정 디스플레이 또는 유기 EL(electroluminescence) 디스플레이이다.
수신기(200)는, 송신기(100)를 촬상함으로써, 상술과 동일하게, 촬상 표시 화상 Pm과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P11과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pm 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 송신기(100)에 있어서의 표시 패널이 비추어져 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P11을 중첩하고, AR 화상 P11이 중첩된 촬상 표시 화상 Pm을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P11은, 송신기(100)의 표시 패널에 표시되어 있는 정지 화상 PS와 동일 또는 실질적으로 동일한 픽쳐를 표시순으로 선두의 픽쳐로서 갖는 동화상이다. 즉, AR 화상 P11은, 정지 화상 PS로부터 움직이기 시작하는 동화상이다.
이 경우, 촬상 표시 화상 Pm의 대상 영역에 그 AR 화상 P11이 중첩되기 때문에, 수신기(200)는, 동화상을 표시하는 화상 표시 장치가 현실로 존재하도록, 촬상 표시 화상 Pm을 표시할 수 있다.
도 266은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 266에 나타내는 바와 같이 역명표로서 구성되고, 휘도 변화함으로써, 광 ID를 송신하고 있다.
수신기(200)는, 도 266의 (a)에 나타내는 바와 같이, 송신기(100)로부터 떨어진 위치로부터 송신기(100)를 촬상한다. 이에 따라, 수신기(200)는, 상술과 동일하게, 촬상 표시 화상 Pn과 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해 광 ID를 취득한다. 즉, 수신기(200)는, 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P12∼P14와 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pn 중, 그 인식 정보에 따른 2개의 영역을 제1 및 제2의 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 송신기(100)의 주위의 영역을 제1의 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 제1의 대상 영역에 AR 화상 P12를 중첩하고, AR 화상 P12가 중첩된 촬상 표시 화상 Pn을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P12는, 수신기(200)의 유저에 대하여 송신기(100)로의 접근을 촉구하는 화살표이다.
이 경우, 촬상 표시 화상 Pn의 제1의 대상 영역에 그 AR 화상 P12가 중첩되어 표시되기 때문에, 유저는, 수신기(200)를 송신기(100)를 향한 상태로 송신기(100)에 접근한다. 이러한 수신기(200)의 송신기(100)로의 접근에 의해서, 촬상 표시 화상 Pn에 비추어져 있는 송신기(100)의 영역(상술의 기준 영역에 상당)은 커진다. 그 영역의 크기가 제1의 역치 이상이 되면, 수신기(200)는, 예를 들면 도 266의 (b)에 나타내는 바와 같이, 추가로, 송신기(100)가 비추어져 있는 영역인 제2의 대상 영역에 AR 화상 P13을 중첩한다. 즉, 수신기(200)는, AR 화상 P12 및 P13이 중첩된 촬상 표시 화상 Pn을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P13은, 유저에 대하여, 역명표에 나타나는 역 주변의 개요를 알리는 메세지이다. 또한, AR 화상 P13은, 촬상 표시 화상 Pn에 비추어져 있는 송신기(100)의 영역의 크기와 동일하다.
또한, 이 경우에도, 촬상 표시 화상 Pn의 제1의 대상 영역에 화살표인 AR 화상 P12가 중첩되어 표시되기 때문에, 유저는, 수신기(200)를 송신기(100)를 향한 상태로 송신기(100)에 접근한다. 이러한 수신기(200)의 송신기(100)에의 접근에 의해, 촬상 표시 화상 Pn에 비추어져 있는 송신기(100)의 영역(상술의 기준 영역에 상당)은 더욱 커진다. 그 영역의 크기가 제2의 역치 이상이 되면, 수신기(200)는, 예를 들면 도 266의 (c)에 나타내는 바와 같이, 제2의 대상 영역에 중첩되어 있는 AR 화상 P13을 AR 화상 P14로 변경한다. 또한, 수신기(200)는, 제1의 대상 영역에 중첩되어 있는 AR 화상 P12를 삭제한다.
즉, 수신기(200)는, AR 화상 P14가 중첩된 촬상 표시 화상 Pn을 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P14는, 유저에 대하여, 역명표에 나타나는 역 주변의 상세를 알리는 메세지이다. 또한, AR 화상 P14는, 촬상 표시 화상 Pn에 비추어져 있는 송신기(100)의 영역의 크기와 동일하다. 이 송신기(100)의 영역은, 수신기(200)가 송신기(100)에 가까울수록 크다. 따라서, AR 화상 P14는, AR 화상 P13보다도 크다.
이와 같이, 수신기(200)는, 송신기(100)에 근접할수록, AR 화상을 크게 하여, 많은 정보를 표시한다. 또한, AR 화상 P12와 같은 유저에게 접근을 촉구하는 화살표가 표시되기 때문에, 송신기(100)에 근접할수록 많은 정보가 표시되는 것을 유저에게 용이하게 파악시킬 수 있다.
도 267은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 266에 나타내는 예에서는, 수신기(200)는, 송신기(100)에 근접하면 많은 정보를 표시시키지만, 송신기(100)와의 사이의 거리에 상관없이, 많은 정보를 예를 들면 말풍선의 형태로 표시해도 된다.
구체적으로는, 수신기(200)는, 도 267에 나타내는 바와 같이, 송신기(100)를 촬상함으로써, 전술과 동일하게, 촬상 표시 화상 Po와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 송신기(100)로부터 광 ID를 수신한다. 수신기(200)는, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상 P15와 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Po 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 송신기(100)의 주위의 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 대상 영역에 AR 화상 P15를 중첩하고, AR 화상 P15가 중첩된 촬상 표시 화상 Po를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P15는, 유저에 대하여, 역명표에 나타나는 역 주변의 상세를 말풍선의 형태로 알리는 메세지이다.
이 경우, 촬상 표시 화상 Po의 대상 영역에 그 AR 화상 P15가 중첩되기 때문에, 수신기(200)의 유저는 송신기(100)에 근접하지 않아도 많은 정보를 수신기(200)에 표시시킬 수 있다.
도 268은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)의 다른 예를 나타내는 도면이다.
수신기(200)는, 상술의 예에서는 스마트 폰으로서 구성되어 있지만, 도 19∼도 21 및 도 258에 나타내는 예와 동일하게, 이미지 센서를 구비한 헤드 마운트 디스플레이(글래스라고도 한다)로서 구성되어 있어도 된다.
이러한 수신기(200)는, 복호용 화상의 일부의 복호 대상 영역에 대해서만 복호를 행함으로써 광 ID를 취득한다. 예를 들면, 수신기(200)는, 도 268의 (a)에 나타내는 바와 같이, 시선 검출 카메라(203)를 구비하고 있다. 시선 검출 카메라(203)는, 수신기(200)인 헤드 마운트 디스플레이를 장착하고 있는 유저의 눈동자를 촬상한다. 수신기(200)는, 이 시선 검출 카메라(203)에 의한 촬상에 의해서 얻어진 눈동자의 화상에 의거하여, 그 유저의 시선을 검출한다.
수신기(200)는, 도 268의 (b)에 나타내는 바와 같이, 예를 들면, 유저의 시야 중, 검출된 시선이 향해져 있는 영역에 시선 범위(204)가 나타나도록, 그 시선 테두리(204)를 표시한다. 따라서, 이 시선 테두리(204)는, 유저의 시선의 움직임에 따라서 이동한다. 수신기(200)는, 복호용 화상 중, 그 시선 테두리(204) 내에 상당하는 영역을 복호 대상 영역으로서 취급한다. 즉, 수신기(200)는, 복호용 화상 중 복호 대상 영역 외에 휘선 패턴 영역이 있어도, 그 휘선 패턴 영역에 대한 복호를 행하지 않고, 복호 대상 영역 내의 휘선 패턴 영역에 대해서만 복호를 행한다. 이에 따라, 복호용 화상에 복수의 휘선 패턴 영역이 있는 경우에도, 그들 모든 휘선 패턴 영역에 대한 복호를 행하지 않기 때문에, 처리 부하를 경감할 수 있음과 더불어, 불필요한 AR 화상의 표시를 억제할 수 있다.
또한, 수신기(200)는, 각각 음성을 출력하기 위한 복수의 휘선 패턴 영역이 복호용 화상에 포함되어 있는 경우에는, 복호 대상 영역 내의 휘선 패턴 영역만을 복호하고, 그 휘선 패턴 영역에 대응하는 음성만을 출력해도 된다. 혹은, 수신기(200)는, 복호용 화상에 포함되는 복수의 휘선 패턴 영역의 각각을 복호하고, 복호 대상 영역 내의 휘선 패턴 영역에 대응하는 음성을 크게 출력하고, 복호 대상 영역 외의 휘선 패턴 영역에 대응하는 음성을 작게 출력해도 된다. 또한, 복호 대상 영역 외에 복수의 휘선 패턴 영역이 있는 경우에는, 수신기(200)는, 복호 대상 영역에 가까운 휘선 패턴 영역일수록, 그 휘선 패턴 영역에 대응하는 음성을 크게 출력해도 된다.
도 269는, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
송신기(100)는, 예를 들면 도 269에 나타내는 바와 같이, 표시 패널을 갖는 화상 표시 장치로서 구성되고, 그 표시 패널에 화상을 표시하면서 휘도 변화함으로써, 광 ID를 송신하고 있다.
수신기(200)는, 송신기(100)를 촬상함으로써, 상술과 동일하게, 촬상 표시 화상 Pp와 복호용 화상을 취득한다.
이 때, 수신기(200)는, 복호용 화상에 있어서의 휘선 패턴 영역과 동일한 위치에 있어 그 휘선 패턴 영역과 동일한 크기의 영역을, 촬상 표시 화상 Pp 중에서 특정한다. 그리고, 수신기(200)는, 그 영역의 일단으로부터 타단을 향해서 반복 이동하는 주사선 P100을 표시해도 된다.
이 주사선 P100이 표시되어 있는 동안, 수신기(200)는, 복호용 화상에 대한 복호에 의해서 광 ID를 취득하고, 그 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다. 수신기(200)는, 촬상 표시 화상 Pp 중, 그 인식 정보에 따른 영역을 대상 영역으로서 인식한다.
이러한 대상 영역을 인식하면, 수신기(200)는, 주사선 P100의 표시를 종료하고, 그 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상 Pp를 디스플레이(201)에 표시한다.
이에 따라, 송신기(100)의 촬상이 행해지고 나서 AR 화상이 표시될 때까지의 동안, 이동하는 주사선 P100이 표시되기 때문에, 광 ID 및 AR 화상의 판독 등의 처리가 행해지고 있는 것을 유저에 대하여 알릴 수 있다.
도 270은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
2개의 송신기(100)는 각각, 예를 들면 도 270에 나타내는 바와 같이, 표시 패널을 갖는 화상 표시 장치로서 구성되고, 그 표시 패널에 동일한 정지 화상 PS를 표시하면서 휘도 변화함으로써, 광 ID를 송신하고 있다. 여기서, 2개의 송신기(100)는 각각, 서로 상이한 양태로 휘도 변화함으로써, 서로 상이한 광 ID(예를 들면 광 ID 「01」 및 「02」)를 송신하고 있다.
수신기(200)는, 도 265에 나타내는 예와 동일하게, 2개의 송신기(100)를 촬상함으로써, 촬상 표시 화상 Pq와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID 「01」 및 「02」를 취득한다. 즉, 수신기(200)는, 2개의 송신기(100) 중의 한쪽으로부터 광 ID 「01」을 수신하고, 다른쪽으로부터 광 ID 「02」를 수신한다. 수신기(200)는, 그들 광 ID를 서버에 송신한다. 그리고, 수신기(200)는, 그 광 ID 「01」에 대응하는 AR 화상 P16과 인식 정보를 서버로부터 취득한다. 또한, 수신기(200)는, 광 ID 「02」에 대응하는 AR 화상 P17과 인식 정보를 서버로부터 취득한다.
수신기(200)는, 촬상 표시 화상 Pq 중, 그들 인식 정보에 따른 영역을 대상 영역으로서 인식한다. 예를 들면, 수신기(200)는, 2개의 송신기(100)의 각각의 표시 패널이 비추어져 있는 영역을 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 광 ID 「01」에 대응하는 대상 영역에 AR 화상 P16을 중첩하고, 광 ID 「02」에 대응하는 대상 영역에 AR 화상 P17을 중첩한다. 그리고, 수신기(200)는, AR 화상 P16 및 P17이 중첩된 촬상 표시 화상 Pq를 디스플레이(201)에 표시한다. 예를 들면, AR 화상 P16은, 광 ID 「01」에 대응하는 송신기(100)의 표시 패널에 표시되어 있는 정지 화상 PS와 동일 또는 실질적으로 동일한 픽쳐를 표시순으로 선두의 픽쳐로서 갖는 동화상이다. 또한, AR 화상 P17은, 광 ID 「02」에 대응하는 송신기(100)의 표시 패널에 표시되어 있는 정지 화상 PS와 동일 또는 실질적으로 동일한 픽쳐를 표시순으로 선두의 픽쳐로서 갖는 동화상이다. 즉, 각각 동화상인 AR 화상 P16 및 AR 화상 P17의 선두의 픽쳐는 동일하다. 그러나, AR 화상 P16 및 AR 화상 P17은 서로 상이한 동화상이며, 각각의 선두 이외의 픽쳐는 상이하다.
따라서, 이러한 AR 화상 P16 및 AR 화상 P17이 촬상 표시 화상 Pq에 중첩되기 때문에, 수신기(200)는, 동일한 픽쳐로부터 재생되는 서로 상이한 동화상을 표시하는 화상 표시 장치가 현실에 존재하도록, 촬상 표시 화상 Pq를 표시할 수 있다.
도 271은, 실시의 형태 23의 변형예 1에 있어서의 수신기(200)의 처리 동작의 일 예를 나타내는 플로우차트이다. 이 도 271의 플로우차트에 의해서 나타나는 처리 동작은, 구체적으로는, 도 265에 나타내는 송신기(100)가 2개 있는 경우에, 그들 송신기(100)를 개별로 촬상하는 수신기(200)의 처리 동작의 일 예이다.
우선, 수신기(200)는, 제1의 송신기(100)를 제1의 피사체로서 촬상함으로써 제1의 광 ID를 취득한다(단계 S201). 다음으로, 수신기(200)는, 촬상 표시 화상 중에서, 그 제1의 피사체를 인식한다(단계 S202). 즉, 수신기(200)는, 제1의 광 ID에 대응하는 제1의 AR 화상 및 제1의 인식 정보를 서버로부터 취득하고, 그 제1의 인식 정보에 의거하여 제1의 피사체를 인식한다. 그리고, 수신기(200)는, 그 제1의 AR 화상인 제1의 동화상의 재생을 최초부터 개시한다(단계 S203). 즉, 수신기(200)는, 제1의 동화상의 선두의 픽쳐로부터 재생을 개시한다.
여기서, 수신기(200)는, 제1의 피사체가 촬상 표시 화상으로부터 벗어났는지 여부를 판정한다(단계 S204). 즉, 수신기(200)는, 촬상 표시 화상으로부터 제1의 피사체를 인식할 수 없게 되었는지 여부를 판정한다. 여기서, 제1의 피사체가 촬상 표시 화상으로부터 벗어났다고 판정하면(단계 S204의 Y), 수신기(200)는, 제1의 AR 화상인 제1의 동화상의 재생을 중단한다(단계 S205).
다음으로, 수신기(200)는, 제1의 송신기(100)와는 상이한 제2의 송신기(100)를 제2의 피사체로서 촬상함으로써, 단계 S201에서 취득된 제1의 광 ID와는 상이한 제2의 광 ID를 취득했는지 여부를 판정한다(단계 S206). 여기서, 수신기(200)는, 제2의 광 ID를 취득했다고 판정하면(단계 S206의 Y), 제1의 광 ID를 취득했을 때 이후의 단계 S202∼S203와 동일한 처리를 행한다. 즉, 수신기(200)는, 촬상 표시 화상 중에서, 제2의 피사체를 인식한다(단계 S207). 그리고, 수신기(200)는, 제2의 광 ID에 대응하는 제2의 AR 화상인 제2의 동화상의 재생을 최초부터 개시한다(단계 S208). 즉, 수신기(200)는, 제2의 동화상의 선두의 픽쳐로부터 재생을 개시한다.
한편, 수신기(200)는, 단계 S206에 있어서, 제2의 광 ID를 취득하고 있지 않다고 판정하면(단계 S206의 N), 제1의 피사체가 다시 촬상 표시 화상에 들어갔는지 여부를 판정한다(단계 S209). 즉, 수신기(200)는, 촬상 표시 화상으로부터 제1의 피사체를 다시 인식했는지 여부를 판정한다. 여기서, 수신기(200)는, 제1의 피사체가 촬상 표시 화상에 들어갔다고 판정하면(단계 S209의 Y), 추가로, 미리 정해진 시간(즉 소정 시간)이 경과했는지 여부를 판정한다(단계 S210). 즉, 수신기(200)는, 제1의 피사체가 촬상 표시 화상으로부터 벗어나고 나서 다시 들어가기까지에 있어서, 소정 시간이 경과했는지 여부를 판정한다. 여기서, 소정 시간이 경과하고 있지 않다고 판정하면(단계 S210의 Y), 수신기(200)는, 중단된 제1의 동화상의 도중부터의 재생을 개시한다(단계 S211). 또한, 이 도중부터의 재생 개시시에 최초에 표시되는 제1의 동화상의 픽쳐인 재생 재개 선두 픽쳐는, 제1의 동화상의 재생이 중단되었을 때의 최후에 표시된 픽쳐의 다음의 표시순의 픽쳐여도 된다. 혹은, 재생 재개 선두 픽쳐는, 최후에 표시된 픽쳐로부터 n(n는 1 이상의 정수)매만큼 표시순으로 전의 픽쳐여도 된다.
한편, 소정 시간이 경과했다고 판정하면(단계 S210의 N), 수신기(200)는, 중단된 제1의 동화상의 최초부터의 재생을 개시한다(단계 S212).
또한, 상술의 예에서는, 수신기(200)는, 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하지만, 이 때에, AR 화상의 밝기를 조정해도 된다. 즉, 수신기(200)는, 서버로부터 취득한 AR 화상의 밝기가, 촬상 표시 화상의 대상 영역의 밝기와 일치하는지 여부를 판정한다. 그리고, 수신기(200)는, 일치하지 않는다고 판정하면, AR 화상의 밝기를 조정함으로써, 그 AR 화상의 밝기를 대상 영역의 밝기에 일치시킨다. 그리고, 수신기(200)는, 밝기가 조정된 AR 화상을 촬상 표시 화상의 대상 영역에 중첩한다. 이에 따라, 중첩되는 AR 화상을, 보다 실재하는 오브젝트의 화상에 근접시킬 수 있어, 유저의 AR 화상에 대한 위화감을 억제할 수 있다. 또한, AR 화상의 밝기는, 그 AR 화상의 공간적인 평균의 밝기이며, 대상 영역의 밝기도, 그 대상 영역의 공간적인 평균의 밝기이다.
또한, 수신기(200)는, 도 247에 나타내는 바와 같이, AR 화상을 탭하면, 그 AR 화상을 확대하여 디스플레이(201)의 전체에 표시해도 된다. 또한, 도 247에 나타내는 예에서는, 수신기(200)는, AR 화상이 탭되는 그 AR 화상을 다른 AR 화상으로 전환하지만, 탭에 상관없이, 자동적으로 AR 화상을 전환해도 된다. 예를 들면, 수신기(200)는, AR 화상이 표시되어 있는 시간이 미리 정해진 시간만큼 경과하면, 그 AR 상을 다른 AR 화상으로 전환하여 표시한다. 또한, 수신기(200)는, 현재 시각이 미리 정해진 시각이 되면, 지금까지 표시되어 있던 AR 화상을, 다른 AR 화상으로 전환하여 표시한다. 이에 따라, 유저는 조작을 행하는 일 없이, 간단하게 새로운 AR 화상을 볼 수 있다.
［실시의 형태 23의 변형예 2］
이하, 실시의 형태 23의 변형예 2, 즉, 광 ID를 이용한 AR를 실현하는 표시 방법의 변형예 2에 대해서 설명한다.
도 272는, 실시의 형태 23 또는 그 변형예 1에 있어서의 수신기(200)에 있어서 상정되는 AR 화상을 표시할 때의 과제의 일 예를 나타내는 도면이다.
예를 들면, 실시의 형태 23 또는 그 변형예 1에 있어서의 수신기(200)는, 시각 t1에, 피사체를 촬상한다. 또한, 전술의 피사체는, 휘도 변화에 의해서 광 ID를 송신하는 텔레비전 등의 송신기, 또는, 그 송신기로부터의 광에 의해서 비추어지는 포스터, 안내판, 혹은 간판 등이다. 그 결과, 수신기(200)는, 이미지 센서의 유효 화소 영역에 의해서 얻어지는 화상의 전체(이하, 전촬상 화상이라고 한다)를, 디스플레이(201)에 촬상 표시 화상으로서 표시한다. 이 때, 수신기(200)는, 그 촬상 표시 화상 중, 광 ID에 의거하여 취득된 인식 정보에 따른 영역을, AR 화상이 중첩되는 대상 영역으로서 인식한다. 대상 영역은, 예를 들면 텔레비전 등의 송신기의 상 또는 포스터 등의 상을 나타내는 영역이다. 그리고, 수신기(200)는, 그 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, AR 화상이 중첩된 촬상 표시 화상을 디스플레이(201)에 표시한다. 또한, AR 화상은, 정지 화상 또는 동화상이라도 되고, 1개 이상의 문자 또는 기호로 이루어지는 문자열이어도 된다.
여기서, 수신기(200)의 유저는, AR 화상을 크게 표시시키기 위해서 피사체에 근접하면, 시각 t2에 있어서, 이미지 센서에 있어서의 대상 영역에 대응하는 영역(이하, 인식 영역이라고 한다)이 유효 화소 영역에서 빠져나간다. 또한, 인식 영역은, 이미지 센서의 유효 화소 영역 중, 촬상 표시 화상에 있어서의 대상 영역의 화상이 투영되는 영역이다. 즉, 이미지 센서에 있어서의 유효 화소 영역과 인식 영역은 각각, 디스플레이(201)에 있어서의 촬상 표시 화상 및 대상 영역에 상당한다.
인식 영역이 유효 화소 영역에서 빠져나감으로써, 수신기(200)는, 촬상 표시 화상으로부터 대상 영역을 인식할 수 없어, AR 화상을 표시할 수 없는 상태가 된다.
여기서, 본 변형예에 있어서의 수신기(200)는, 디스플레이(201)의 전체에 표시되는 촬상 표시 화상보다도 화각이 넓은 화상을 전체 촬상 화상으로서 취득한다.
도 273은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 예를 나타내는 도면이다.
본 변형예에 따른 수신기(200)의 전촬상 화상의 화각, 즉 이미지 센서의 유효 화소 영역의 화각은, 디스플레이(201)의 전체에 표시되는 촬상 표시 화상의 화각보다도 넓다. 또한, 이미지 센서에 있어서, 디스플레이(201)에 표시되는 화상 범위에 상당하는 영역을, 이하, 표시 영역이라고 한다.
예를 들면, 수신기(200)는, 시각 t1에, 피사체를 촬상한다. 그 결과, 수신기(200)는, 이미지 센서의 유효 화소 영역에 의해서 얻어지는 전촬상 화상 중, 유효 화소 영역보다도 좁은 표시 영역에 의해서 얻어지는 화상만을, 촬상 표시 화상으로서 디스플레이(201)에 표시한다. 이 때, 수신기(200)는, 상술과 동일하게, 그 전촬상 화상 중, 광 ID에 의거하여 취득된 인식 정보에 따른 영역을, AR 화상이 중첩되는 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, AR 화상이 중첩된 촬상 표시 화상을 디스플레이(201)에 표시한다.
여기서, 수신기(200)의 유저는, AR 화상을 크게 표시시키기 위해서 피사체에 근접하면, 이미지 센서에 있어서의 인식 영역이 확대한다. 그리고, 시각 t2에 있어서, 그 인식 영역은 이미지 센서에 있어서의 표시 영역으로부터 빠져나간다. 즉, 디스플레이(201)에 표시되어 있는 촬상 표시 화상으로부터, 대상 영역의 화상(예를 들면, 포스터의 상 등)이 빠져나가 버린다. 그러나, 이미지 센서에 있어서의 인식 영역은, 유효 화소 영역에서는 빠져나가지 않는다. 즉, 수신기(200)는, 시각 t2에 있어서도, 대상 영역을 포함하는 전촬상 화상을 취득하고 있다. 그 결과, 수신기(200)는, 전촬상 화상으로부터 대상 영역을 인식할 수 있고, 대상 영역 중 촬상 표시 화상 내에 있는 일부 영역에만, 그 영역에 대응하는 AR 화상의 일부를 중첩하여 디스플레이(201)에 표시한다.
이에 따라, 유저가 AR 화상을 크게 표시시키기 위해서 피사체에 근접하면, 대상 영역이 촬상 표시 화상에서 빠져나가도, AR 화상의 표시를 계속할 수 있다.
도 274는, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)의 처리 동작의 일 예를 나타내는 플로우차트이다.
수신기(200)는, 이미지 센서가 피사체를 촬상함으로써 전촬상 화상 및 복호용 화상을 취득한다(단계 S301). 다음으로, 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다(단계 S302). 다음으로, 수신기(200)는, 그 광 ID를 서버에 송신한다(단계 S303). 다음으로, 수신기(200)는, 그 광 ID에 대응하는 AR 화상과 인식 정보를 서버로부터 취득한다(단계 S304). 다음으로, 수신기(200)는, 전촬상 화상 중, 인식 정보에 따른 영역을 대상 영역으로서 인식한다(단계 S305).
여기서, 수신기(200)는, 이미지 센서의 유효 화소 영역 중의, 그 대상 영역의 화상에 대응하는 영역인 인식 영역이, 표시 영역으로부터 빠져나가는지 여부를 판정한다(단계 S306). 여기서, 빠져나가 있다고 판정하면(단계 S306의 Yes), 수신기(200)는, 대상 영역 중, 촬상 표시 화상 내에 있는 일부의 영역에만, 그 영역에 대응하는 AR 화상의 일부를 표시한다(단계 S307). 한편, 수신기(200)는, 빠져나가지 않는다고 판정하면(단계 S306의 No), 수신기(200)는, 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상을 표시한다(단계 S308).
그리고, 수신기(200)는, AR 화상의 표시 처리를 종료해야할지 여부를 판정하고(단계 S309), 종료해서는 안된다고 판정하면(단계 S309의 No), 단계 S305로부터의 처리를 반복하여 실행한다.
도 275는, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
수신기(200)는, 상술의 표시 영역에 대한 인식 영역의 크기의 비율에 따라서 AR 화상의 화면 표시를 전환해도 된다.
이미지 센서의 표시 영역의 수평 방향의 폭을 w1, 수직 방향의 폭을 h1로 하고, 인식 영역의 수평 방향의 폭을 w2, 수직 방향의 폭을 h2로 하는 경우, 수신기는, 비율(h2/h1) 및 (w2/w1) 중의 큰 쪽의 비율을 역치와 비교한다.
예를 들면, 수신기(200)는, 도 275의 (화면 표시 1)과 같이, AR 화상이 대상 영역에 중첩된 촬상 표시 화상을 표시하고 있을 때는, 그 큰 쪽의 비율을, 제1의 역치(예를 들면, 0.9)와 비교한다. 그리고, 큰 쪽의 비율이 0.9 이상이 되었을 때에는, 수신기(200)는, 도 275의 (화면 표시 2)와 같이, 디스플레이(201)의 전체에 AR 화상을 확대하여 표시한다. 또한, 인식 영역이 표시 영역보다도 커졌을 때, 또한, 유효 화소 영역보다도 커졌을 때에도, 수신기(200)는, 디스플레이(201)의 전체에 AR 화상을 확대하여 계속 표시한다.
또한, 수신기(200)는, 예를 들면, 도 275의 (화면 표시 2)와 같이, 디스플레이(201)의 전체에 AR 화상을 확대하여 표시하고 있을 때는, 그 큰 쪽의 비율을, 제2의 역치(예를 들면, 0.7)와 비교한다. 제2의 역치는, 제1의 역치보다도 작다. 그리고, 큰 쪽의 비율이 0.7 이하가 되었을 때에는, 수신기(200)는, 도 275의 (화면 표시 1)과 같이, AR 화상이 대상 영역에 중첩된 촬상 표시 화상을 표시한다.
도 276은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)의 처리 동작의 다른 예를 나타내는 플로우차트이다.
수신기(200)는, 우선, 광 ID 처리를 행한다(단계 S301a). 이 광 ID 처리는, 도 274에 나타내는 단계 S301∼S304를 포함하는 처리이다. 다음으로, 수신기(200)는, 촬상 표시 화상 중, 인식 정보에 따른 영역을 대상 영역으로서 인식한다(단계 S311). 그리고, 수신기(200)는, 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상을 표시한다(단계 S312).
다음으로, 수신기(200)는, 인식 영역의 비율, 즉 비율(h2/h1) 및 (w2/w1) 중의 큰 쪽의 비율이 제1의 역치 K(예를 들면 K=0.9) 이상인지 여부를 판정한다(단계 S313). 여기서, 제1의 역치 K 이상이 아니라고 판정하면(단계 S313의 No), 수신기(200)는, 단계 S311로부터의 처리를 반복하여 실행한다. 한편, 제1의 역치 K 이상이라고 판정하면(단계 S313의 Yes), 수신기(200)는, AR 화상을 디스플레이(201)의 전체로 확대하여 표시한다(단계 S314). 이 때, 수신기(200)는, 이미지 센서의 전원을 온과 오프로 주기적으로 전환한다. 이미지 센서의 전원을 주기적으로 오프로 함으로써, 수신기(200)의 전력 절약화를 도모할 수 있다.
다음으로, 수신기(200)는, 이미지 센서의 전원이 주기적으로 온으로 되어 있을 때에, 인식 영역의 비율이 제2의 역치 L(예를 들면 L=0.7) 이하인지 여부를 판정한다. 여기서, 제2의 역치 L 이하가 아니라고 판정하면(단계 S315의 No), 수신기(200)는, 단계 S314로부터의 처리를 반복하여 실행한다. 한편, 제2의 역치 L 이하라고 판정하면(단계 S315의 Yes), 수신기(200)는, 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, 그 AR 화상이 중첩된 촬상 표시 화상을 표시한다(단계 S316).
그리고, 수신기(200)는, AR 화상의 표시 처리를 종료해야할지 여부를 판정하고(단계 S317), 종료해서는 안된다고 판정하면(단계 S317의 No), 단계 S313로부터의 처리를 반복하여 실행한다.
이와 같이, 제2의 역치 L을 제1의 역치 K보다도 작은 값으로 해 둠으로써, 수신기(200)의 화면 표시가 (화면 표시 1)과 (화면 표시 2)에서 빈번히 전환되는 것을 막고, 화면 표시 상태를 안정화시킬 수 있다.
또한, 도 275 및 도 276에 나타내는 예에서는, 표시 영역과 유효 화소 영역은 동일해도 되고, 상이해도 된다. 또한, 그 예에서는, 표시 영역에 대한 인식 영역의 크기의 비율을 이용했지만, 표시 영역과 유효 화소 영역이 상이한 경우에는, 표시 영역 대신에, 유효 화소 영역에 대한 인식 영역의 크기의 비율을 이용해도 된다.
도 277은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
도 277에 나타내는 예에서는, 도 273에 나타내는 예와 동일하게, 수신기(200)의 이미지 센서는, 표시 영역보다도 넓은 유효 화소 영역을 갖는다.
예를 들면, 수신기(200)는, 시각 t1에, 피사체를 촬상한다. 그 결과, 수신기(200)는, 이미지 센서의 유효 화소 영역에 의해서 얻어지는 전체 촬상 화상 중, 유효 화소 영역보다도 좁은 표시 영역에 의해서 얻어지는 화상만을, 촬상 표시 화상으로서 디스플레이(201)에 표시한다. 이 때, 수신기(200)는, 상술과 동일하게, 그 전체 촬상 화상 중, 광 ID에 의거하여 취득된 인식 정보에 따른 영역을, AR 화상이 중첩되는 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, AR 화상이 중첩된 촬상 표시 화상을 디스플레이(201)에 표시한다.
여기서, 유저는, 수신기(200)(구체적으로는 이미지 센서)의 방향을 바꾸면, 이미지 센서에 있어서의 인식 영역이, 예를 들면 도 277 중 좌측 상방향으로 이동하고, 시각 t2에서는, 표시 영역으로부터 빠져나간다. 즉, 디스플레이(201)에 표시되어 있는 촬상 표시 화상으로부터, 대상 영역의 화상(예를 들면, 포스터의 상 등)이 빠져나가 버린다. 그러나, 이미지 센서에 있어서의 인식 영역은, 유효 화소 영역으로부터 빠져나가지 않는다. 즉, 수신기(200)는, 시각 t2에 있어서도, 대상 영역을 포함하는 전체 촬상 화상을 취득하고 있다. 그 결과, 수신기(200)는, 전체 촬상 화상으로부터 대상 영역을 인식할 수 있고, 대상 영역 중의 촬상 표시 화상 내에 있는 일부의 영역에만, 그 영역에 대응하는 AR 화상의 일부를 중첩하여 디스플레이(201)에 표시한다. 또한, 수신기(200)는, 이미지 센서에 있어서의 인식 영역의 움직임, 즉 전체 촬상 화상에 있어서의 대상 영역의 움직임에 따라서, 표시되는 AR 화상의 일부의 크기 및 위치를 변경한다.
또한, 상술과 같이 인식 영역이 표시 영역으로부터 빠져나갈 때에는, 수신기(200)는, 유효 화소 영역의 가장자리와, 표시 영역의 가장자리의 사이의 거리(이하, 영역간 거리라고 한다)에 대응하는 픽셀수를 역치와 비교한다.
예를 들면, 유효 화소 영역의 상변과, 표시 영역의 상변의 사이의 거리와, 유효 화소 영역의 하변과, 표시 영역의 하변의 사이의 거리 중, 짧은 쪽의 거리(이하, 제1의 거리라고 한다)에 대응하는 픽셀수를 dh로 한다. 또한, 유효 화소 영역의 좌변과, 표시 영역의 좌변의 사이의 거리와, 유효 화소 영역의 우변과, 표시 영역의 우변의 사이의 거리 중, 짧은 쪽의 거리(이하, 제2의 거리라고 한다)에 대응하는 픽셀수를 dw로 한다. 이 때, 전술의 영역간 거리는, 제1 및 제2의 거리 중의 짧은 쪽의 거리이다.
즉, 수신기(200)는, 픽셀수 dw, dh 중의 작은 쪽의 픽셀수를, 역치 N과 비교한다. 그리고, 수신기(200)는, 예를 들면 시각 t2에 있어서, 그 작은 쪽의 픽셀수가 역치 N 이하가 되면, 그 이미지 센서에 있어서의 인식 영역의 위치에 따라서 AR 화상의 일부 크기 및 위치를 변경하는 일 없이 고정한다. 즉, 수신기(200)는, AR 화상의 화면 표시를 전환한다. 예를 들면, 수신기(200)는, 표시되는 AR 화상의 일부 크기 및 위치를, 그 작은 쪽의 픽셀수가 역치 N으로 되었을 때에 디스플레이(201)에 표시되어 있던 AR 화상의 일부 크기 및 위치에 고정한다.
따라서, 시각 t3에 있어서, 인식 영역이 추가로 이동하고, 유효 화소 영역으로부터 빠져나감에 의해서도, 수신기(200)는, 시각 t2와 동일하게 AR 화상의 일부를 계속 표시한다. 즉, 수신기(200)는, 픽셀수 dw, dh 중의 작은 쪽의 픽셀수가 역치 N 이하인 한, 시각 t2일 때와 동일하게, 크기 및 위치가 고정된 AR 화상의 일부를 촬상 표시 화상에 중첩하여 계속 표시한다.
도 277에 나타내는 예에서는, 수신기(200)는, 이미지 센서에 있어서의 인식 영역의 이동에 따라서, 표시되는 AR 화상의 일부 크기 및 위치를 변경했지만, AR 화상 전체의 표시 배율 및 위치를 변경해도 좋다.
도 278은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다. 구체적으로는, 도 278은, AR 화상의 표시 배율이 변경되는 예를 나타낸다.
예를 들면, 도 277에 나타내는 예와 동일하게, 시각 t1 상태로부터, 유저는, 수신기(200)(구체적으로는 이미지 센서)의 방향을 바꾸면, 이미지 센서에 있어서의 인식 영역이, 예를 들면 도 278 중 좌측 상방향으로 이동하고, 시각 t2에서는, 표시 영역으로부터 빠져나간다. 즉, 디스플레이(201)에 표시되어 있는 촬상 표시 화상으로부터, 대상 영역의 화상(예를 들면, 포스터의 상 등)이 빠져나가 버린다. 그러나, 이미지 센서에 있어서의 인식 영역은, 유효 화소 영역으로부터 빠져나가지 않는다. 즉, 수신기(200)는, 시각 t2에 있어서도, 대상 영역을 포함하는 전체 촬상 화상을 취득하고 있다. 그 결과, 수신기(200)는, 전체 촬상 화상으로부터 대상 영역을 인식할 수 있다.
여기서, 도 278에 나타내는 예에서는, 수신기(200)는, 대상 영역 중 촬상 표시 화상 내에 있는 일부 영역의 사이즈에, AR 화상 전체의 사이즈가 일치하도록, 그 AR 화상의 표시 배율을 변경한다. 즉, 수신기(200)는 AR 화상을 축소한다. 그리고, 수신기(200)는, 표시 배율이 변경된(즉 축소된) AR 화상을 그 영역에 중첩하여 디스플레이(201)에 표시한다. 또한, 수신기(200)는, 이미지 센서에 있어서의 인식 영역의 움직임, 즉 전체 촬상 화상에 있어서의 대상 영역의 움직임에 따라서, 표시되는 AR 화상의 표시 배율 및 위치를 변경한다.
또한, 상술과 같이 인식 영역이 표시 영역으로부터 빠져나갔을 때에는, 수신기(200)는, 픽셀수 dw, dh 중의 작은 쪽의 픽셀수를, 역치 N과 비교한다. 그리고, 수신기(200)는, 예를 들면 시각 t2에 있어서, 그 작은 쪽의 픽셀수가 역치 N 이하가 되면, 그 이미지 센서에 있어서의 인식 영역의 위치에 따라서 AR 화상의 표시 배율 및 위치를 변경하는 일 없이 고정한다. 즉, 수신기(200)는, AR 화상의 화면 표시를 전환한다. 예를 들면, 수신기(200)는, 표시되는 AR 화상의 표시 배율 및 위치를, 그 작은 쪽의 픽셀수가 역치 N으로 되었을 때에 디스플레이(201)에 표시되어 있던 AR 화상의 표시 배율 및 위치에 고정한다.
따라서, 시각 t3에 있어서, 인식 영역이 추가로 이동하고, 유효 화소 영역으로부터 빠져나가게 되어도, 수신기(200)는, 시각 t2와 동일하게 AR 화상을 계속 표시한다. 즉, 수신기(200)는, 픽셀수 dw, dh 중의 작은 쪽의 픽셀수가 역치 N 이하인 한, 시각 t2일 때와 동일하게, 표시 배율 및 위치가 고정된 AR 화상을 촬상 표시 화상에 중첩하여 계속 표시한다.
또한, 상술의 예에서는, 픽셀수 dw, dh 중의 작은 쪽과 역치를 비교했지만, 그 작은 쪽의 픽셀수의 비율과 역치를 비교해도 된다. 그 픽셀수 dw의 비율은, 예를 들면, 유효 화소 영역의 수평 방향의 픽셀수 w0에 대한 픽셀수 dw의 비율(dw/w0)이다. 동일하게, 픽셀수 dh의 비율은, 예를 들면, 유효 화소 영역의 수직 방향의 픽셀수 h0에 대한 픽셀수 dh의 비율(dh/h0)이다. 또는, 유효 화소 영역의 수평 방향 또는 수직 방향의 픽셀수 대신에, 표시 영역의 수평 방향 또는 수직 방향의 픽셀수를 이용하여, 픽셀수 dw, dh의 각각의 비율을 나타내도 된다. 픽셀수 dw, dh의 비율과 비교되는 역치는, 예를 들면 0.05이다.
또한, 픽셀수 dw, dh 중의 작은 쪽의 화각과 역치를 비교해도 된다. 유효 화소 영역의 대각선의 픽셀수가 m이며, 그 대각선에 대응하는 화각이 θ(예를 들면 55°)인 경우, 픽셀수 dw에 대응하는 화각은, θ×dw/m이고, 픽셀수 dh에 대응하는 화각은, θ×dh/m이다.
또한, 도 277 및 도 278에 나타내는 예에서는, 수신기(200)는, 유효 화소 영역과 인식 영역의 사이의 영역간 거리에 의거하여, AR 화상의 화면 표시를 전환했지만, 표시 영역과 인식 영역의 관계에 의거하여, AR 화상의 화면 표시를 전환해도 된다.
도 279는, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다. 구체적으로는, 도 279는, 표시 영역과 인식 영역의 관계에 의거하여 AR 화상의 화면 표시를 전환하는 예를 나타낸다. 또한, 도 279에 나타내는 예에서는, 도 273에 나타내는 예와 동일하게, 수신기(200)의 이미지 센서는, 표시 영역보다도 넓은 유효 화소 영역을 갖는다.
예를 들면, 수신기(200)는, 시각 t1에, 피사체를 촬상한다. 그 결과, 수신기(200)는, 이미지 센서의 유효 화소 영역에 의해서 얻어지는 전체 촬상 화상 중, 유효 화소 영역보다도 좁은 표시 영역에 의해서 얻어지는 화상만을, 촬상 표시 화상으로서 디스플레이(201)에 표시한다. 이 때, 수신기(200)는, 전술과 동일하게, 그 전체 촬상 화상 중, 광 ID에 의거하여 취득된 인식 정보에 따른 영역을, AR 화상이 중첩되는 대상 영역으로서 인식한다. 그리고, 수신기(200)는, 그 촬상 표시 화상의 대상 영역에 AR 화상을 중첩하고, AR 화상이 중첩된 촬상 표시 화상을 디스플레이(201)에 표시한다.
여기서, 유저는, 수신기(200)의 방향을 바꾸면, 수신기(200)는, 이미지 센서에 있어서의 인식 영역의 움직임에 따라서, 표시되는 AR 화상의 위치를 변경시킨다. 그리고, 예를 들면, 이미지 센서에 있어서의 인식 영역이, 예를 들면 도 279 중 좌측 상방향으로 이동하고, 시각 t2에서는, 인식 영역의 가장자리의 일부와 표시 영역의 가장자리의 일부가 일치한다. 즉, 디스플레이(201)에 표시되어 있는 촬상 표시 화상의 구석에, 대상 영역의 화상(예를 들면 포스터 등의 상)이 배치된다. 그 결과, 수신기(200)는, 촬상 표시 화상의 구석에 있는 대상 영역에 AR 화상을 중첩하여 디스플레이(201)에 표시한다.
그리고, 인식 영역이 추가로 이동하여 표시 영역으로부터 빠져나갈 때는, 수신기(200)는, 시각 t2로 표시되어 있던 AR 화상의 크기 및 위치를 변경하는 일 없이 고정한다. 즉, 수신기(200)는, AR 화상의 화면 표시를 전환한다.
따라서, 시각 t3에 있어서, 인식 영역이 추가로 이동하고, 유효 화소 영역으로부터 빠져나가게 되어도, 수신기(200)는, 시각 t2와 동일하게 AR 화상을 계속 표시한다. 즉, 수신기(200)는, 인식 영역이 표시 영역으로부터 빠져나가 있는 한, 수신기(200)는, 시각 t2일 때와 동일한 사이즈의 AR 화상을, 촬상 표시 화상에 있어서의 시각 t2일 때와 동일한 위치에 중첩하여 계속 표시한다.
이와 같이, 도 279에 나타내는 예에서는, 수신기(200)는, 인식 영역이 표시 영역으로부터 빠져나가는지 여부에 따라서 AR 화상의 화면 표시를 전환한다. 또한, 수신기(200)는, 표시 영역을 포함하고, 그 표시 영역보다도 크고 유효 화소 영역보다도 작은 판정 영역을, 표시 영역 대신에 이용해도 된다. 이 경우, 수신기(200)는, 인식 영역이 판정 영역으로부터 빠져나가는지 여부에 따라서 AR 화상의 화면 표시를 전환한다.
이상, 도 273∼도 279를 이용하여 AR 화상의 화면 표시에 대해서 설명했지만, 수신기(200)는, 전체 촬상 화상으로부터 대상 영역을 인식할 수 없게 되었을 때에, 그 직전까지 인식되어 있던 대상 영역의 크기의 AR 화상을 촬상 표시 화상에 중첩하여 표시해도 된다.
도 280은, 실시의 형태 23의 변형예 2에 있어서의 수신기(200)가 AR 화상을 표시하는 다른 예를 나타내는 도면이다.
또한, 도 243에 나타내는 예에서는, 수신기(200)는, 송신기(100)에 의해서 비추어진 안내판(107)을 촬상함으로써, 상술과 동일하게, 촬상 표시 화상 Pe와 복호용 화상을 취득한다. 수신기(200)는, 그 복호용 화상에 대한 복호에 의해서 광 ID를 취득한다. 즉, 수신기(200)는, 안내판(107)으로부터 광 ID를 수신한다. 그러나, 안내판(107)의 표면 전체가, 광을 흡수하는 색(예를 들면 어두운 색)이면, 그 표면은 송신기(100)에 의해서 비추어져도 어둡기 때문에, 수신기(200)는, 광 ID를 올바르게 수신할 수 없는 경우가 있다. 또는, 안내판(107)의 표면 전체가, 복호용 화상(즉 휘선 화상)과 같은 줄무늬여도, 수신기(200)는, 광 ID를 올바르게 수신할 수 없는 경우가 있다.
그래서, 도 280에 나타내는 바와 같이, 안내판(107)의 가까이에 반사판(109)을 배치해 두어도 된다. 이에 따라, 수신기(200)는, 송신기(100)로부터 반사판(109)에 의해서 반사된 광, 즉, 송신기(100)로부터 송신되는 가시광(구체적으로는 광 ID)을 받을 수 있다. 그 결과, 수신기(200)는, 적절히 광 ID를 수신하여 AR 화상 P5를 표시할 수 있다.
［실시의 형태 23의 변형예 1 및 2의 정리］
도 281a는, 본 개시된 일 양태에 따른 표시 방법을 나타내는 플로우차트이다.
본 개시된 일 양태에 따른 표시 방법은, 단계 S41∼S43를 포함한다.
단계 S41에서는, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되어 있는 정지 화상을 피사체로서 촬상 센서에 의해 촬상함으로써, 촬상 화상을 취득한다. 단계 S42에서는, 그 촬상 화상으로부터 신호를 복호한다. 단계 S43에서는, 복호된 신호에 대응하는 동화상을 메모리로부터 읽어내고, 촬상 화상 중의 그 피사체에 대응하는 대상 영역에, 동화상을 중첩시켜 디스플레이에 표시한다. 여기서, 단계 S43에서는, 그 동화상에 포함되는 복수의 화상 중, 정지 화상과 동일한 화상인 선두 화상으로부터, 그 복수의 화상을 순서대로 표시한다.
또한, 촬상 센서 및 촬상 화상은, 예를 들면, 실시의 형태 23에 있어서의 이미지 센서 및 전촬상 화상이다. 또한, 라이트 업되는 정지 화상은, 화상 표시 장치의 표시 패널에 표시되는 정지 화상이어도 되고, 송신기로부터의 광에 의해서 비추어지는 포스터, 안내판, 혹은 간판 등이어도 된다.
또한, 이러한 표시 방법은, 추가로, 신호를 서버에 송신하는 송신 단계와, 그 신호에 대응하는 동화상을 서버로부터 수신하는 수신 단계를 포함해도 된다.
이에 따라, 예를 들면 도 265에 나타내는 바와 같이, 정지 화상이 움직이기 시작하도록 가상 현실적으로 동화상을 표시할 수 있어, 유저에게 유익한 화상을 표시할 수 있다.
또한, 정지 화상은, 소정의 색의 외측 가장자리를 갖고, 본 개시된 일 양태에 따른 표시 방법은, 추가로, 그 소정의 색에 의해, 촬상 화상으로부터 대상 영역을 인식하는 인식 단계를 포함해도 된다. 이 경우, 단계 S43에서는, 인식된 대상 영역의 사이즈와 동일해지도록, 동화상을 리사이즈하고, 촬상 화상 중의 대상 영역에, 리사이즈된 동화상을 중첩시켜 디스플레이에 표시해도 된다. 예를 들면, 소정의 색의 외측 가장자리는, 정지 화상을 둘러싸는 백색 또는 흑색의 직사각형 테두리이고, 실시의 형태 23에 있어서의 인식 정보에 의해서 나타난다. 그리고, 실시의 형태 23에 있어서의 AR 화상이 동화상으로서 리사이즈되어 중첩된다.
이에 따라, 동화상이 피사체로서 실재하도록, 보다 현실적으로 그 동화상을 표시할 수 있다.
또한, 촬상 센서의 촬상 영역 중, 그 촬상 영역보다도 작은 영역인 표시 영역에 투영되는 화상만이 디스플레이에 표시된다. 이 경우, 단계 S43에서는, 그 촬상 영역에 있어서 피사체가 투영되어 있는 투영 영역이, 표시 영역보다도 큰 경우에는, 투영 영역 중, 표시 영역을 초과한 부분에 의해서 얻어지는 화상을, 디스플레이에 표시하지 않아도 된다. 여기서, 예를 들면 도 273에 나타내는 바와 같이, 촬상 영역 및 투영 영역은, 이미지 센서의 유효 화소 영역 및 인식 영역이다.
이에 따라, 예를 들면 도 273에 나타내는 바와 같이, 피사체인 정지 화상에 촬상 센서가 근접함으로써, 투영 영역(도 273의 인식 영역)에 의해서 얻어지는 화상의 일부가 디스플레이에 표시되지 않아도, 피사체인 정지 화상의 전체가 촬상 영역에 투영되어 있는 경우가 있다. 따라서, 이 경우에는, 피사체인 정지 화상을 적절히 인식할 수 있어, 촬상 화상 중의 피사체에 대응하는 대상 영역에, 동화상을 적절히 중첩시킬 수 있다.
또한, 예를 들면, 표시 영역의 수평 방향 및 수직 방향의 각각의 폭이, w1 및 h1이고, 투영 영역의 수평 방향 및 수직 방향의 각각의 폭이, w2 및 h2이다. 이 경우, 단계 S43에서는, h2/h1 또는 w2/w1의 어느것인가 큰 값이 소정의 값 이상인 경우에는, 동화상을 디스플레이의 전화면에 표시하고, h2/h1 또는 w2/w1의 어느것인가 큰 값이 소정의 값보다 작은 경우에는, 촬상 화상 중의 대상 영역에 동화상을 중첩시켜 디스플레이에 표시한다고 해도 된다.
이에 따라, 예를 들면 도 275에 나타내는 바와 같이, 피사체인 정지 화상에 촬상 센서가 가까워지면, 동화상이 전화면에 표시되기 때문에, 유저는, 촬상 센서를 추가로 정지 화상에 근접시켜 동화상을 크게 표시시킬 필요가 없다. 그 때문에, 촬상 센서를 정지 화상에 지나치게 근접시켜, 투영 영역(도 275의 인식 영역)이 촬상 영역(유효 화소 영역)으로부터 빠져나감으로써, 신호를 복호할 수 없게 되는 것을 억제할 수 있다.
또한, 본 개시된 일 양태에 따른 표시 방법은, 추가로 동화상을 디스플레이의 전화면에 표시하는 경우에는, 촬상 센서의 동작을 오프로 하는 제어 단계를 포함하고 있어도 된다.
이에 따라, 예를 들면 도 276의 단계 S314에 나타내는 바와 같이, 촬상 센서의 동작을 오프로 함으로써, 촬상 센서의 소비 전력을 억제할 수 있다.
또한, 단계 S43에서는, 촬상 센서가 이동함으로써, 촬상 화상으로부터 대상 영역을 인식할 수 없게 된 경우에는, 인식할 수 없게 되기 직전에 인식하고 있던 대상 영역의 사이즈와 동일한 사이즈로 동화상을 표시해도 된다. 또한, 촬상 화상으로부터 대상 영역을 인식할 수 없다는 것은, 예를 들면, 피사체인 정지 화상에 대응하는 대상 영역의 적어도 일부가 촬상 화상에 포함되어 있지 않은 상황이다. 이와 같이, 대상 영역을 인식할 수 없는 경우에는, 예를 들면 도 279의 시각 t3일 때와 같이, 직전에 인식하고 있던 대상 영역의 사이즈와 동일한 사이즈의 동화상이 표시된다. 따라서, 촬상 센서를 이동시켜 버렸기 때문에, 동화상의 적어도 일부가 표시되지 않게 되는 것을 억제할 수 있다.
또한, 단계 S43에서는, 촬상 센서가 이동함으로써, 대상 영역 중의 일부만이, 촬상 화상 중의 디스플레이에 표시되는 영역에 포함되는 경우에는, 그 대상 영역의 일부에 대응하는 동화상의 공간 영역의 일부를, 대상 영역의 일부에 중첩시켜 디스플레이에 표시해도 된다. 또한, 동화상의 공간 영역의 일부란, 동화상을 구성하는 각 픽쳐 중의 일부이다.
이에 의해, 예를 들면 도 277의 시각 t2일 때와 같이, 동화상(도 277의 AR 화상)의 공간 영역의 일부만이 디스플레이에 표시된다. 그 결과, 촬상 센서가 피사체가 되는 정지 화상에 적절히 향해져 있지 않은 것을 유저에게 알릴 수 있다.
또한, 단계 S43에서는, 촬상 센서가 이동함으로써, 촬상 화상으로부터 대상 영역을 인식할 수 없게 된 경우에는, 인식할 수 없게 되기 직전에 표시되어 있던, 대상 영역의 일부에 대응하는 동화상의 공간 영역의 일부를, 계속하여 표시해도 된다.
이에 따라, 예를 들면 도 277의 시각 t3일 때와 같이, 유저가, 피사체가 되는 정지 화상과 상이한 방향으로 촬상 센서를 향했을 때에도, 동화상(도 277의 AR 화상)의 공간 영역의 일부가 계속하여 표시된다. 그 결과, 촬상 센서를 어떻게 향하면 동화상의 전체가 표시되는지를, 유저에게 파악하기 쉽게 할 수 있다.
또한, 단계 S43에서는, 촬상 센서의 촬상 영역에 있어서의 수평 방향 및 수직 방향의 각각의 폭이, w0 및 h0이고, 촬상 영역에 있어서 피사체가 투영되어 있는 투영 영역과, 그 촬상 영역의 사이의 수평 방향 및 수직 방향의 각각의 거리가, dh 및 dw인 경우, dw/w0 또는 dh/h0의 어느쪽인가 작은 쪽의 값이, 소정치 이하인 경우에, 대상 영역을 인식할 수 없다고 판단해도 된다. 또한, 투영 영역은, 예를 들면 도 277에 나타내는 인식 영역이다. 또는, 단계 S43에서는, 촬상 센서의 촬상 영역에 있어서 피사체가 투영되고 있는 투영 영역과, 그 촬상 영역의 사이의 수평 방향 및 수직 방향의 각각의 거리 중의 짧은 쪽에 대응하는 화각이 소정치 이하인 경우에, 대상 영역을 인식할 수 없다고 판단해도 된다.
이에 따라, 대상 영역을 인식할 수 있는지 여부를 적절히 판단할 수 있다.
도 281b는, 본 개시된 일 양태에 따른 표시 장치의 구성을 나타내는 블록도이다.
본 개시된 일 양태에 따른 표시 장치(A10)는, 촬상 센서(A11)와, 복호부(A12)와, 표시 제어부(A13)를 구비한다.
촬상 센서(A11)는, 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되어 있는 정지 화상을 피사체로서 촬상함으로써, 촬상 화상을 취득한다.
복호부(A12)는, 그 촬상 화상으로부터 신호를 복호하는 복호부로 한다.
표시 제어부(A13)는, 복호된 신호에 대응하는 동화상을 메모리로부터 읽어내고, 그 촬상 화상 중의 피사체에 대응하는 대상 영역에, 그 동화상을 중첩시켜 디스플레이에 표시한다. 여기서, 표시 제어부(A13)는, 그 동화상에 포함되는 복수의 화상 중, 정지 화상과 동일한 화상인 선두 화상으로부터, 그 복수의 화상을 순서대로 표시한다.
이에 따라, 전술의 표시 방법과 동일한 효과를 발휘할 수 있다.
또한, 촬상 센서(A11)는, 복수의 마이크로 미러와 포토 센서를 갖고, 표시 장치(A10)는, 추가로, 촬상 센서를 제어하는 촬상 제어부를 구비해도 된다. 이 경우, 촬상 제어부는, 촬상 화상 중, 신호를 포함하는 영역을 신호 영역으로서 특정하고, 복수의 마이크로 미러 중, 특정한 신호 영역에 대응하는 마이크로 미러의 각도를 제어한다. 그리고, 촬상 제어부는, 복수의 마이크로 미러 중, 각도가 제어된 마이크로 미러에 의한 반사광만을, 상술의 포토 센서에 수광시킨다.
이에 따라, 예를 들면 도 232a에 나타내는 바와 같이, 광의 휘도 변화에 의해서 나타나는 신호인 가시광 신호에 고주파 성분이 포함되어 있어도, 그 고주파 성분을 올바르게 복호할 수 있다.
또한, 상기 각 실시의 형태 및 각 변형예에 있어서, 각 구성 요소는, 전용의 하드웨어로 구성되거나, 각 구성 요소에 적절한 소프트웨어 프로그램을 실행함으로써 실현되어도 된다. 각 구성 요소는, CPU 또는 프로세서 등의 프로그램 실행부가, 하드 디스크 또는 반도체 메모리 등의 기록 매체에 기록된 소프트웨어 프로그램을 읽어내 실행함으로써 실현되어도 된다. 예를 들면 프로그램은, 도 271, 도 274, 도 276 및 도 281a의 플로우차트에 의해서 나타나는 표시 방법을 컴퓨터에 실행시킨다.
이상, 하나 또는 복수의 양태에 따른 표시 방법에 대해서, 상기 각 실시의 형태 및 각 변형예에 의거하여 설명했지만, 본 개시는, 이 실시의 형태에 한정되는 것은 아니다. 본 개시된 취지를 일탈하지 않는 한, 당업자가 생각하는 각종 변형을 본 실시의 형태에 실시한 것이나, 다른 실시의 형태 및 변형예에 있어서의 구성 요소를 조합하여 구축되는 형태도, 본 개시된 범위 내에 포함되어도 된다.
(산업상의 이용 가능설)
본 개시된 표시 방법은, 유저에게 유익한 화상을 표시할 수 있다고 하는 효과를 발휘하고, 예를 들면, 스마트 폰, 안경 또는 태블릿 등의 표시 장치 등에 이용할 수 있다.
A10: 표시 장치 A11: 촬상 센서
A12: 복호부 A13: 표시 제어부

Claims (14)

  1. 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되어 있는 정지 화상을 피사체로 하여 촬상 센서에 의해 촬상함으로써, 촬상 화상을 취득하는 촬상 단계와,
    상기 촬상 화상으로부터, 상기 신호를 복호하는 복호 단계와,
    복호된 상기 신호에 대응하는 동화상을 메모리로부터 읽어내고, 상기 촬상 화상 중의 상기 피사체에 대응하는 대상 영역에, 상기 동화상을 중첩시켜 디스플레이에 표시하는 표시 단계를 갖고,
    상기 표시 단계에서는,
    상기 동화상에 포함되는 복수의 화상 중, 상기 정지 화상과 동일한 화상인 선두 화상으로부터, 상기 복수의 화상을 순서대로 표시하는,
    표시 방법.
  2. 청구항 1에 있어서,
    상기 표시 방법은, 추가로
    상기 신호를 서버에 송신하는 송신 단계와,
    상기 신호에 대응하는 동화상을 서버로부터 수신하는 수신 단계를 포함하는, 표시 방법.
  3. 청구항 1에 있어서,
    상기 정지 화상은, 소정의 색의 외측 테두리를 갖고,
    상기 표시 방법은, 추가로
    상기 소정의 색에 의해, 상기 촬상 화상으로부터 상기 대상 영역을 인식하는 인식 단계를 포함하고,
    상기 표시 단계에서는,
    인식된 상기 대상 영역의 사이즈와 동일하게 되도록, 상기 동화상을 리사이즈하고,
    상기 촬상 화상 중의 상기 대상 영역에, 리사이즈된 상기 동화상을 중첩시켜 상기 디스플레이에 표시하는, 표시 방법.
  4. 청구항 1에 있어서,
    상기 촬상 센서의 촬상 영역 중, 상기 촬상 영역보다도 작은 영역인 표시 영역에 투영되는 화상만이 상기 디스플레이에 표시되고,
    상기 표시 단계에서는,
    상기 촬상 영역에 있어서 상기 피사체가 투영되고 있는 투영 영역이, 상기 표시 영역보다도 큰 경우에는, 상기 투영 영역 중, 상기 표시 영역을 넘은 부분에 의해서 얻어지는 화상을, 상기 디스플레이에 표시하지 않는, 표시 방법.
  5. 청구항 4에 있어서,
    상기 표시 영역의 수평 방향 및 수직 방향의 각각의 폭이 w1 및 h1이고,
    상기 투영 영역의 수평 방향 및 수직 방향의 각각의 폭이 w2 및 h2인 경우,
    상기 표시 단계에서는,
    h2/h1 또는 w2/w1 중 어느 큰 값이 소정의 값 이상인 경우에는,
    상기 동화상을, 상기 디스플레이의 전(全)화면에 표시하고,
    h2/h1 또는 w2/w1 중 어느 큰 값이 소정의 값보다도 작은 경우에는,
    상기 촬상 화상 중의 상기 대상 영역에, 상기 동화상을 중첩시켜 상기 디스플레이에 표시하는, 표시 방법.
  6. 청구항 5에 있어서,
    상기 표시 방법은, 추가로
    상기 동화상을 상기 디스플레이의 전화면에 표시하는 경우에는, 상기 촬상 센서의 동작을 오프로 하는 제어 단계를 포함하는, 표시 방법.
  7. 청구항 3에 있어서,
    상기 표시 단계에서는,
    상기 촬상 센서가 이동함으로써, 상기 촬상 화상으로부터 상기 대상 영역을 인식할 수 없게 된 경우에는,
    인식할 수 없게 되기 직전에 인식하고 있던 상기 대상 영역의 사이즈와 동일한 사이즈로 상기 동화상을 표시하는, 표시 방법.
  8. 청구항 1에 있어서,
    상기 표시 단계에서는,
    상기 촬상 센서가 이동함으로써, 상기 대상 영역 중의 일부만이, 상기 촬상 화상 중의 상기 디스플레이에 표시되는 영역에 포함되는 경우에는,
    상기 대상 영역의 일부에 대응하는 상기 동화상의 공간 영역의 일부를, 상기 대상 영역의 일부에 중첩시켜 상기 디스플레이에 표시하는,
    표시 방법.
  9. 청구항 8에 있어서,
    상기 표시 단계에서는,
    상기 촬상 센서가 이동함으로써, 상기 촬상 화상으로부터 상기 대상 영역을 인식할 수 없게 된 경우에는,
    인식할 수 없게 되기 직전에 표시되어 있던, 상기 대상 영역의 일부에 대응하는 상기 동화상의 공간 영역의 일부를 계속하여 표시하는,
    표시 방법.
  10. 청구항 7 또는 청구항 9에 있어서,
    상기 표시 단계에서는,
    상기 촬상 센서의 촬상 영역에 있어서의 수평 방향 및 수직 방향의 각각의 폭이 w0 및 h0이고,
    상기 촬상 영역에 있어서 상기 피사체가 투영되어 있는 투영 영역과, 상기 촬상 영역의 사이의 수평 방향 및 수직 방향의 각각의 거리가, dh 및 dw인 경우,
    dw/w0 또는 dh/h0 중 어느 작은 쪽의 값이 소정치 이하인 경우에, 상기 대상 영역을 인식할 수 없다고 판단하는, 표시 방법.
  11. 청구항 7 또는 청구항 9에 있어서,
    상기 표시 단계에서는,
    상기 촬상 센서의 촬상 영역에 있어서 상기 피사체가 투영되어 있는 투영 영역과, 상기 촬상 영역 사이의 수평 방향 및 수직 방향의 각각의 거리 중의 짧은 쪽에 대응하는 화각이 소정치 이하인 경우에, 상기 대상 영역을 인식할 수 없다고 판단하는, 표시 방법.
  12. 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되어 있는 정지 화상을 피사체로 하여 촬상함으로써, 촬상 화상을 취득하는 촬상 단계와,
    상기 촬상 화상으로부터, 상기 신호를 복호하는 복호 단계와,
    복호된 상기 신호에 대응하는 동화상을 메모리로부터 읽어내고, 상기 촬상 화상 중의 상기 피사체에 대응하는 대상 영역에, 상기 동화상을 중첩시켜 디스플레이에 표시하는 표시 단계를, 컴퓨터에 실행시키고,
    상기 표시 단계에서는,
    상기 동화상에 포함되는 복수의 화상 중, 상기 정지 화상과 동일한 화상인 선두 화상으로부터, 상기 복수의 화상을 순서대로 표시하는, 프로그램.
  13. 광의 휘도 변화에 의해 신호를 송신하는 송신기에 의해 라이트 업되어 있는 정지 화상을 피사체로 하여 촬상함으로써, 촬상 화상을 취득하는 촬상 센서와,
    상기 촬상 화상으로부터 상기 신호를 복호하는 복호부와,
    복호된 상기 신호에 대응하는 동화상을 메모리로부터 읽어내고, 상기 촬상 화상 중의 상기 피사체에 대응하는 대상 영역에, 상기 동화상을 중첩시켜 디스플레이에 표시하는 표시 제어부를 구비하고,
    상기 표시 제어부는,
    상기 동화상에 포함되는 복수의 화상 중, 상기 정지 화상과 동일한 화상인 선두 화상으로부터, 상기 복수의 화상을 순서대로 표시하는, 표시 장치.
  14. 청구항 13에 있어서,
    상기 촬상 센서는, 복수의 마이크로 미러와, 포토 센서를 갖고,
    상기 표시 장치는, 추가로
    상기 촬상 센서를 제어하는 촬상 제어부를 구비하고,
    상기 촬상 제어부는,
    상기 촬상 화상 중, 상기 신호를 포함하는 영역을 신호 영역으로서 특정하고,
    상기 복수의 마이크로 미러 중, 특정한 상기 신호 영역에 대응하는 마이크로 미러의 각도를 제어하고,
    상기 복수의 마이크로 미러 중, 각도가 제어된 상기 마이크로 미러에 의한 반사광만을, 상기 포토 센서에 수광시키는, 표시 장치.
KR1020177021876A 2015-11-12 2016-11-11 표시 방법, 프로그램 및 표시 장치 KR20180081674A (ko)

Applications Claiming Priority (17)

Application Number Priority Date Filing Date Title
JPJP-P-2015-222289 2015-11-12
JP2015222289 2015-11-12
US201562268693P 2015-12-17 2015-12-17
JP2015245738 2015-12-17
US62/268,693 2015-12-17
JPJP-P-2015-245738 2015-12-17
US201662276454P 2016-01-08 2016-01-08
US62/276,454 2016-01-08
US201662338071P 2016-05-18 2016-05-18
JP2016100008 2016-05-18
US62/338,071 2016-05-18
JPJP-P-2016-100008 2016-05-18
JP2016123067 2016-06-21
JPJP-P-2016-123067 2016-06-21
JP2016145845 2016-07-25
JPJP-P-2016-145845 2016-07-25
PCT/JP2016/004865 WO2017081870A1 (ja) 2015-11-12 2016-11-11 表示方法、プログラムおよび表示装置

Publications (1)

Publication Number Publication Date
KR20180081674A true KR20180081674A (ko) 2018-07-17

Family

ID=58694969

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177021876A KR20180081674A (ko) 2015-11-12 2016-11-11 표시 방법, 프로그램 및 표시 장치

Country Status (6)

Country Link
US (2) US10263701B2 (ko)
EP (1) EP3376772B1 (ko)
JP (1) JP6876615B2 (ko)
KR (1) KR20180081674A (ko)
CN (1) CN107466477B (ko)
WO (1) WO2017081870A1 (ko)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147222B2 (en) * 2010-06-23 2015-09-29 Digimarc Corporation Detecting encoded signals under adverse lighting conditions using adaptive signal detection
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
EP3376772B1 (en) * 2015-11-12 2023-01-25 Panasonic Intellectual Property Corporation of America Display method, program and display device
US10223773B2 (en) * 2017-04-01 2019-03-05 Intel Corporation On demand MSAA resolve during lens correction and/or other post-processing phases
JP6885179B2 (ja) * 2017-04-20 2021-06-09 富士通株式会社 撮影装置、撮影制御プログラム、及び撮影管理システム
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
CN107356904B (zh) * 2017-07-25 2020-07-07 京东方科技集团股份有限公司 测量组件以及定位系统
JP6897389B2 (ja) * 2017-07-25 2021-06-30 富士通株式会社 判別用コンピュータプログラム、判別装置及び判別方法ならびに通信システム
CN108616306B (zh) * 2018-04-04 2020-06-26 深圳市晟丰达科技有限公司 一种车载互联互通方法、计算机可读存储介质和车载终端
JP2019211595A (ja) 2018-06-04 2019-12-12 富士ゼロックス株式会社 表示制御装置、プログラム及び表示システム
CN109151551B (zh) * 2018-09-20 2021-08-27 阿里巴巴（中国）有限公司 视频界面显示方法及装置
US11023995B2 (en) * 2018-09-21 2021-06-01 Apple Inc. Systems and methods to toggle display links
CN109737997B (zh) * 2018-12-29 2020-10-20 北京理工大学 一种虚拟现实头戴显示设备的转动延迟测量方法
CN109696188B (zh) * 2018-12-29 2020-07-21 北京理工大学 一种基于激光管的vr头盔的转动延迟测量方法
CN109696189B (zh) * 2018-12-29 2020-10-23 北京理工大学 一种基于编码器的vr头盔的转动延迟测量方法
CN109696190B (zh) * 2018-12-29 2020-09-18 北京理工大学 一种基于渐变编码的vr头盔的转动延迟测量方法
CN109696191B (zh) * 2018-12-29 2020-06-30 北京理工大学 一种虚拟现实头戴显示设备的移动延迟测量方法
US11017233B2 (en) 2019-03-29 2021-05-25 Snap Inc. Contextual media filter search
US10504453B1 (en) 2019-04-18 2019-12-10 Apple Inc. Displays with adjustable direct-lit backlight units
US10571744B1 (en) 2019-04-18 2020-02-25 Apple Inc. Displays with adjustable direct-lit backlight units and power consumption compensation
US10809117B1 (en) * 2019-04-29 2020-10-20 The Realreal, Inc. Estimating gemstone weight in mounted settings
US10944912B2 (en) * 2019-06-04 2021-03-09 Ford Global Technologies, Llc Systems and methods for reducing flicker artifacts in imaged light sources
CN110456597B (zh) * 2019-07-22 2021-02-19 南京酷偶文化创意有限公司 多功能定格动画制作系统及方法
JP7345100B2 (ja) * 2019-08-02 2023-09-15 パナソニックＩｐマネジメント株式会社 位置推定装置、位置推定システム、及び、位置推定方法
US11003928B2 (en) 2019-08-08 2021-05-11 Argo AI, LLC Using captured video data to identify active turn signals on a vehicle
CN110730345B (zh) 2019-10-11 2022-09-02 京东方科技集团股份有限公司 图像显示方法、图像识别方法、装置、介质、设备及系统
CN112994793A (zh) * 2019-12-17 2021-06-18 Oppo广东移动通信有限公司 头盔设备的通信控制方法、头盔设备及存储介质
CN111538330B (zh) 2020-04-09 2022-03-04 北京石头世纪科技股份有限公司 一种图像选取方法、自行走设备及计算机存储介质
CN114938417B (zh) * 2022-05-12 2023-10-17 安徽声讯信息技术有限公司 一种面向网页的高拍仪图像采集系统及图像采集方法
US11967291B1 (en) 2022-08-02 2024-04-23 Apple Inc. Using content type to select brightness in direct-lit backlight units

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4807031A (en) 1987-10-20 1989-02-21 Interactive Systems, Incorporated Interactive video method and apparatus
EP0697157A4 (en) 1993-05-03 1996-05-29 Pinjaroo Pty Limited SUBLIMINAL MESSAGE DISPLAY SYSTEM
JP2748263B2 (ja) 1995-09-04 1998-05-06 松下電器産業株式会社 バーコードリーダと、それに用いるイメージセンサ
JPH09294238A (ja) * 1996-04-24 1997-11-11 Sony Corp 画像取り込み装置、画像取り込み方法、画像取り込みシステム、画像表示処理装置、及び記録媒体
WO2006041486A1 (en) 2004-10-01 2006-04-20 Franklin Philip G Method and apparatus for the zonal transmission of data using building lighting fixtures
WO1999044336A1 (fr) 1998-02-26 1999-09-02 Sony Corporation Appareil de traitement de donnees et support lisible par ordinateur
JP3918813B2 (ja) 2001-10-23 2007-05-23 ソニー株式会社 データ通信システム、データ送信装置、並びにデータ受信装置
US20060164533A1 (en) 2002-08-27 2006-07-27 E-Phocus, Inc Electronic image sensor
JP2004064465A (ja) 2002-07-30 2004-02-26 Sony Corp 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
JP4207490B2 (ja) 2002-08-06 2009-01-14 ソニー株式会社 光通信装置、光通信データ出力方法、および光通信データ解析方法、並びにコンピュータ・プログラム
WO2004047430A1 (en) * 2002-11-15 2004-06-03 Thomson Licensing S.A. Method and apparatus for composition of subtitles
JP4225823B2 (ja) 2003-04-22 2009-02-18 富士フイルム株式会社 データ送信サーバ、携帯端末装置、読み取り装置、データ処理システム、及びデータ送信方法
JP2004334269A (ja) 2003-04-30 2004-11-25 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
US7136157B2 (en) * 2003-08-22 2006-11-14 Micron Technology, Inc. Method and apparatus for testing image sensors
JP2005151015A (ja) 2003-11-13 2005-06-09 Sony Corp 表示装置およびその駆動方法
JP4519493B2 (ja) * 2004-03-25 2010-08-04 パナソニック株式会社 表示装置
US7830357B2 (en) 2004-07-28 2010-11-09 Panasonic Corporation Image display device and image display system
JP4736397B2 (ja) 2004-10-22 2011-07-27 日本電気株式会社 撮像素子、撮像モジュール及び携帯端末
JP4506502B2 (ja) 2005-02-23 2010-07-21 パナソニック電工株式会社 照明光伝送システム
JP4692991B2 (ja) 2005-05-20 2011-06-01 株式会社中川研究所 データ送信装置及びデータ受信装置
US20080290988A1 (en) 2005-06-18 2008-11-27 Crawford C S Lee Systems and methods for controlling access within a system of networked and non-networked processor-based systems
WO2007004530A1 (ja) 2005-06-30 2007-01-11 Pioneer Corporation 照明光通信装置および照明光通信方法
JP4483744B2 (ja) 2005-08-26 2010-06-16 ソニー株式会社 撮像装置及び撮像制御方法
JP4939024B2 (ja) 2005-09-27 2012-05-23 京セラ株式会社 光通信装置、及び光通信方法
JP4600297B2 (ja) 2006-01-11 2010-12-15 ソニー株式会社 オブジェクトの関連情報の記録システム，オブジェクトの関連情報の記録方法，テレビジョン受像機及び表示制御方法
US20060242908A1 (en) 2006-02-15 2006-11-02 Mckinney David R Electromagnetic door actuator system and method
JP5045980B2 (ja) 2006-03-28 2012-10-10 カシオ計算機株式会社 情報伝送システム、移動体の制御装置、移動体の制御方法、及び、プログラム
JP4610511B2 (ja) 2006-03-30 2011-01-12 京セラ株式会社 可視光受信装置および可視光受信方法
JP4996175B2 (ja) 2006-08-29 2012-08-08 株式会社東芝 入室管理システムおよび入室管理方法
JP4265662B2 (ja) 2007-02-06 2009-05-20 株式会社デンソー 車両用通信装置
JP2008224536A (ja) 2007-03-14 2008-09-25 Toshiba Corp 可視光通信の受信装置及び可視光ナビゲーションシステム
JP5031427B2 (ja) 2007-03-30 2012-09-19 三星電子株式会社 可視光送信装置、可視光受信装置、可視光通信システム、及び可視光通信方法
JP2009117892A (ja) 2007-11-01 2009-05-28 Toshiba Corp 可視光通信装置
JP5541153B2 (ja) 2008-03-10 2014-07-09 日本電気株式会社 通信システム、送信装置及び受信装置
US8648911B2 (en) 2008-03-10 2014-02-11 Nec Corporation Communication system, control device, and reception device
RU2456502C2 (ru) 2008-05-30 2012-07-20 Шарп Кабусики Кайся Устройство освещения, устройство отображения и светопроводящая пластина
JP5171398B2 (ja) * 2008-06-02 2013-03-27 三洋電機株式会社 撮像装置
JP2010102966A (ja) 2008-10-23 2010-05-06 Sumitomo Chemical Co Ltd 照明光通信システム用の送信装置
JP5185087B2 (ja) 2008-11-25 2013-04-17 三星電子株式会社 可視光通信システム、及び信号伝送方法
JP2010147527A (ja) 2008-12-16 2010-07-01 Kyocera Corp 通信端末および情報発信源特定プログラム
JP5282899B2 (ja) 2009-03-19 2013-09-04 カシオ計算機株式会社 情報復元装置及び情報復元方法
JP2010278573A (ja) 2009-05-26 2010-12-09 Panasonic Electric Works Co Ltd 点灯制御装置、盗撮防止システム、映写機
JP5515472B2 (ja) 2009-07-13 2014-06-11 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP5414405B2 (ja) 2009-07-21 2014-02-12 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
KR101621095B1 (ko) 2009-09-16 2016-05-16 삼성전자주식회사 디스플레이를 통한 부가 정보 제공 방법 및 장치
US8731406B2 (en) 2009-09-16 2014-05-20 Samsung Electronics Co., Ltd. Apparatus and method for generating high resolution frames for dimming and visibility support in visible light communication
KR101615762B1 (ko) 2009-09-19 2016-04-27 삼성전자주식회사 다중 통신 모드를 제공하는 가시광 통신 시스템에서 가시 프레임을 출력하기 위한 방법 및 장치
US8798479B2 (en) 2009-12-03 2014-08-05 Samsung Electronics Co., Ltd. Controlling brightness of light sources used for data transmission
KR101653169B1 (ko) 2010-03-02 2016-09-02 삼성디스플레이 주식회사 가시광 통신 장치 및 그 방법
JP5436311B2 (ja) 2010-04-02 2014-03-05 三菱電機株式会社 情報表示システム、情報コンテンツ配信サーバおよびディスプレイ装置
JP5635312B2 (ja) 2010-06-28 2014-12-03 株式会社アウトスタンディングテクノロジー 可視光通信送信機
WO2012035825A1 (ja) 2010-09-14 2012-03-22 富士フイルム株式会社 撮像装置及び撮像方法
US8682245B2 (en) 2010-09-23 2014-03-25 Blackberry Limited Communications system providing personnel access based upon near-field communication and related methods
JP5525401B2 (ja) * 2010-09-29 2014-06-18 新日鉄住金ソリューションズ株式会社 拡張現実感提示装置、情報処理システム、拡張現実感提示方法及びプログラム
US20120113145A1 (en) * 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality surveillance and rescue system
JP2012113655A (ja) 2010-11-26 2012-06-14 Kyocera Corp 情報提示システム及び情報提示システムの携帯情報端末
US8553146B2 (en) 2011-01-26 2013-10-08 Echostar Technologies L.L.C. Visually imperceptible matrix codes utilizing interlacing
US9571888B2 (en) 2011-02-15 2017-02-14 Echostar Technologies L.L.C. Selection graphics overlay of matrix code
JP2012169189A (ja) 2011-02-15 2012-09-06 Koito Mfg Co Ltd 発光モジュールおよび車両用灯具
JP2012195763A (ja) 2011-03-16 2012-10-11 Seiwa Electric Mfg Co Ltd 電子機器及びデータ収集システム
EP2503852A1 (en) 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Light detection system and method
JP2012209622A (ja) 2011-03-29 2012-10-25 Design Department Store Co Ltd ウェブページの内容を確認する方法
JP5806007B2 (ja) * 2011-06-15 2015-11-10 オリンパス株式会社 撮像装置
EP2538584B1 (en) 2011-06-23 2018-12-05 Casio Computer Co., Ltd. Information Transmission System, and Information Transmission Method
US8866391B2 (en) 2011-07-26 2014-10-21 ByteLight, Inc. Self identifying modulated light source
US8334901B1 (en) 2011-07-26 2012-12-18 ByteLight, Inc. Method and system for modulating a light source in a light based positioning system using a DC bias
JP2015509336A (ja) 2012-01-20 2015-03-26 ディジマーク コーポレイション 共有秘密構成及び光データ転送
KR101974366B1 (ko) 2012-02-10 2019-05-03 삼성전자주식회사 디지털 정보 디스플레이 장치에서 영상 내 각 객체에 대한 부가 정보를 제공하기 위한 방법 및 이를 위한 디지털 정보 디스플레이 장치 그리고 상기 부가 정보를 제공받는 가시광 통신 단말
JP2013210974A (ja) * 2012-03-30 2013-10-10 Ntt Comware Corp 検索画像登録装置、検索画像表示システム、検索画像登録方法およびプログラム
JP2013223209A (ja) 2012-04-19 2013-10-28 Panasonic Corp 撮像処理装置
CN103426003B (zh) 2012-05-22 2016-09-28 腾讯科技（深圳）有限公司 增强现实交互的实现方法和系统
EP2858269B1 (en) 2012-05-24 2018-02-28 Panasonic Intellectual Property Corporation of America Information communication method
JP5992729B2 (ja) * 2012-05-30 2016-09-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
CN102811284A (zh) 2012-06-26 2012-12-05 深圳市金立通信设备有限公司 一种语音输入自动翻译为目标语言的方法
EP2940893B1 (en) * 2012-12-27 2021-05-19 Panasonic Intellectual Property Corporation of America Information communication method
SG10201609857SA (en) 2012-12-27 2017-01-27 Panasonic Ip Corp America Information communication method
JPWO2014103156A1 (ja) 2012-12-27 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 情報通信方法
US8922666B2 (en) * 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
SG11201504978WA (en) 2012-12-27 2015-07-30 Panasonic Ip Corp America Information communication method
JP6089898B2 (ja) * 2013-04-09 2017-03-08 ソニー株式会社 画像処理装置および記憶媒体
CN104125379B (zh) * 2013-04-23 2018-05-04 奥林巴斯株式会社 摄像装置
JP2014239382A (ja) * 2013-06-10 2014-12-18 オリンパス株式会社 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
AU2014310703B2 (en) * 2013-08-19 2018-09-27 Basf Se Optical detector
JP2015090553A (ja) * 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
WO2015098108A1 (ja) * 2013-12-27 2015-07-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
JP2015179392A (ja) 2014-03-19 2015-10-08 カシオ計算機株式会社 コードシンボル表示装置、情報処理装置及びプログラム
WO2015145541A1 (ja) 2014-03-24 2015-10-01 日立マクセル株式会社 映像表示装置
TWM506428U (zh) * 2015-02-17 2015-08-01 Wonderwave Co Ltd 擴增實境式串流影音顯示系統
EP3376772B1 (en) * 2015-11-12 2023-01-25 Panasonic Intellectual Property Corporation of America Display method, program and display device
TWI736702B (zh) 2016-11-10 2021-08-21 美商松下電器（美國）知識產權公司 資訊通訊方法、資訊通訊裝置及程式

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290335A (ja) 2001-03-28 2002-10-04 Sony Corp 光空間伝送装置

Also Published As

Publication number Publication date
CN107466477A (zh) 2017-12-12
EP3376772A1 (en) 2018-09-19
US20190207678A1 (en) 2019-07-04
WO2017081870A1 (ja) 2017-05-18
JP6876615B2 (ja) 2021-05-26
US10263701B2 (en) 2019-04-16
US20180102846A1 (en) 2018-04-12
CN107466477B (zh) 2021-08-10
JPWO2017081870A1 (ja) 2018-08-30
US10951309B2 (en) 2021-03-16
EP3376772B1 (en) 2023-01-25
EP3376772A4 (en) 2018-11-21

Similar Documents

Publication Publication Date Title
JP6876615B2 (ja) 表示方法、プログラムおよび表示装置
JP6876617B2 (ja) 表示方法および表示装置
US10521668B2 (en) Display method and display apparatus
US10530486B2 (en) Transmitting method, transmitting apparatus, and program
US10819428B2 (en) Transmitting method, transmitting apparatus, and program
JP6122233B1 (ja) 可視光信号の生成方法、信号生成装置およびプログラム
JP6842413B2 (ja) 信号復号方法、信号復号装置およびプログラム
JP7023239B2 (ja) 送信方法、送信装置、およびプログラム
WO2016136256A1 (ja) 信号生成方法、信号生成装置およびプログラム
JP7134094B2 (ja) 送信方法、送信装置、およびプログラム
WO2016098355A1 (ja) 送信方法、送信装置およびプログラム
WO2018110373A1 (ja) 送信方法、送信装置、およびプログラム