Как реализовать CameraStream с помощью WebRTC

1. Подготовка

Типаж CameraStream принадлежит устройствам, которые могут транслировать ленты видео на умные дисплеи, устройства Chromecast и смартфоны. Протокол WebRTC теперь поддерживается в свойстве CameraStream. Это значит, что вы можете значительно сократить задержку при запуске и трансляции с камеры на дисплей Google Nest.

Камеры, транслирующие видео на дисплей Google Nest

Требования

Что вы узнаете

  • Как развернуть облачный сервис умного дома.
  • Как подключить сервис к Google Ассистенту.
  • Как транслировать видео на дисплей Google Nest с помощью протокола WebRTC.

Что вам понадобится

  • Браузер, например Google Chrome.
  • Устройство iOS или Android с приложением Google Home.
  • Node.js версии 24 или более поздней.
  • Тарифный план Blaze (оплата по мере использования) для Firebase.
  • Встроенная или внешняя веб-камера с поддержкой разрешения Full HD.
  • Дисплей Google Nest.

2. Начать

Установите интерфейс командной строки Firebase

Интерфейс командной строки Firebase позволяет локально обслуживать веб-приложения и развертывать их в Firebase Hosting.

Чтобы установить интерфейс командной строки Firebase, выполните следующие действия:

  1. В терминале скачайте и установите интерфейс командной строки Firebase:
$ npm install -g firebase-tools
  1. Убедитесь, что CLI установлен правильно:
$ firebase --version
  1. Авторизуйте интерфейс командной строки Firebase в аккаунте Google:
$ firebase login

Как создать проект

  1. Перейдите в Google Home Developer Console.
  2. Нажмите Создать проект, введите название проекта и нажмите Создать проект.

Диалоговое окно создания проекта с полем для названия проекта

Запустите клиентское приложение CameraStream

Исходный код для этой практической работы включает клиент WebRTC, который устанавливает, согласовывает и управляет сеансом WebRTC между веб-камерой и умным дисплеем Google.

Чтобы запустить клиентское приложение CameraStream WebRTC, выполните одно из следующих действий:

  • Нажмите кнопку ниже, чтобы скачать исходный код на компьютер для разработки.

  • Клонируйте это хранилище GitHub:
    $ git clone https://github.com/google-home/smarthome-camerastream-webrtc.git
    

Код содержит следующие каталоги:

  • Каталог camerastream-start, в котором содержится заготовка кода, на основе которой вы будете создавать приложение.
  • Каталог camerastream-done, в котором содержится код решения для завершенной практической работы.

Каталог camerastream-start содержит следующие подкаталоги:

  • Подкаталог public, который содержит интерфейс для управления камерой и отслеживания ее состояния.
  • Подкаталог functions, который содержит полностью реализованный облачный сервис, управляющий камерой с помощью Cloud Functions for Firebase и Realtime Database.

В заготовке кода есть комментарии TODO, которые указывают, где нужно добавить или изменить код. Пример:

// TODO: Implement full SYNC response.

Как добавить Firebase в проект Google Home Developer Console

Способ 1. Через консоль Firebase

  1. Перейдите в Firebase.
  2. Нажмите Создать проект Firebase.
    Кнопка "Создать проект Firebase" в консоли Firebase
  3. На экране Создание проекта нажмите Добавить Firebase в проект Google Cloud.
    Добавьте Firebase в проект Google Cloud
  4. На экране Начало работы выберите облачный проект Google Cloud, который вы только что создали в Google Home Developer Console, и нажмите Продолжить.
    Выберите проект Google Cloud

Способ 2. С помощью интерфейса командной строки Firebase

firebase projects:addfirebase

Выберите проект Google Home Developer Console, который вы только что создали, чтобы добавить Firebase.

После добавления Firebase в проект Google Home Developer Console он появится в консоли Firebase. Идентификатор проекта Firebase будет совпадать с идентификатором проекта Google Home Developer Console.

Облачный проект добавлен

Установить связь с Firebase

  1. Перейдите в каталог camerastream-start и настройте интерфейс командной строки Firebase для проекта Actions:
$ cd camerastream-start
$ firebase use <project-id>
  1. В каталоге camerastream-start перейдите в папку functions и установите все необходимые зависимости:
$ cd functions
$ npm install
  1. Если вы видите следующее сообщение, проигнорируйте его. Это предупреждение связано с устаревшими зависимостями. Дополнительную информацию можно найти на этой странице GitHub.
found 5 high severity vulnerabilities
  run `npm audit fix` to fix them, or `npm audit` for details
  1. Инициализируйте проект Firebase:
$ firebase init
  1. Выберите Functions и Hosting. Это инициализирует необходимые API и функции для вашего проекта.
? Which Firebase features do you want to set up for this directory? Press Space to select features, then Enter
 to confirm your choices. (Press <space> to select, <a> to toggle all, <i> to invert selection, and <enter> to
 proceed)
>( ) Data Connect: Set up a Firebase Data Connect service
 ( ) Firestore: Configure security rules and indexes files for Firestore
 ( ) Genkit: Setup a new Genkit project with Firebase
 (*) Functions: Configure a Cloud Functions directory and its files
 ( ) App Hosting: Configure an apphosting.yaml file for App Hosting
 (*) Hosting: Configure files for Firebase Hosting and (optionally) set up GitHub Action deploys
 ( ) Storage: Configure a security rules file for Cloud Storage
 ( ) Emulators: Set up local emulators for Firebase products
 ( ) Remote Config: Configure a template file for Remote Config
 ( ) Extensions: Set up an empty Extensions manifest
 (*) Realtime Database: Configure a security rules file for Realtime Database and (optionally) provision
default instance
 ( ) Data Connect: Set up a Firebase Data Connect service
 ( ) Firestore: Configure security rules and indexes files for Firestore
  1. Настройте Cloud Functions с файлами по умолчанию и убедитесь, что вы не перезаписали существующие файлы index.js и package.json в примере проекта:
? Would you like to initialize a new codebase, or overwrite an existing one?
Overwrite

? What language would you like to use to write Cloud Functions?
JavaScript

? File functions/package.json already exists. Overwrite?
No

? File functions/index.js already exists. Overwrite?
No

? Do you want to install dependencies with npm now?
Yes
  1. Настройте Hosting с каталогом public в коде проекта и используйте существующий файл index.html:
? What do you want to use as your public directory?
public

? Configure as a single-page app (rewrite all urls to /index.html)?
Yes

? Set up automatic builds and deploys with GitHub?
No

? File public/index.html already exists. Overwrite?
 No

3. Обмен сообщениями по протоколу SDP

Обмен сообщениями SDP – важный шаг в установлении потока WebRTC. SDP – это текстовый протокол, описывающий характеристики мультимедийного сеанса. Он используется в WebRTC для согласования параметров однорангового соединения, таких как используемые кодеки, IP-адреса участников и порты, используемые для передачи медиаданных.

Чтобы использовать Realtime Database в качестве хоста для обмена SDP-сообщениями между веб-камерой и клиентским приложением CameraStream умного дома, выполните следующие действия:

  1. В консоли Firebase нажмите Build (Создать) > Realtime Database (База данных в реальном времени) > Create database (Создать базу данных).

Страница Realtime Database в консоли Firebase

  1. В раскрывающемся меню Местоположение Realtime Database выберите подходящее местоположение для размещения базы данных.

Раскрывающееся меню местоположения Realtime Database в диалоговом окне &quot;Настройка базы данных&quot;

  1. Выберите Запустить в тестовом режиме и нажмите Включить. После включения Realtime Database вам нужно будет ссылаться на нее из клиентского приложения CameraStream.
  1. В консоли Firebase выберите 513f2be95dcd7896.png Project settings (Настройки проекта) > Project settings (Настройки проекта) > e584a9026e2b407f.pngAdd Firebase to your Web App (Добавить Firebase в веб-приложение), чтобы запустить процесс настройки.
  2. Если вы уже добавили приложение в проект Firebase, нажмите Добавить приложение, чтобы посмотреть варианты платформ.
  3. Введите псевдоним приложения, например My web app, и нажмите Зарегистрировать приложение.
  4. В разделе Добавление Firebase SDK выберите Использовать тег <script>.
  5. Скопируйте значения из объекта firebasebaseConfig и вставьте их в файл camaerastream-start/public/webrtc_generator.js.
const firebaseConfig = {
  apiKey: "XXXXX",
  authDomain: "XXXXX",
  projectId: "XXXXX",
  storageBucket: "XXXXX",
  messagingSenderId: "XXXXX",
  appId: "XXXXX",
  measurementId: "XXXXX"
};
  1. Нажмите Continue to console (Перейти в консоль), чтобы завершить процесс. Новое веб-приложение появится на странице Project settings (Настройки проекта).

4. Как создать камеру WebRTC

Теперь, когда вы настроили действие, ваш облачный сервис должен обрабатывать следующие намерения:

  • Намерение SYNC, которое возникает, когда Ассистент хочет узнать, какие устройства подключены у пользователя. Этот токен отправляется в ваш сервис, когда пользователь связывает аккаунты. Вы должны ответить полезной нагрузкой JSON с устройствами пользователя и их возможностями.
  • Намерение EXECUTE/QUERY, которое возникает, когда Ассистент хочет управлять устройством от имени пользователя. Вы должны ответить полезной нагрузкой JSON со статусом выполнения для каждого запрошенного устройства.

В этом разделе вы обновляете функции, которые ранее развернули для обработки этих намерений.

Обновить ответ SYNC

  1. Перейдите к файлу functions/index.js. Он содержит код для ответа на запросы от Ассистента.
  2. Измените намерение SYNC, чтобы возвращать метаданные и возможности устройства:

index.js

app.onSync((body) => {
return {
  requestId: body.requestId,
  payload: {
    agentUserId: USER_ID,
    devices: [{
      id: 'camera',
      type: 'action.devices.types.CAMERA',
      traits: [
        'action.devices.traits.OnOff',
        'action.devices.traits.CameraStream',
      ],
      name: {
        defaultNames: ['My WebRTC Camera'],
        name: 'Camera',
        nicknames: ['Camera'],
      },
      deviceInfo: {
        manufacturer: 'Acme Co',
        model: 'acme-camera',
        hwVersion: '1.0',
        swVersion: '1.0.1',
      },
      willReportState: false,
      attributes: {
        cameraStreamSupportedProtocols:['webrtc'],
        cameraStreamNeedAuthToken: true,
        cameraStreamSupportsPreview: true
      },
    }],
  },
};
});
  1. В коде не определено свойство USER_ID. Добавьте в раздел const _ = require('underscore'); следующие строки:
// Hardcoded user ID
const USER_ID = '123';

Обработка намерения EXECUTE

Намерение EXECUTE обрабатывает команды на обновление состояния устройства. В ответе возвращается статус каждой команды, например SUCCESS, ERROR или PENDING, и новое состояние устройства.

Чтобы обработать намерение EXECUTE, измените его EXECUTE так, чтобы оно возвращало конечную точку signaling проекта Firebase в файле functions/index.js:

index.js

app.onExecute(async (body,headers) => {
  var array = headers.authorization.split(' ');
  var snapshot = await firebaseRef.ref('/userId/'+array[1]).once('value');
  var offerGenLocation = snapshot.val().type;
  const {requestId} = body;

  var result = {
    status: 'SUCCESS',
    states: {
      cameraStreamProtocol: 'webrtc',
      cameraStreamSignalingUrl:'https://us-central1-<project-id>.cloudfunctions.net/signaling?token='+array[1], // TODO: Add Firebase hosting URL
      cameraStreamIceServers: '',
      cameraStreamOffer:'',
      cameraStreamAuthToken:'',
    },
    ids: [
      'camera'
    ],
  };

  return {
    requestId: requestId,
    payload: {
      commands: [result],
    },
  };
});

Как обрабатывать совместное использование ресурсов между разными источниками (CORS)

Чтобы обработать CORS из-за использования метода POST для отправки SDP, добавьте URL Firebase Hosting в массив allowlist в файле functions/index.js:

index.js

'use strict';
.....

var allowList = ['https://www.gstatic.com','https://<project-id>.web.app']; //TODO Add Firebase hosting URL.

Подробнее о технологии CORS…

Обработка завершения потока

Чтобы обрабатывать завершение потока WebRTC, добавьте URL функции сигнализации Firebase в файл public/webrtc_generator.js:

webrtc_generator.js

terminateButton.onclick = function(){
  console.log('Terminating Stream!!')
  var signalingURL = 'https://us-central1-<project-id>.cloudfunctions.net/signaling'; //TODO Add Firebase hosting URL
   var http = new XMLHttpRequest();

Развертывание в Firebase

Чтобы развернуть обновленное облачное выполнение в Firebase, используйте интерфейс командной строки Firebase:

$ firebase deploy

Эта команда развертывает веб-приложение и несколько Cloud Functions for Firebase:

...

✔ Deploy complete!

Project Console: https://console.firebase.google.com/project/<project-id>/overview
Hosting URL: https://<project-id>.web.app

Настройте проект в Developer Console

  1. Перейдите в Developer Console.
  2. Нажмите Создать проект, введите название проекта и нажмите Создать проект.

Введите название проекта в Google Home Developer Console.

Выберите интеграцию Cloud-to-cloud

На главной странице проекта в Developer Console выберите Add cloud-to-cloud integration (Добавить интеграцию между облачными сервисами) в разделе Cloud-to-cloud (Облачные сервисы).

Как добавить карточку интеграции облачных сервисов в Developer Console

  1. Введите название интеграции и выберите Камера в разделе Тип устройства. Это название будет показываться в приложении Google Home, когда вы будете настраивать устройство. В этой практической работе мы ввели отображаемое название WebRTC Codelab, но вы можете использовать другое.

Добавьте отображаемое имя

  1. В разделе Брендинг приложения загрузите файл png для значка приложения размером 144 x 144 пикселя и назовите его .png.

Добавьте значок приложения

Включить связывание аккаунтов

Чтобы включить связывание аккаунтов после развертывания проекта, выполните следующие действия:

  1. Откройте проект в Developer Console.
  2. В разделе Облачные устройства нажмите Разработка > Изменить рядом с интеграцией.
  3. На странице Настройка и конфигурация найдите раздел Связывание аккаунтов и введите в текстовые поля следующую информацию:

Идентификатор клиента

ABC123

Секретный код клиента

DEF456

URL авторизации

https://us-central1-
.cloudfunctions.net/fakeauth

URL токена

https://us-central1-
.cloudfunctions.net/faketoken

Обновите URL для связывания аккаунтов

  1. Нажмите Сохранить > Тестировать.

5. Как протестировать виртуальную камеру WebRTC

  1. Перейдите по URL хостинга, который вы видели при развертывании проекта Firebase. Вы увидите следующий интерфейс, который является клиентским приложением CameraStream:

Интерфейс клиентского приложения CameraStream

  1. На панели Разрешение локального видео выберите нужное разрешение.
  2. Предоставьте клиентскому приложению CameraStream доступ к веб-камере и микрофону. В клиенте появится видеопоток с веб-камеры.
  1. В приложении Google Home нажмите Добавить > Работает с Google.

Страница &quot;Настройка устройства&quot; в приложении Google Home

  1. Найдите и выберите созданное действие.

Действие умного дома в приложении Google Home.

  1. Запишите уникальный пятизначный буквенно-цифровой код, так как он понадобится вам позже.

Уникальный пятизначный буквенно-цифровой код

  1. Нажмите Вернуться. Камера WebRTC будет добавлена в структуру в приложении Google Home.

Как запустить трансляцию WebRTC

  1. На веб-странице клиентского приложения CameraStream введите буквенно-цифровой код из предыдущего раздела в поле Account linking token value (Значение токена для связывания аккаунтов) и нажмите Submit (Отправить).

Текстовое поле &quot;Значение токена для связывания аккаунтов&quot;

  1. Чтобы начать сеанс WebRTC на умном дисплее Google, выполните одно из следующих действий:
  • Скажите "Окей, Google, покажи видео с камеры WebRTC".
  • На умном дисплее Google нажмите Управление домом > Камера > Камера WebRTC.

В клиентском приложении CameraStream для умного дома Google вы видите, что SDP-предложение и SDP-ответ успешно созданы и переданы. Изображение с веб-камеры передается на умный дисплей Google с помощью технологии WebRTC.

6. Поздравляю!

Поздравляем! Вы узнали, как транслировать видео с веб-камеры на дисплей Google Nest с помощью протокола WebRTC.

Подробнее…