1. Подготовка
Типаж CameraStream принадлежит устройствам, которые могут транслировать ленты видео на умные дисплеи, устройства Chromecast и смартфоны. Протокол WebRTC теперь поддерживается в свойстве CameraStream. Это значит, что вы можете значительно сократить задержку при запуске и трансляции с камеры на дисплей Google Nest.

Требования
- Ознакомьтесь с руководством по интеграции Cloud-to-Cloud.
Что вы узнаете
- Как развернуть облачный сервис умного дома.
- Как подключить сервис к Google Ассистенту.
- Как транслировать видео на дисплей Google Nest с помощью протокола WebRTC.
Что вам понадобится
- Браузер, например Google Chrome.
- Устройство iOS или Android с приложением Google Home.
- Node.js версии 24 или более поздней.
- Тарифный план Blaze (оплата по мере использования) для Firebase.
- Встроенная или внешняя веб-камера с поддержкой разрешения Full HD.
- Дисплей Google Nest.
2. Начать
Установите интерфейс командной строки Firebase
Интерфейс командной строки Firebase позволяет локально обслуживать веб-приложения и развертывать их в Firebase Hosting.
Чтобы установить интерфейс командной строки Firebase, выполните следующие действия:
- В терминале скачайте и установите интерфейс командной строки Firebase:
$ npm install -g firebase-tools
- Убедитесь, что CLI установлен правильно:
$ firebase --version
- Авторизуйте интерфейс командной строки Firebase в аккаунте Google:
$ firebase login
Как создать проект
- Перейдите в Google Home Developer Console.
- Нажмите Создать проект, введите название проекта и нажмите Создать проект.

Запустите клиентское приложение CameraStream
Исходный код для этой практической работы включает клиент WebRTC, который устанавливает, согласовывает и управляет сеансом WebRTC между веб-камерой и умным дисплеем Google.
Чтобы запустить клиентское приложение CameraStream WebRTC, выполните одно из следующих действий:
- Нажмите кнопку ниже, чтобы скачать исходный код на компьютер для разработки.
- Клонируйте это хранилище GitHub:
$ git clone https://github.com/google-home/smarthome-camerastream-webrtc.git
Код содержит следующие каталоги:
- Каталог
camerastream-start, в котором содержится заготовка кода, на основе которой вы будете создавать приложение. - Каталог
camerastream-done, в котором содержится код решения для завершенной практической работы.
Каталог camerastream-start содержит следующие подкаталоги:
- Подкаталог
public, который содержит интерфейс для управления камерой и отслеживания ее состояния. - Подкаталог
functions, который содержит полностью реализованный облачный сервис, управляющий камерой с помощью Cloud Functions for Firebase и Realtime Database.
В заготовке кода есть комментарии TODO, которые указывают, где нужно добавить или изменить код. Пример:
// TODO: Implement full SYNC response.
Как добавить Firebase в проект Google Home Developer Console
Способ 1. Через консоль Firebase
- Перейдите в Firebase.
- Нажмите Создать проект Firebase.

- На экране Создание проекта нажмите Добавить Firebase в проект Google Cloud.

- На экране Начало работы выберите облачный проект Google Cloud, который вы только что создали в Google Home Developer Console, и нажмите Продолжить.

Способ 2. С помощью интерфейса командной строки Firebase
firebase projects:addfirebase
Выберите проект Google Home Developer Console, который вы только что создали, чтобы добавить Firebase.
После добавления Firebase в проект Google Home Developer Console он появится в консоли Firebase. Идентификатор проекта Firebase будет совпадать с идентификатором проекта Google Home Developer Console.

Установить связь с Firebase
- Перейдите в каталог
camerastream-startи настройте интерфейс командной строки Firebase для проекта Actions:
$ cd camerastream-start $ firebase use <project-id>
- В каталоге
camerastream-startперейдите в папкуfunctionsи установите все необходимые зависимости:
$ cd functions $ npm install
- Если вы видите следующее сообщение, проигнорируйте его. Это предупреждение связано с устаревшими зависимостями. Дополнительную информацию можно найти на этой странице GitHub.
found 5 high severity vulnerabilities run `npm audit fix` to fix them, or `npm audit` for details
- Инициализируйте проект Firebase:
$ firebase init
- Выберите Functions и Hosting. Это инициализирует необходимые API и функции для вашего проекта.
? Which Firebase features do you want to set up for this directory? Press Space to select features, then Enter to confirm your choices. (Press <space> to select, <a> to toggle all, <i> to invert selection, and <enter> to proceed) >( ) Data Connect: Set up a Firebase Data Connect service ( ) Firestore: Configure security rules and indexes files for Firestore ( ) Genkit: Setup a new Genkit project with Firebase (*) Functions: Configure a Cloud Functions directory and its files ( ) App Hosting: Configure an apphosting.yaml file for App Hosting (*) Hosting: Configure files for Firebase Hosting and (optionally) set up GitHub Action deploys ( ) Storage: Configure a security rules file for Cloud Storage ( ) Emulators: Set up local emulators for Firebase products ( ) Remote Config: Configure a template file for Remote Config ( ) Extensions: Set up an empty Extensions manifest (*) Realtime Database: Configure a security rules file for Realtime Database and (optionally) provision default instance ( ) Data Connect: Set up a Firebase Data Connect service ( ) Firestore: Configure security rules and indexes files for Firestore
- Настройте Cloud Functions с файлами по умолчанию и убедитесь, что вы не перезаписали существующие файлы
index.jsиpackage.jsonв примере проекта:
? Would you like to initialize a new codebase, or overwrite an existing one? Overwrite ? What language would you like to use to write Cloud Functions? JavaScript ? File functions/package.json already exists. Overwrite? No ? File functions/index.js already exists. Overwrite? No ? Do you want to install dependencies with npm now? Yes
- Настройте Hosting с каталогом
publicв коде проекта и используйте существующий файлindex.html:
? What do you want to use as your public directory? public ? Configure as a single-page app (rewrite all urls to /index.html)? Yes ? Set up automatic builds and deploys with GitHub? No ? File public/index.html already exists. Overwrite? No
3. Обмен сообщениями по протоколу SDP
Обмен сообщениями SDP – важный шаг в установлении потока WebRTC. SDP – это текстовый протокол, описывающий характеристики мультимедийного сеанса. Он используется в WebRTC для согласования параметров однорангового соединения, таких как используемые кодеки, IP-адреса участников и порты, используемые для передачи медиаданных.
Чтобы использовать Realtime Database в качестве хоста для обмена SDP-сообщениями между веб-камерой и клиентским приложением CameraStream умного дома, выполните следующие действия:
- В консоли Firebase нажмите Build (Создать) > Realtime Database (База данных в реальном времени) > Create database (Создать базу данных).

- В раскрывающемся меню Местоположение Realtime Database выберите подходящее местоположение для размещения базы данных.

- Выберите Запустить в тестовом режиме и нажмите Включить. После включения Realtime Database вам нужно будет ссылаться на нее из клиентского приложения CameraStream.
- В консоли Firebase выберите
Project settings (Настройки проекта) > Project settings (Настройки проекта) >
Add Firebase to your Web App (Добавить Firebase в веб-приложение), чтобы запустить процесс настройки. - Если вы уже добавили приложение в проект Firebase, нажмите Добавить приложение, чтобы посмотреть варианты платформ.
- Введите псевдоним приложения, например
My web app, и нажмите Зарегистрировать приложение. - В разделе Добавление Firebase SDK выберите Использовать тег <script>.
- Скопируйте значения из объекта
firebasebaseConfigи вставьте их в файлcamaerastream-start/public/webrtc_generator.js.
const firebaseConfig = {
apiKey: "XXXXX",
authDomain: "XXXXX",
projectId: "XXXXX",
storageBucket: "XXXXX",
messagingSenderId: "XXXXX",
appId: "XXXXX",
measurementId: "XXXXX"
};
- Нажмите Continue to console (Перейти в консоль), чтобы завершить процесс. Новое веб-приложение появится на странице Project settings (Настройки проекта).
4. Как создать камеру WebRTC
Теперь, когда вы настроили действие, ваш облачный сервис должен обрабатывать следующие намерения:
- Намерение
SYNC, которое возникает, когда Ассистент хочет узнать, какие устройства подключены у пользователя. Этот токен отправляется в ваш сервис, когда пользователь связывает аккаунты. Вы должны ответить полезной нагрузкой JSON с устройствами пользователя и их возможностями. - Намерение
EXECUTE/QUERY, которое возникает, когда Ассистент хочет управлять устройством от имени пользователя. Вы должны ответить полезной нагрузкой JSON со статусом выполнения для каждого запрошенного устройства.
В этом разделе вы обновляете функции, которые ранее развернули для обработки этих намерений.
Обновить ответ SYNC
- Перейдите к файлу
functions/index.js. Он содержит код для ответа на запросы от Ассистента. - Измените намерение
SYNC, чтобы возвращать метаданные и возможности устройства:
index.js
app.onSync((body) => {
return {
requestId: body.requestId,
payload: {
agentUserId: USER_ID,
devices: [{
id: 'camera',
type: 'action.devices.types.CAMERA',
traits: [
'action.devices.traits.OnOff',
'action.devices.traits.CameraStream',
],
name: {
defaultNames: ['My WebRTC Camera'],
name: 'Camera',
nicknames: ['Camera'],
},
deviceInfo: {
manufacturer: 'Acme Co',
model: 'acme-camera',
hwVersion: '1.0',
swVersion: '1.0.1',
},
willReportState: false,
attributes: {
cameraStreamSupportedProtocols:['webrtc'],
cameraStreamNeedAuthToken: true,
cameraStreamSupportsPreview: true
},
}],
},
};
});
- В коде не определено свойство
USER_ID. Добавьте в разделconst _ = require('underscore');следующие строки:
// Hardcoded user ID
const USER_ID = '123';
Обработка намерения EXECUTE
Намерение EXECUTE обрабатывает команды на обновление состояния устройства. В ответе возвращается статус каждой команды, например SUCCESS, ERROR или PENDING, и новое состояние устройства.
Чтобы обработать намерение EXECUTE, измените его EXECUTE так, чтобы оно возвращало конечную точку signaling проекта Firebase в файле functions/index.js:
index.js
app.onExecute(async (body,headers) => {
var array = headers.authorization.split(' ');
var snapshot = await firebaseRef.ref('/userId/'+array[1]).once('value');
var offerGenLocation = snapshot.val().type;
const {requestId} = body;
var result = {
status: 'SUCCESS',
states: {
cameraStreamProtocol: 'webrtc',
cameraStreamSignalingUrl:'https://us-central1-<project-id>.cloudfunctions.net/signaling?token='+array[1], // TODO: Add Firebase hosting URL
cameraStreamIceServers: '',
cameraStreamOffer:'',
cameraStreamAuthToken:'',
},
ids: [
'camera'
],
};
return {
requestId: requestId,
payload: {
commands: [result],
},
};
});
Как обрабатывать совместное использование ресурсов между разными источниками (CORS)
Чтобы обработать CORS из-за использования метода POST для отправки SDP, добавьте URL Firebase Hosting в массив allowlist в файле functions/index.js:
index.js
'use strict';
.....
var allowList = ['https://www.gstatic.com','https://<project-id>.web.app']; //TODO Add Firebase hosting URL.
Подробнее о технологии CORS…
Обработка завершения потока
Чтобы обрабатывать завершение потока WebRTC, добавьте URL функции сигнализации Firebase в файл public/webrtc_generator.js:
webrtc_generator.js
terminateButton.onclick = function(){
console.log('Terminating Stream!!')
var signalingURL = 'https://us-central1-<project-id>.cloudfunctions.net/signaling'; //TODO Add Firebase hosting URL
var http = new XMLHttpRequest();
Развертывание в Firebase
Чтобы развернуть обновленное облачное выполнение в Firebase, используйте интерфейс командной строки Firebase:
$ firebase deploy
Эта команда развертывает веб-приложение и несколько Cloud Functions for Firebase:
... ✔ Deploy complete! Project Console: https://console.firebase.google.com/project/<project-id>/overview Hosting URL: https://<project-id>.web.app
Настройте проект в Developer Console
- Перейдите в Developer Console.
- Нажмите Создать проект, введите название проекта и нажмите Создать проект.

Выберите интеграцию Cloud-to-cloud
На главной странице проекта в Developer Console выберите Add cloud-to-cloud integration (Добавить интеграцию между облачными сервисами) в разделе Cloud-to-cloud (Облачные сервисы).

- Введите название интеграции и выберите Камера в разделе Тип устройства. Это название будет показываться в приложении Google Home, когда вы будете настраивать устройство. В этой практической работе мы ввели отображаемое название WebRTC Codelab, но вы можете использовать другое.

- В разделе Брендинг приложения загрузите файл
pngдля значка приложения размером 144 x 144 пикселя и назовите его..png

Включить связывание аккаунтов
Чтобы включить связывание аккаунтов после развертывания проекта, выполните следующие действия:
- Откройте проект в Developer Console.
- В разделе Облачные устройства нажмите Разработка > Изменить рядом с интеграцией.
- На странице Настройка и конфигурация найдите раздел Связывание аккаунтов и введите в текстовые поля следующую информацию:
Идентификатор клиента |
|
Секретный код клиента |
|
URL авторизации |
|
URL токена |
|

- Нажмите Сохранить > Тестировать.
5. Как протестировать виртуальную камеру WebRTC
- Перейдите по URL хостинга, который вы видели при развертывании проекта Firebase. Вы увидите следующий интерфейс, который является клиентским приложением CameraStream:

- На панели Разрешение локального видео выберите нужное разрешение.
- Предоставьте клиентскому приложению CameraStream доступ к веб-камере и микрофону. В клиенте появится видеопоток с веб-камеры.
Ссылка на действие CameraStream для умного дома
- В приложении Google Home нажмите Добавить > Работает с Google.

- Найдите и выберите созданное действие.

- Запишите уникальный пятизначный буквенно-цифровой код, так как он понадобится вам позже.

- Нажмите Вернуться. Камера WebRTC будет добавлена в структуру в приложении Google Home.
Как запустить трансляцию WebRTC
- На веб-странице клиентского приложения CameraStream введите буквенно-цифровой код из предыдущего раздела в поле Account linking token value (Значение токена для связывания аккаунтов) и нажмите Submit (Отправить).

- Чтобы начать сеанс WebRTC на умном дисплее Google, выполните одно из следующих действий:
- Скажите "Окей, Google, покажи видео с камеры WebRTC".
- На умном дисплее Google нажмите Управление домом > Камера > Камера WebRTC.
В клиентском приложении CameraStream для умного дома Google вы видите, что SDP-предложение и SDP-ответ успешно созданы и переданы. Изображение с веб-камеры передается на умный дисплей Google с помощью технологии WebRTC.
6. Поздравляю!
Поздравляем! Вы узнали, как транслировать видео с веб-камеры на дисплей Google Nest с помощью протокола WebRTC.