123
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Страница 1 из 212»
Модератор форума: nightmare, Huntswarrior, Aleks_Crow, {{TNT}} 
Форум » Проекты по робототехнике » Частные проекты » LIFE Guard Assistant v2.0 [Система голосового управления] (@home - проект, для маломобильных пользователей)
LIFE Guard Assistant v2.0 [Система голосового управления]
Отправлено 06.03.2014 - 12:051
Администраторы
3320 сообщений
Мужчина
Что из себя представляет помощник - LIFE Guard Assistant.



– Это система, имеющая модуль распознавания голосовых команд, с помощью которых выполняются все действия в системе, без какого либо *физического вмешательства. В состав также входит возможность вызова номера 112 и голосовая связь. Также возможно подключение с задействованием телемоста. Помимо первой помощи – система может использоваться в качестве системы «Умный дом», где голосовыми командами включается или выключается свет в помещении, включается телевизор, обогреватель. Тем самым упрощает процесс рутинных занятий и облегчает жизнь пользователю.

Цитата
Мобильный комплекс, состоящий из портативного компьютера, и периферийных устройств, таких как камера, микрофон, устанавливается в помещении, подключается внешний источник питания, либо задействуется внутренний. Запускается система, происходит развертывание всех служб и терминалов, обеспечивающих функционирование и связь комплекса с внешним миром.

После небольшого промежутка времени, комплекс входит в рабочий режим и начинает свою работу.

С микрофонов, подключенных к устройству через кабель или через беспроводную связь, начинается непрерывное считывание сигналов, всяческих шумов.


Цитата
При возникновении шумов (*далее речевых команд), превышающих установленное пороговое значение – срабатывает регистратор записи. Регистратор производит запись звуковой дорожки в специальном формате, который в последующем будет анализироваться на предмет голосовых команд и поиск их по базе.
Записанная звуковая дорожка отправляется на распознавание.
Если в базе голосовых команд не найдено такой команды, или ее аналогов, работа системы продолжается в штатном, фоновом, режиме.
Если команда была распознана, то будет выполнено соответствующее действие.


Экстренные случаи.

Бывают ситуации, когда все идет не по плану – происходит отключение электроэнергии, неполадки с телекоммуникационными каналами связи, Интернетом.

В таких случаях системы использующие для связи Интернет становятся уязвимыми, и не функциональными. В нашем случае задействованы резервные каналы связи, такие как GSM-связь, определение местоположения по GPS-каналам, а также обеспечение бесперебойной работы комплекса от встроенного источника питания в течении 1-2 часов.

В случае отключения электропитания система автоматически будет производить отправку информации о состоянии на указанные диспетчерские пункты. Диспетчер сможет своевременно среагировать на возникшую ситуацию, либо вызвать на место специалистов той или иной службы.

Видео-примеры (ролики снятые в процессе отдалки системы)


СПАСИБО пользователю RoboController за помощь в изготовлении коробочки и ее дизайна. В такие кратчайшие сроки, буквально за неделю, он помог набросать примерный дизайн и направить в нужном направлении. Теперь я знаю где можно в Мурманске заказать лазерную резку довольно не дорого, как по дереву, так и по металлу, пластику.


Прикрепление
1832484.jpg(159Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Отправлено 06.03.2014 - 12:072
Администраторы
3320 сообщений
Мужчина
Программное обеспечение:

Система состоит из трех основных модулей, обеспечивающих взаимодействие с человеком и аппаратурой.

​ Модуль #1: Прослушивание различных звуков и настройка порога срабатывания от голоса.

​ Модуль #2: Запись звука в специальном формате для последующего распознавания.

​ Модуль #3: Распознавание команды из звуковой дорожки.

​ Модуль #Х: База данных команд и их применение

За основу разработки взят язык C#. Проект использует Open Source код, который можно найти на просторах Интернета. Распознавание голосовых команд идет через API сервисы Google. Взаимодействие железа и программы осуществляется через терминальное программное обеспечение, в котором пользователь может заранее внести настройки работы системы по своему усмотрению, а также добавить другие задачи.

Комплектующие:

Для функционирования ПО отвечает операционная система Windows, и установленные аппаратные модули.

​ Плата с микропроцессором Arduino UNO

​ GPS-GPRS-GSM плата

​ Беспроводная bluetooth гарнитура

​ Мобильный 3G-модем



Прикрепление
4100243.jpg(267Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Отправлено 06.03.2014 - 12:123
Администраторы
3320 сообщений
Мужчина
Как работает:

Цитата
В помещении устанавливается автономно работающий ПК с установленным и подключенным к нему оборудованием. Пользователь может подавать голосовые команды в любой момент, когда посчитает нужным, а система, прослушав входящие команды – выполнит то или иное действие.

Например: Пользователь говорит «Включить телевизор». Если в базе команд есть подобная фраза или ее варианты – включится телевизор. Точно также можно включит свет, заварить кофе, набрать номер экстренных служб.

Отличительная особенность системы в том, чтобы пользователь, ограниченный в своем передвижении, мог не только направлять команды технике, но и сделать тревожный звонок на пост скорой помощи, или точно также вызвать к себе соседа по площадке. Это особенно важно в чрезвычайной ситуации.




Прикрепление
3086084.png(78Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Отправлено 06.03.2014 - 12:134
Администраторы
3320 сообщений
Мужчина
Плюсы системы:

1.​ Сравнительно небольшие габариты

2.​ Мобильность

3.​ Возможность расширения аппаратных средств

4.​ Внедрение новых периферийных устройств

5.​ Человеко-понятный терминальный интерфейс

6.​ Работа от резервного источника питания в 12V

7.​ Возможность внедрения в другие сферы быта

Минусы:

1.​ Использование Интернет каналов.


Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Отправлено 06.03.2014 - 12:185
Администраторы
3320 сообщений
Мужчина
Медиатека проекта:




Прикрепление
5789391.jpg(306Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Отправлено 06.03.2014 - 12:196
Администраторы
3320 сообщений
Мужчина
Медиатека проекта:




Прикрепление
0846842.jpg(238Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Отправлено 06.03.2014 - 12:197
Администраторы
3320 сообщений
Мужчина
Медиатека проекта:




Прикрепление
7522230.jpg(258Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Отправлено 06.03.2014 - 12:228
Администраторы
3320 сообщений
Мужчина
Медиатека проекта:




Прикрепление
4846899.jpg(72Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Отправлено 06.03.2014 - 12:229
Администраторы
3320 сообщений
Мужчина
Медиатека проекта:




Прикрепление
0876399.jpg(177Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Администраторы
3320 сообщений
Мужчина
Сегодня протестировал модули SMS-уведомлений. Все работает как надо ! А вот на Робофесте как на зло - не заработали.

Суть модуля SMS в том, чтобы пользователь мог отправлять заранее записанные шаблоны вызовов. Например мы можем при ЧС вызвать карету скорой помощи - отправить SMS-уведомление, в котором говорится\запрашивается срочная помощь.

Ниже демонстрация работы модуля



PS: Тут коллеги подкинули видеоролик весьма интересный, где рассказывается о некой offlin'овской системе расспознавания русской речи. Да, до сего она распознавалась только через online сервисы, но вот вроде как появилась автономная. Программу демонстрационную для андроида я уже скачал и протестировал - все работает. Единственное - не нашел исходников и примеров этой библиотеки в сети Интернет. Наверное не там искал ?

Если найду исходники, напишу свою программу для андроида, и возможно заюзаю не только в этом проекте но и в других, так как это весьма перспективная игрушка.


Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Администраторы
3320 сообщений
Мужчина
Судя по всему, пока нет 100% уверенности что на Android"е распознавание работает оффлайн, работает только при включенном Интернете...

Сейчас переделал ПО и рассматриваю два варианта распознования
1. Через ПО C#
2. Через ПО Processing Java#

На процессинге уже написана и работает программа. Так как система модульная, то включение одного языка в другой, и с запуском этих модулей проблем не возникает и они уже сопряжены.



На фото ПО написанное на Java. Включается и начинает прослушивать и выполнять команды.


Прикрепление
1530787.png(114Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Администраторы
3320 сообщений
Мужчина


Прикрепление
0272284.jpg(427Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Администраторы
3320 сообщений
Мужчина


Прикрепление
5109796.png(146Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Администраторы
3320 сообщений
Мужчина


Время начинает поджимать, начинаю торопиться, и бегу впереди поезда... товарного. Лаги приходится корректировать уже на лету.
Микрофона нормального нет, блютусного тоже, приходится перебиваться с тем, что есть на руках.


Прикрепление
0580944.jpg(151Kb)
Только дурак нуждается в порядке-гений господствует над хаосом...
Онлайн ЧАТ по робототехнике ! Заходи и общайся без регистрации =)
Профиль Личное сообщение Дом. страница icq Skype
31
Отправлено 27.10.2014 - 18:3315
Участник
1 сообщений
Мужчина
Интересный проект. Возможно использовать API гугла для распознавания голоса не оптимально. Надо под голос пользователя подстраиваться, тогда не потребуется интернет и плохой выговор/эхо в помещении не помешают. Тоесть сначала потребуется записать несколько образцов команд. Можно будет даже кота научить управлять телевизором biggrin


Профиль Личное сообщение Дом. страница icq Skype
0
Форум » Проекты по робототехнике » Частные проекты » LIFE Guard Assistant v2.0 [Система голосового управления] (@home - проект, для маломобильных пользователей)
Страница 1 из 212»
Поиск: