Агенты / Сайт / Сборщик данных
Сборщик данных
РаботаетЯндекс Карты (все отзывы и фото), старый сайт, ВК — сырьё для карточки
Как работает
- Когда запускается
- Новый объект или «Собрать заново» → задача в очереди (pg-boss), её берёт воркер
- Что получает
- Ссылки менеджера: Яндекс Карты, сайт, ВКонтакте, текст вручную
- Что отдаёт
- Текст каждого источника, фото, телефоны, отзывы и рейтинг Яндекса — в Source.rawText / rawData
- Определяет тип каждой ссылки (Яндекс Карты, сайт, ВК…)
- Яндекс Карты открывает в браузере (Playwright): карточка, все отзывы, все фото, рейтинг
- Сайт: главная и до нескольких внутренних страниц, вытаскивает текст, фото, телефоны, почту
- Из карточки Яндекса находит ссылки на сайт и соцсети и собирает их тоже
- Без модели — только сбор, поэтому настроек промпта нет
Код: packages/generator/src/pipeline.tspackages/generator/src/sources/*
Этот подагент работает без языковой модели — настроек модели и промпта у него нет.
Последняя работа
- 18 нояб., 09:40База отдыха ТенькиСобрано источников: 3 из 321.4 с
- 18 нояб., 09:40База отдыха ТенькиИз Яндекс Карт найдены ссылки: https://vk.ru/tenki_fishing_club — собираю
- 18 нояб., 09:40База отдыха ТенькиЯндекс Карты: фото собрано 101 из 101
- 18 нояб., 09:40База отдыха ТенькиЯндекс Карты: отзывов собрано 109 из 109
- 18 нояб., 09:40База отдыха ТенькиЯндекс Карты: «База отдыха Теньки», 109 отзывов, 101 фото — собираю
- 18 нояб., 09:40База отдыха ТенькиЯндекс Карты: открываю Chrome (если появится проверка «я не робот» — пройдите её в окне)
- 18 нояб., 09:40База отдыха ТенькиСобираю данные из 2 источников
- 18 нояб., 09:32Алди КарелияСобрано источников: 3 из 339.7 с
- 18 нояб., 09:32Алди КарелияИз Яндекс Карт найдены ссылки: https://aldi-karelia.ru/, https://vk.ru/aldi_karelia_group — собираю
- 18 нояб., 09:32Алди КарелияЯндекс Карты: фото собрано 990 из 990
- 18 нояб., 09:32Алди КарелияЯндекс Карты: отзывов собрано 394 из 394
- 18 нояб., 09:32Алди КарелияЯндекс Карты: «Алди Карелия», 394 отзывов, 990 фото — собираю
- 18 нояб., 09:31Алди КарелияЯндекс Карты: открываю Chrome (если появится проверка «я не робот» — пройдите её в окне)
- 18 нояб., 09:31Алди КарелияСобираю данные из 1 источников
Обучение: материалы
Правила, примеры, тон, прайсы. Текст и текстовые файлы (.txt, .md, .csv) попадают в промпт агента.
Материалы 3
Пишем только про свое место
Всей команде · все объекты · 22 нояб., 11:20
Не пиши про соседей и конкурентов, пиши про наше место только насколько оно уникальное
Иконки
Всей команде · все объекты · 22 нояб., 11:19
Всегда используй соц сети иконками а не текстом.
Реквизиты компании
Всей команде · все объекты · 22 нояб., 11:18
Обязательно размещай ИНН и информацию о самой компании в подвал и на страницу о нас это увеличивает доверие