Парсер

Материал из MyBotWiki
Перейти к: навигация, поиск

Оглавление


Содержание

Группы

Список ключевых фраз для поиска групп

Поиск сообществ осуществляется по ключевым фразам. Каждую ключевую фразу нужно вводить в поле для ключевых фраз с новой строки, программа парсит группы сначала по первой ключевой фразе(1-я строка), затем по 2-й ключевой фразе(2-я строка) и т.д.

Глубина поиска

Глубину поиска можно настраивать с помощью цифрового поля "Глубина поиска", максимальная глубина поиска - 1000, это ограничение Вконтакте. Этим параметром настраивается количество групп, которые запрашиваются у Вконтакте. Некоторые параметры фильтра поиска сообществ передаются Вконтакте непосредственно в запросе и, если количество групп более глубины поиска, Вконтакте возвращает результат с количеством групп, равным глубине. Некоторые параметры групп фильтруются уже из результата запроса, поэтому групп в результате обработки становится меньше, чем глубина поиска.

Фильтр поиска групп

Режимы поиска

Имеются следующие режимы поиска стен:

  • искать любые стены - парсер не проверят открытая ли стена и можно ли туда постить комменты
  • искать только открытые стены - парсер в результат включает только открытые стены (не путать с открытыми группами)
  • искать ограниченные (с открытыми комментами) - парсер в результат включает только стены, где под постами можно оставлять комментарии
  • искать ограниченные и открытые стены - парсер в результат включает открытые стены и стены, где под постами можно оставлять комментарии

Дополнительные опции поиска групп

  • игнорировать закрытые группы - парсер будет игнорировать закрытые группы (не путать с закрытыми стенами)
  • искать группы - парсер будет запрашивать группы
  • искать публичные страницы - парсер будет запрашивать публичные страницы
  • искать встречи - парсер будет запрашивать встречи
  • минимум участников - парсер будет исключать из результата группы, где количество участников меньше, указанного в цифоровом поле
  • идентификатор города - парсер будет запрашивать сообщества с идентификатором города

Запуск поиска

Запуск поиска производится кнопкой "Искать".

Кнопка "Вывести все группы"

По умолчанию в поле результатов поиска выводятся первые 100 групп результата, хотя внутри программы для рассылки доступны все группы из результата поиска, если есть необходимость просмотра всех результатов, то можно воспользоваться кнопкой "Вывести все группы", но это может вызвать проблемы с производительностью, программа во время вывода может подвисать.

Найденные группы

Найденные группы в виде ссылок по окончании поиска доступны в текстовом поле ниже кнопки "Искать", над полем показано сколько групп было показано и сколько выведено в текстовое поле. Очистить список групп можно с помощью кнопки "Очистить список групп".

Операции с файлами групп

Результаты поиска групп можно сохранить в текстовый файл с помощью кнопки "Сохранить группы в файл". Группы сохраняются в файле в следующем формате: на каждой последующей строке 1 числовой ID группы. В программу можно импортировать группы для рассылки или восстановить ранее сохранённые результаты поиска с помощью кнопки "Загрузить группы из файла", файл должен быть в таком же формате, в каком группы сохраняются - на каждой последующей строке 1 числовой ID группы. Также в программе предусмотрена возможность дозаписать новые результаты поиска в файл с ранее сохранёнными группами с помощью кнопки "Добавить группы в файл", после нажатия кнопки укажите файл с сохранёнными группами и текущий результат поиска будет дозаписан в конец файла. С помощью кнопки "Удалить из файла одинаковые группы" можно удалить дубликаты строк из файла.

Ввод ссылок на группы

С помощью поля "Ввод ссылок на группы" можно добавить в результаты поиска группы в формате ссылок. Для добавления групп необходимо ввести список ссылок на группы в поле и нажать кнопку "<<<Добавить". Операция по добавлению может занимать длительное время.

Чёрный список групп

Поле чёрный список служит для того, чтобы не рассылать в группы, в которые рассылать не надо. Если установлена галочка "учитывать при публикации" и поле списка не пустое, то при рассылке id группы сверяется с чёрным списком, если id в чёрном списке, то рассылка в эту группу не происходит. Чёрный список групп должен иметь следующий формат: 1 id на каждой последующей строке.

Пользователи

Парсинг пользователей производится только из сообществ. Если группа закрытая, то для парсинга необходимо чтобы первый активный аккаунт на вкладке аккаунтов состоял в группе.

Фильтр поиска пользователей (Критерии)

Поиск пользователей можно фильтровать по нескольким критериям:

  • пол
  • возраст
  • идентификатор города

Доступны следующие опции поиска:

  • искать только с открытыми стенами
  • искать только с открытыми личными сообщениями
  • использовать фильтр по возрасту
  • парсить только пользователей онлайн

Включение и отключение фильтрования по возрасту сделано потому что даже если установить очень широкий возрастной диапазон (от 0 до 200) большая часть пользователей, у которых не указан возраст будет исключена из поиска.

Использование прокси

Если установлена галочка "использовать прокси", то для парсинга будет взят первый активный прокси, указанный на вкладке "Прокси".

Запуск парсинга

Для начала парсинга введите ссылку на сообщество в текстовое поле "Сообщество" и нажмите кнопку "Парсить сообщество"

Сохранение результатов в файл

Для того, чтобы сохранить результаты поиска в файл необходимо нажать кнопку "Сохранить пользователей" и указать местоположение и имя файла для сохранения.

Загрузка пользователей из файла

Ранее сохранённые результаты поиска можно загрузить в программу с помощью кнопки "Загрузить пользователей из файла" и указав местоположение файла с сохранёнными ранее результатами поиска.

Обсуждения

Парсинг обсуждений производится по текущим результатам поиска парсера групп.

Ключевые слова для поиска

Для поиска тем по ключевым словам или фразам введите их в поле "Ключевые слова для поиска".

Режим парсинга тем

Есть 3 режима парсинга тем из сообществ:

  • искать темы, содержащие все ключевые слова
  • искать темы, содержащие хотя бы одно ключевое слово
  • парсить все незакрытые темы групп - производит парсинг всех тем, где можно оставить сообщение


Запуск парсинга

Запуск парсинга производится нажатием на кнопку "Искать".

Работа с результатами

По результатам парсинга тем отображается количество найденных тем, в нижнем текстовом поле отображаются результаты парсинга. Результаты поиска можно сохранить, загрузить старые результаты и дописать результаты нового поиска в файл с результатами старого, аналогично как и с группами. Очистить результаты поиска можно с помощью кнопки "Очистить список тем".

Дополнительно

Эта вкладка парсера помогает получить внутренние идентификаторы Вконтакте для стран, регионов и городов.

Получение идентификатора страны

Получить ID всех стран можно нажав на кнопку "Получить ID всех стран", результат будет доступен в большом текстовом поле внизу, откуда необходимую информацию можно скопировать.

Получение идентификатора региона

ID регионов страны можно получить введя числовой идентификатор страны в поле "идентификатор страны" и нажав кнопку искать рядом с этим текстовым полем. Названия регионов соответствующей страны и их ID будут выведены в большое текстовое поле.

Получение идентификатора города

Идентификатор города можно получить введя название города в поле "Название города", указав идентификатор страны и нажав кнопку "Искать" рядом с полем "Название города". Опционально при поиске можно указывать идентификатор региона.

Активная аудитория

Парсер активной аудитории служит для поиска в сообществе активных участников для оптимизации проведения рекламных рассылок и кампаний.

Парсинг постов из группы

Для того, чтобы получить активную аудиторию из группы сначала надо спарсить свежие посты, для этого нужно ввести в поле "Список ID групп, из которых нужно спарсить посты" список ID групп, из которых нужно спарсить посты в формате - 1 id на 1 строку. Укажите глубину парсинга постов с помощью числового поля "Глубина парсинга постов" и нажмите кнопку "Искать". Результаты поиска будут доступны в текстовом поле ниже кнопки запуска поиска, их можно скопировать в буфер обмена с помощью кнопки "В буфер обмена" или перенести в поле "Список постов, с которых парсить пользователей" с помощью кнопки "<-".

Список постов, с которых парсить пользователей

В поле "Список постов, с которых парсить пользователей" вводятся ссылки на посты в формате http://vk.com/fclokomotivmoscow?w=wall-30651595___189020 или несколько ссылок, главное, чтобы в ссылке присутствовал идентификатор поста: wall-30651595_189020, с этих постов программа будет парсить лайкнувших, прокомментировавших или репостнувших пользователей.

Кого парсить

Установите галочки в разделе "Кого парсить", чтобы выбрать, совершивших какое действие пользователей необходимо спарсить с постов.

Запуск парсинга

Для запуска парсинга нужно нажать кнопку "Искать".

Результаты парсинга

Результаты парсинга будут доступны по окончанию парсинга в 3-х текстовых полях: "Лайкнули", "Репостнули", "Комментировали", откуда их можно скопировать с помощью контекстного меню или кнопок под полями "В буфер обмена".

Оглавление