Парсер инстаграм
-
Хотел еще поинтересоваться:
- С парсингом текста разобрался, но тут же возникла другая проблема, а именно не парситься больше 10 ников, пытался поставить прокрутку не получилось, использовал клик по координатам чтобы полозок спускался и парсилось больше , но больше 2-3- нажатий не происходило и скрипт останавливался выполнив задание, а результат тот же 10-11 ников. Подскажите как решить данную проблему.
- Как можно реализовать следующий момент: скрипт отработав цикл по парсингу одной группы, сохраняет в файл по названием запроса, после чего переходит обратно в задание парсинг и парсит уже другую и также сохраняет в файл и тд по кругу.
Прошу прощения за глупые вопросы , но в программировании не силен, только учусь.
Вот сам скрипт для наглядности 0_1465853494181_1.xml
-
- Инстаграмм грузит страницу по мере прокрутки. Попробуйте перед парсингом пару раз покликать на скроле.
http://i.giphy.com/26BRFzH0CzGycr55e.gif
- Нужно использовать действие запись файла.
-
@support said:
- Инстаграмм грузит страницу по мере прокрутки. Попробуйте перед парсингом пару раз покликать на скроле.
К сожалению не помогло, клики проходят, ставил с задержкой и по другом пробовал прокрутку, но более 10 штук не парсит.
-
Так а что не помогло, страница не сколится, или скролится, но потом невозможно распарсить результат?
Попробовал сам, вроде работает.
parseinstfollowers.xml
Кстати, в инстаграме не стоит привязываться к css, так как он будет меняться, лучше привязываться к тексту
-
@support said:
Кстати, в инстаграме не стоит привязываться к css, так как он будет меняться, лучше привязываться к тексту
А как можно привязаться тесту не подскажите.
-
http://prntscr.com/bh42tb там можно как текст, так и часть разметки
В проекте который я прикрепил как раз так и делается
-
Спасибо огромное за помощь, теперь примерно понятно.
-
Добрый вечер, новую тему создавать не стал, поэтому буду пытать Вас здесь:
начал делать парсер пользователей ВК , суть проста в ВК сам ручками отбираю необходимых пользователей , подставляю ссылку , скрипт заходит, переходит на страницу поиска прокручивает её до конца и после этого парсятся айди пользователей.
Все отлично, но больше 1000 пользователей не парсится, хоть тресни. Хотя по поиску и 12 000 и 15 000, и тд.
Подскажите где ошибка? Скрипт прилагаю 0_1466877747119_parserVK2.xml
Заранее спасибо за помощь!
-
Попробовал решить таким образом 0_1466882456645_parserVK4.xml Но одни дубли идут.
-
Контакт не отдает больше 1000 результатов ни в БАС ни в любом другом браузере. Можете проверить сами, чтобы искать больше нужно добавлять новые критерии поиска, а потом соединять полученные результаты.
