Тема: [Вирішено] проблема з парсингом веб-сторінки
Привіт усім. Допоможіть вирішити проблему.
Є код на C#, це відкриття доступу до web-сторінки та закачка кода в стрингову змінну. Все добре працювало з 2012 року. Але тиждень тому програма почала виснути на рядку з GetResponse. Чи може це буди пов'язаено з тим, что на сайті встановили якийсь захист від ботів, як це перевірити?
Ось код:
URL - це стринговая зміння, яка змінюється в циклі. Для приміру URL = "https://www.accuweather.com/en/us/st-pa … view=table"
КОД:
HttpWebRequest proxy_request = (HttpWebRequest)WebRequest.Create(URL);
proxy_request.Credentials = System.Net.CredentialCache.DefaultCredentials;
proxy_request.Proxy.Credentials = System.Net.CredentialCache.DefaultCredentials;
proxy_request.Method = "GET";
proxy_request.ContentType = "application/x-www-form-urlencoded";
proxy_request.UserAgent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/532.5
(KHTML, like Gecko) Chrome/4.0.249.89 Safari/532.5";
proxy_request.KeepAlive = true;
HttpWebResponse resp = proxy_request.GetResponse() as HttpWebResponse; // <--
string html = "";
using (StreamReader sr = new StreamReader(resp.GetResponseStream(), Encoding.GetEncoding(1251)))
html = sr.ReadToEnd();
resp.Close();
Chemist-i: Для коду, використовуйте будь ласка теґ code