Ви не увійшли. Будь ласка, увійдіть або зареєструйтесь.
Ласкаво просимо вас на україномовний форум з програмування, веб-дизайну, SEO та всього пов'язаного з інтернетом та комп'ютерами.
Будемо вдячні, якщо ви поділитись посиланням на Replace.org.ua на інших ресурсах.
Для того щоб створювати теми та надсилати повідомлення вам потрібно Зареєструватись.
Український форум програмістів → Python → Робота з requests
Сторінки 1
Для відправлення відповіді ви повинні увійти або зареєструватися
Як я тільки не ізвращався з модулем requests, але так і не отримав очікуваного результату. Експериментів було просто кабздец багато...
Допоможіть прикрутити приватні HTTPS проксі (104.224.145.175:8080:login:pass) для відправки get запитів 
3.4. Бажано в повідомленні вказувати наступне:
мову програмування
середовище в якому працюєте
фрагменти непрацюючого коду
описуєте з чим у вас виникли проблеми
3.5. Теми без будь-яких напрацювань будуть просто ігноруватись учасниками форуму, а модератори при першій можливості перенесуть їх в кошик для сміття.
Мова програмування Python згідно розділу форуму)
Pycharm (Linux Mint)
фрагменти непрацюючого коду
def getPars(proxy):
get = requests.get("http://ip.xss.myip.ru/", proxies=proxy)
get = get.json()
return get
print(getPars('https://coinBot:coinBot@104.224.145.175:8080'))скрін
ну от, отримавши get (хоча назвіть це r або resp (response) , бо гет - годиться для функції чи методу а не для змінної )
так от , отримавши - надрукуйте його значення , а якщо у Вас пайчарм - поставте брейкпоінт - і дослідуть - що насправді Ви отримали внаслідок запиту
наскільки я бачу в документації - proxies має бути множиною а Ви передаєте стрінг
import requests
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:1080',
}
requests.get('http://example.org', proxies=proxies)змінив назву перемінної, але безрезультатно. В планах юзати свої приватні проксі з логіном та паролем... як авторизувати тоді їх?
Вам же написали: проблема в типі, а не в назві.
proxy = {'https': 'http://10.10.1.10:1080'}а не
proxy = 'http://10.10.1.10:1080' #WRONG!помилку зрозумів! лишилось зрозуміти як авторизувати дані проксі?
помилку зрозумів! лишилось зрозуміти як авторизувати дані проксі?
To use HTTP Basic Auth with your proxy, use the http://user:password@host/ syntax:
proxies = {'http': 'http://user:pass@10.10.1.10:3128/'}del
Так, а чому ви намагаєтеся через https-проксі до http-сайту дістатися?
горе програміст я) дуже всім вдячний за допомогу!
мозок закипів... Потрібні рекомендації, а то відчуваю що все дуже ускладнюю.
Задача: В замкнутому циклі парсити дані 1 раз секунду, обмеження від сторони ресурса отримання даних, один раз в 5сек. Обхід обмеження в проксях, які треба застосовувати почергово тобто перша прокся, друга прокся і так далі (по ідеї 5ть проксь треба).
Проблема: Робота з словниками це просто якась армагідец, як їх використовувати для даних цілей?
В принципі є варіант витягати по штучно в циклі проксі та перезаписувати словник. Надіюсь що присутній більш простіший варіант.
мозок закипів... Потрібні рекомендації, а то відчуваю що все дуже ускладнюю.
Задача: В замкнутому циклі парсити дані 1 раз секунду, обмеження від сторони ресурса отримання даних, один раз в 5сек. Обхід обмеження в проксях, які треба застосовувати почергово тобто перша прокся, друга прокся і так далі (по ідеї 5ть проксь треба).
Проблема: Робота з словниками це просто якась армагідец, як їх використовувати для даних цілей?
В принципі є варіант витягати по штучно в циклі проксі та перезаписувати словник. Надіюсь що присутній більш простіший варіант.
до чого тут словник? не зрозумів, нащо він Вам.
формуєте собі циклічний генератор з кількох проксі, далі щосекнди берете з нього наступну проксю
import time
class Rainbow:
colors = [
'red',
'orange',
'yellow',
'green',
'blue',
'indigo',
'violet',
]
def __init__(self, circle=True):
self.circle = circle
def _get_colors(self):
i = 0
while self.circle:
yield self.colors[i]
i += 1
i %= len(self.colors)
def __iter__(self):
return iter(self._get_colors() if self.circle else self.colors)
for color in Rainbow(circle=True):
time.sleep(1)
print(color)
input('Press "Enter" to continue')https://repl.it/@viach/class-Rainbow
Мабуть я щось не розумію... словник для того щоб задіяти проксі в модулі requests
proxy = {'https': 'http://10.10.1.10:1080'}Мабуть я щось не розумію... словник для того щоб задіяти проксі в модулі requests
proxy = {'https': 'http://10.10.1.10:1080'}
це я неуважний.
таки словник
то дайте словник з одним ключем, а у значення - виклик наступного значення генератора
import time
class Rainbow:
colors = [ 'red','orange','yellow','green','blue','indigo','violet', ]
def __init__(self):
pass
def __iter__(self):
i = 0
while True:
yield self.colors[i]
i += 1
i %= len(self.colors)
r=Rainbow()
for i in r:
time.sleep(1)
print({'key':i})Ви просто забагато думаєте про внутрішню структуру. Абстрагуйтеся. Ось чисто процедурне рішення:
proxy_list = [{"https":"proxy1"},
{"https":"proxy2"},
{"https":"proxy3"},
{"https":"proxy4"},
{"https":"proxy5"}]
current_proxy = 0
while True: #основний цикл
...
requests.get("http://ip.xss.myip.ru/", proxies=proxy_list[current_proxy])
current_proxy = (current_proxy+1)%len(proxy_list)
...
time.sleep(1)Але можна скористатися функцією cycle і позбавитися зайвої змінної та формули:
import itertools
proxy_list = itertools.cycle(
[{"https":"proxy1"},
{"https":"proxy2"},
{"https":"proxy3"},
{"https":"proxy4"},
{"https":"proxy5"}])
...
requests.get("http://ip.xss.myip.ru/", proxies=next(proxy_list))Сторінки 1
Для відправлення відповіді ви повинні увійти або зареєструватися