1 Тема від Dopamine

  • Dopamine
  • Dopamine
  • Користувач
  • Поза форумом
  • Дата реєстрації: 30.11.2014
  • Повідомлень: 62
    • Репутація: 1

Тема: Витягти домен сайту.

Потрібно витягти з різних ІП адрес істинний домен сайту. Наприклад vk.com і 123.vk.com - потрібно витягти vk.com. У когось є ідеї? Справа в тому що мені потрібно перебирати мільйони сайтів і витягати домен...

2 Відповідь від P.Y.

  • P.Y.
  • P.Y.
  • Replace Group
  • Поза форумом
  • Дата реєстрації: 19.02.2013
  • Повідомлень: 5 279
    • Репутація: 3731

Re: Витягти домен сайту.

Дайте визначення істиного домена — чим він відрізняється від неістиного? Йдеться про перенаправлення? Тоді слід законектитись і перевірити наявність/відсутність Location: http://true.domain у хедерах (хоча перенаправлення з одного й того ж домена можуть вести на різні сайти в різних доменах...). Чи йдеться про рівень? Але тоді sasha.narod.ru й masha.narod.ru будуть вважатися одним доменом разом з narod.ru (хоча вміст їх буде різним).

3 Відповідь від Dopamine Востаннє редагувалося Dopamine (25.06.2015 01:49:10)

  • Dopamine
  • Dopamine
  • Користувач
  • Поза форумом
  • Дата реєстрації: 30.11.2014
  • Повідомлень: 62
    • Репутація: 1

Re: Витягти домен сайту.

P.Y. написав:

Дайте визначення істиного домена — чим він відрізняється від неістиного? Йдеться про перенаправлення? Тоді слід законектитись і перевірити наявність/відсутність Location: http://true.domain у хедерах (хоча перенаправлення з одного й того ж домена можуть вести на різні сайти в різних доменах...). Чи йдеться про рівень? Але тоді sasha.narod.ru й masha.narod.ru будуть вважатися одним доменом разом з narod.ru (хоча вміст їх буде різним).

Мав на увазі рівень.
Була ідея брати літери розділені двома крапками пред слешом, але тоді вийде щось типу "org.ua", "com.ua" замість нормального google.com.ua

У мене зараз виходить щось таке:

http://s013.radikal.ru/i323/1506/4c/26748107f5cf.png

4 Відповідь від mich_retten

  • mich_retten
  • Користувач
  • Поза форумом
  • Дата реєстрації: 08.06.2015
  • Повідомлень: 96
    • Репутація: 27

Re: Витягти домен сайту.

Google -> how to extract domain name from url
І читайте. Ви - не перший з такою проблемою. Непогано розуміти, що таке regular expression.

5 Відповідь від quez

  • quez
  • quez
  • Replace Team
  • Поза форумом
  • Звідки: Новий Єрусалим
  • Дата реєстрації: 01.05.2014
  • Повідомлень: 3 103
    • Репутація: 1614

Re: Витягти домен сайту.

mich_retten написав:

Google -> how to extract domain name from url
І читайте. Ви - не перший з такою проблемою. Непогано розуміти, що таке regular expression.

Хотів уже дискутувати з вами, але ні, ваш спосіб працює. Перша тема стековерфлов в гуглі, перша відповідь:

No, there is no "intrinsic" way of knowing that (e.g.) zap.co.it is a subdomain (because Italy's registrar DOES sell domains such as co.it) while zap.co.uk isn't (because the UK's registrar DOESN'T sell domains such as co.uk, but only like zap.co.uk).