хм, отако зробив, наче норм
const request = require('request');
const cheerio = require('cheerio');
const fs = require('fs');
const writeStream = fs.createWriteStream('./result.json');
let maxIdent = 0;
function parsePage(url, selector, identation = 1, prefix = '') {
if (identation > maxIdent) maxIdent = identation;
request.get(url, { tymeout: 15000 }, (error, response, body) => {
if (!error && response.statusCode === 200) {
const $ = cheerio.load(body);
$(selector).each((index, elem) => {
const link = $(elem).prop('href');
let resultString = '';
for (let i = 0; i < identation; i++) {
resultString += ' ';
}
writeStream.write(
`${resultString}${prefix}${prefix ? '.' : ''}${index}. ${$(
elem
).text()}\n`,
error => console.error(`write stream error`, error)
);
if (link) {
parsePage(link, '.item-subject .hn a', identation + 1, index + 1);
} else {
console.error(`link is `, link);
}
});
} else {
if (error && error.code === 'ETIMEDOUT') {
console.error(`error`, error);
setTimeout(
() => parsePage(url, selector, (identation = 1), prefix),
5000
);
}
}
});
}
parsePage('http://replace.org.ua/', '.item-subject .hn a', 1);
це воно витягує назви категорій і підкатегорій, рекурсивно.
Тільки от проблема в тому, що це все робиться асинхронно, і тому в файл записується як-небудь
