А деякі нехороші люди ще і перед, але біда не в тому, пробіл можна запросто зарахувати до розідлових знаків.

Простіше розбити всі слова через пробіл і інші розділові знаки.

Але проблема глобальніша - які символи включати до слів, а які до розділових знаків?

Крім пробілів зокрема варто не забути \t, \n, \r, nbsp і всякі інші які підходять під регулярний вираз \s. Складніше з розділовими знаками. Бо перелічивши всі знаки в українській, ми забуваємо що в іспанців є наприклад "¿¡". І є ще одна проблема. Навіть якщо ми забудемо про те що якийсь розумник може вставити знак іронії: "⸮", то треба врахувати те що всякі там наголоси потрібно просто видалити зі слова не розбиваючи його на частини. Як і http://en.wikipedia.org/wiki/Double_grave_accent у всяких там сербів напевне...

Ну, мій приклад в першому повідомленні куди загальніший, [\w`-] бо враховує ще й апостроф, якщо звісно правильно враховує.

Можна обрати цей варіант, але як тоді бути з наголосами і іншими виокремленими надрядковими знаками?

можна глянути в специфікацію utf-8, де там спец символи йдуть, а де букви.

ПС: "букви з наголосами"-там такі ж букви як і всі інші.

Гррр. Немає букв з наголосом, є окремий символ наголосу, який ставиться після букви, як у рядку: "На́голос або акце́нт".

І окремо обробляти пробіли немає сенсу, бо пробіли це занадто просто (ви забуваєте що невидимих символів набагато більше.

Ось як я робив:

TOKENIZE_PATTERN = r'([\w`-]+|[^\w\s]|\s+)'
TOKENIZE_REGEX = re.compile(TOKENIZE_PATTERN)

def tokenize(text):
    return (s.groups()[0] for s in TOKENIZE_REGEX.finditer(text))

Функція tokenize дасть нам ітерацію по словах, пропусках і розділових знаках, як окремих токенах. При чому токени розділових знаків завжди будуть односимвольними, а серії пропусків (наприклад " \r\n\t") і слова - довільної довжини.

Символ наголосу як і апостроф напевне варто буде внести до складу слова на час розбиття, і видалити опісля.

http://symbolcodes.tlt.psu.edu/bylanguage/french.html - при встановленій французькій розкладці, оце все набирається одною клавішою. Китайські ієрогліфи набираються кількома клавішами, але все ж вони не будуть розділовими знаками. Не треба плутати методи набору з тим як воно зберігається в пам’яті.

Якщо йдеться про статистику на великому надорі даних, то можна використовувати найпростішу регулярку. Похибка буде невеликою, а швидкодія значно зросте.

рекомендую spacy )
https://spacy.io/