По-перше, не плутайте фреймворк і бібліотеку. Фреймворк - це коли вам дають місця, щоб вписувати код, а бібліотека - це коли ви пишете власний код із бібліотечними плюшками.
По-друге, довга арифметика вбудована в Python.
По-третє, 32 біти - це не довга арифметика, швидше за все ви щось інше не так робите.

ну так у вас же довга арифметика, а ви її в рухому кому пхаєте, звісно точність падає...

    k = 1
    while (k*phi+1)%e != 0:
        k += 1
    d = (k*phi+1)//e

А цей ваш d % 1 != 0 фігню дає:

>>> (1781291892654952753/(1781291892654952753+1))%1==0
True

Про ефективність я взагалі мовчу, ну то таке.