Для початку, дякую за добре сформульоване питання. Принаймні, значно краще за те, що тут зазвичай буває.
По вашій проблемі:

    int num=0, i; //значення i невизначене. Може, 0, може, 10, може, 1000000, може, -1000000 - просто сміття з пам'яті
    ...
    while(i!=10) //навряд чи невизначене значення випадково буде 10, тому, швидше за все, виконається
    {
        c[i++]=fgetc(file); //пишемо невідомо куди. Наприклад, у c[1000000]. Чи у c[-1000000]. Звідси і помилка.
    }

Щоб два рази не вставати:

   for (i=0; i<=10; i++)

це цикл на 11 ітерацій. Зазвичай пишуть i<10.
Ну і вам треба полічити малі літери, це функція islower, а не isalpha.

Ще пара зауважень:
- бажано надавати мінімальний компільований приклад. Так, часто це складно, особливо новачкам; але не варто викидати шматки коду, без яких програма не компілюється; а якщо ви певні, що помилка точно у фрагменті, який ви наводите - бажано вказувати, чому ви так вважаєте (наприклад, згадати, що виводилося "Введіть ім'я другого текстового файлу:").
- я точно не певен, чого ви очікуєте, але ви можете тут отримати результат на 1 менший за очікуваний. Символ нового рядка також буде перевірено, і він не є літерою. Якщо ви в курсі - добре.
- перемкніть мову Windows. Вам самому буде зручніше.

Я б зробив 2, не знаю чи спрацює:

char tb[2];//temp buffer
for (int i=0; i<n/2; i=i+2)
{
   tb[i]=mas[i];
   tb[i+1]=mas[i+1];

   mas[i]=tb[i+1];
   mas[i+1]=tb[i];
}

Але тоді n має бути тільки парним