Для початку - ви бачите, що вираз у циклі (10 операцій = ) не залежить від i та j і, відповідно, його можна сміливо винести з циклу?
Якщо так - добре. Якщо ні - подивіться ще раз. Тепер - як робити правильно.
Спосіб №1 (більш математичний). Встановіть залежність між індексами A та B, приблизно таку:
x = f(i,j);//наша залежність
B[x] = A[i ][j];
Короткий розрахунок показує, що для тих i, що нам підходять
f(i,j) = i*(довжина рядка-1)+j;
відповідно

for(i=...)
    for(j=...)
        if(елемент головної діагоналі і вище)
            B[j*(довжина рядка-1)+i] = A[i][j];

Спосіб 2 (програмістський).
Нам завжди треба буде дописувати в кінець записаної частини масиву B. Тому створімо ще одну змінну, скажімо k (правильніше було б її назвати size_b), і будемо кожного разу, коли додали щось у масив B, її збільшувати:

int k = 0;
for(i=...)
    for(j=...)
        if(елемент головної діагоналі і вище){
            B[k] = A[i][j];
            k++;
        }

k++ можна сміливо внести у попередній вираз:

int k = 0;
for(i=...)
    for(j=...)
        if(елемент головної діагоналі і вище)
            B[k++] = A[i][j];

Лишилося тільки знайти розмір B залежно від розмірів A. В принципі, ви не сильно втратите, якщо візьмете B такого ж розміру, як і A; але якщо дуже кортить не виділяти зайвої пам'яті - то сума арифметичної прогресії має вам допомогти.

П.С. У першій формулі таки помилка, але біс із ним. Всі користуються другим способом. Потім додумаю, яка там формула.