Завдання нечітке. Яким чином у тому, що введено, можуть бути "тільки числа"? Числа, як відомо, записуються цифрами. Послідовність цифр - це одне число. Якщо введене щось, де є більше одного числа (а "числа" у вас у множині), то там мають бути якісь роздільники - наприклад, пробіли чи знаки пунктуації тощо. Які саме роздільники приймаються, а які - ні?
Найпростіше - запхати це все в цикл і після спроби прочитати чергове число з потоку (наприклад, cin) перевіряти, чи вийшло, і якщо ні - не виконувати подальші дії.

while(true){
  int x;
  cin>>x;
  if(cin) { //перевіряємо стан помилки
    //що там робити з x
  } else {
    std::cin.ignore(INT_MAX); //викидаємо з cin те, що було введено
    cin.clear(); //скидаємо стан помилки
  }
}