Схоже вам потрібно те, що робить mmap із виставленим прапорцем MAP_ANONYMOUS, якщо я все вірно зрозумів. Впринципі, якщо так, то можете прямо mmap і викликати, лише глядіть за прапорцем, його тре буде виставити вірно.

Щось ви дуже погано шукали. Вбиваємо в гуглі linux syscall reference, клацаємо на перше покликання syscalls64. Знаходимо поле Search, куди вводимо слово mmap, отримуємо результат:

| Name     | rax  | rdi                | rsi               | rdx      | r10       | r8     | r9       | 
|----------|------|--------------------|-------------------|----------|-----------|--------|----------|
| sys_mmap | 0x09 | unsigned long addr | unsigned long len | int prot | int flags | int fd | long off |

Що, власне, відповідає функції:

void* mmap(void* addr, size_t length, int prot, int flags, int fd, off_t offset);

Все, що вам залишилось зробити - це вписати необхідні значення у відповідні регістри з таблички.