У вас тутка на схемі 3 шт. Кей А, який саме ви регулюєте?

Кей-А - регулює струм між плечами початкового каскаду підсилювача, спробуйте регульнути Кей-С.
Операційний підсилювач має гіганський коей. підсилення але різності між інвертуючим входом та неінвертуючим, тому його ще називають диференційним.
На схемі двокаскадний підсилючав, ви регулювали коеф першого каскаду.
Тут є дуже багато нюансів з точністю і шумом.

Насичення під час тестів не спостерігав.
Саме так, Key=A - відповідно до класичного інструментального підсилювача, є тим потенціометром, за допомогою якого можна регулювати підсилення всієї системи - в цьому і зручність.

Вибачте, про що тут йдеться? Я не зрозумів.

Для чистоти тестів я відпаяв все що стосується цієї частини (резистори 7, 8, 9, 10 на малюнку нижче). Ситуацію це не змінило. Цю частину я додав для компенсації зсуву нуля. Але, бачу, що вона на стільки мала, що і без компенсації мене задовольняє.

За порадою Chemist-i підкрутив Key=B. Щиро кажучи, не хотів це робити, бо цей потенціометр я відрегулював перед впаюванням у загальну схему так, аби відношення його плечей дорівнювало відношенню резисторів 1 і 2. Але заради науки відрегулював. Загальний максимальний коефіцієнт підсилення склав 10, що мене задовольняє. Додам що напруга на виході є лінійно залежа від падіння напруги на шунті (на вході) на необхідному мені діапазоні. Тобто зараз схема виконує призначену їй функцію.

Але питання малого коефіцієнта підсилення залишається. Відповідно до теорії (навіть з того джерела, яке подав ReAl), підсилення має бути:
,
в мене Rgain = 0...100кОм, R = 100кОм. Тобто можна було підсилювати аж до напруги живлення операціїних підсилювачів (звісно, в ідеальному випадку).

На першому скріні моделі при 0 резиісторі напруги на виходах перших двох ОП мінус вісім з копійками і плюс вісім з копійками. Тобто дотягли до живлення такою мірою, якою дозволяє внутрішня схема.
На скріні з підписаними резисторами, де вже струм 10А, 2.2 вольти на шунті, верхній ОП на виході має -2.25, нижній 4.44, між ними різниці 6.69 В як приблизно і має бути 2.2 * (100+98+100) / 98.
А от викрученим 3-тім резистором ця різниця 6.69 В ослабилася, бо плюсова частина 4.44 сильно поділилася, там і 7..10 «допомогли» поділити.

До речі, там помилка у статті по лінку, я просто гуглонув і повірив EDN, не перевіряв перед тим, як сюди лінк дати.
Там у формулах G = 1 + 100k / Rg правильно лише якщо написати Rf = 50k або на схемі написати Rf/2 поруч з тими резисторами.
Якщо вважати, що кожен резистор саме Rf, то
G = (Rf + Rg + Rf) / Rg
або, якщо спиратися не на той факт, що Напруга_на_Rg = U₊ - U_-, а на Vcm і розглядати дві половинка окремо, як у статті, то
G = 1 + Rf / (Rg/2)
(бо у половинці схеми бере участь Rg/2) що те ж саме.

Так отож, там і маж бути підібрано відношення. Тільки треба було б брати низькоомний резистор, розпертий між двома високоомними для більшої точності і стабільності такого налаштування.
Викрутивши цей резистор, ви просто почали підсилювати синфазну складову, напівсуму виходів двох ОП першого каскаду.

І це треба розбиратися, де в реальній схемі біда.

Але:
тут інструментальний підсилювач непотрібен. Один кінець шунта намертво на землі.
Великий КОСС (коефіцієнт ослаблення синфазного сигналу, те, чого добиваються викручуванням резистора 3 на відношення 1 і 2) тут геть непотрібен, бо синфазний сигнал строго рівний половині напруги на нижньому по схемі кінці шунта, половині корисного сигналу.
Тобто цілком досить звичайного включення ОП, каскад без інверсії.
І для LM324 при сотнях кілоом вже бажано підрівняти опори по входах, бо вхідні струми у нього немалі.

p.s. якраз нещодавно для заміру середнього струму двигуна, на який ШІМ подано, паяв на LM358 підсилювач з фільтром. Шунт 0.1 оми, струм там до ампера, підсилення точне цікавим не було, бо головне форма. На першому ОП фільтр другого порядку з підсиленням 2, потім ще каскад з підсиленням 11 (бо такі резистори були під рукою).

Якщо шунт може плавати довільно, то потрібен інструментальний, щоб задавити синфазну складову.
Але якщо він «просто» не на землі — наприклад, у шині живлення, то тоді є кращі варіанти.
Ось гарний огляд від Linear Technology (тепер частина Analog Devices).
Дивіться Fig 5, те ж саме випускають у вигляді готових мікросхем.