Разумеется кривыми ничего не сделать в этой задаче.
Image > Adjustments > Posterize. Там ставите сколько нужно оставить оттенков.
Для точного определения четырех цветов: Gradient Map - там задаете нужные цвета на нужные тональности.
Частный случай - Duotone в 4 цвета. Там больше 4 нельзя поставить.
Ну и последнее - Indexed Color с возвратом в RGB после индексации.