Boris Nefedov, это скорее всего потому, что ты делаешь выделение со значением Feather больше нуля, тебе кажется что у тебя получилось просто выделение с закругленными углами. Это не совсем то. Используй Rounded Rectangle Tool он в панели инструментов под type tool. Задавай ему просто радис закругления какой тебе нужен, а потом можешь или растеризовать его, или например сделать из него выделение (только Feather поставь на ноль, а то опять тоже самое будет)
