AIR™, Дело в том что палкой выделяя по цвету, даже выставив на максимум Tolerance вы прибьете сглаживание, то есть antialising, который и сообщает краю вырезанного или залитого цветом слоя - естественность границ. Ведь мы в пиксельной, целочисленной графике. Так вот, выделять форму из слоя нужно просто загружая с нее прозрачность - Control+Click на иконке слоя и селекция с полным сохранением сглаживания готова. Разумеется при этом, при вашем способе, нужно выбрать опцию Fill Pixels для Rounded Rectangle Tool'а и рисовать его изображение в новом, пустом слое, который после получения с него селекции убить, или использовать в Clipping Group.

Что касается скорости, давайте замерим. Допустим что у нас есть документ без слоев, нужно закруглить края.

1. Двойной щелчок на слое Background превращает его в обычный слой.
2. Control + Click на иконке слоевой маски добавляет к нему пустую векторную маску.
3. Выбираем Rounded Rectangle Tool, нажимаем кнопку Paths, задаем радиус и рисуем сгругленный прямоугольник. После того, как мышь будет отпущена слой замаскируется.
4. Flatten Image. Готово.

Режим Paths и последний использованный радиус запоминаются, так что следующее применение данного способа будет еще короче.

Тут не минуты, господа, тут секунд 15-20 требуется на все-провсе.

Кстати, для точного позиционирования пути относительно документа используйте клавишу Spacebar во время рисования пути.