1º Abra sua imagem.

2º Selecione a ferramenta Retângulo Arredondado (U). Por padrão, o Photoshop deixa como primeira opção a ferramenta Retângulo, mas você pode encontrar as outras opções pressionando o botão direito do mouse ou pressionando Shitf + U.

3º Note que na parte de cima, entre outras, aparece a opção do tamanho do Raio em pixels, que determinará o quanto os cantos da sua figura ficarão arredondados. No exemplo, utilizei a medida de 20 pixels.

4º Desenhe o retângulo sobre a sua imagem, na área que deseja enquadrar.

5º Clique com o botão direito sobre o retângulo e selecione Criar Seleção.

6º Apaque a camada do seu retângulo. Agora você terá sua imagem com uma seleção de bordas arredondadas. Pressione Ctrl + Shift + I ou vá em Selecionar > Inverter.

7º Pressione Delete e está pronto!