Raffaello nacque da Piero Velluti il 20 gennaio 147[9], ed è più che verisimile che delle due mogli successivamente avute dal medesimo Piero egli fosse figlio di Agnola perché non trovandosi descritta nel Catasto dell’anno 1470 tra le bocche Iacopa di Bernardo di Lorenzo Ridolfi, prima moglie di Piero, sposata nel 1463, è probabile che ella fosse a quella data già deceduta.

Egli sposò nel 1511 Ginevra di Bernardo de' Bardi e da lei ebbe Piero.