Ele foi casado com atriz Mia Farrow (ex-mulher de Frank Sinatra), com quem teve três filhos biológicos e adotou outros três.