کیلی در محله راکسبری در بوستون به دنیا آمد، جایی که پدرش مدیر ساخت و ساز بود. در سال 1930، کیلی از دبیرستان دشت جامائیکا فارغ التحصیل شد. دو سال بعد، او یک کارآموزی چهار ساله را نزد معمار منظر وارن اچ. منینگ آغاز کرد و سال اول را بدون دستمزد کار کرد و در طی آن اصول این رشته را آموخت و به نقش گیاهان در طراحی علاقه مند شد.[3] ] از سال 1936 تا 1938، کیلی یک دانشجوی ویژه در برنامه طراحی در دانشگاه هاروارد، که اکنون دانشکده طراحی فارغ التحصیل است، بود، در حالی که به کار با منینگ ادامه می داد. از جمله همکلاسی های او گرت اکبو و جیمز سی رز بودند که معماران منظر تأثیرگذاری نیز شدند. پس از دو سال، پس از مرگ منینگ و انحلال کار او، کیلی بدون فارغ التحصیلی هاروارد را ترک کرد. او مدت کوتاهی برای خدمات پارک ملی در کنکورد، نیوهمپشایر و بعداً در اداره مسکن ایالات متحده کار کرد، جایی که با معمار لوئیس کان ملاقات کرد. به توصیه کان، کیلی در سال 1940 قدرت را ترک کرد تا یک معمار حرفه‌ای مجاز شود.

از سال 1943 تا 1945، کیلی در ارتش ایالات متحده به عنوان کاپیتان در شعبه ارائه دفتر خدمات استراتژیک خدمت کرد و پس از کناره گیری معمار Eero Saarinen، مدیر آن شد. در پایان جنگ جهانی دوم، کیلی اتاق دادگاه را طراحی کرد که در آن دادگاه نورنبرگ برگزار می شد. زمانی که در اروپا بود، از قلعه ویلندری و کاخ ورسای و همچنین از آثار آندره لو نوتر بازدید کرد که رسمی بودن و چیدمان هندسی آن سبک مدرن کلاسیک بعدی او را شکل داد.

پس از جنگ، کیلی خود را به عنوان یکی از تنها معماران منظر مدرن در رونق ساختمان پس از جنگ یافت. در کالیفرنیا، همکارانش اکبو، توماس چرچ و دیگران نیز در حال توسعه و تمرین به سبک مدرنیستی بودند. کیلی تمرین خود را در فرانکونیا، نیوهمپشایر از سر گرفت و بعداً به شارلوت، ورمونت نقل مکان کرد. در سال 1947، با همکاری سارینن، کیلی در مسابقه طراحی پارک ملی طاق دروازه (که در آن زمان به عنوان یادبود توسعه ملی جفرسون شناخته می‌شد)، شرکت کرد و برنده شد، پروژه‌ای که کارش را آغاز کرد.و....