1912년 9월 5일 로스앤젤레스에서 태어났다. 퍼모나 대학에 다니다 교과 과정에 반발한 그는 1년 후 대학을 떠나 1930년대 미국의 전위 음악 권위자 헨리 카웰을, 이어 무조 음악과 12음 기법의 선구자 아놀드 쇤베르크를 만난다. 케이지는 쇤베르크의 가장 흥미로운 미국인 제자였고 그로부터 ‘작곡가라기보다 천재적 발명가’라 불렸다.
작곡가 생활 초기 케이지는 샌프란시스코와 시애틀에서 음높이 없는 타악기 음악을 작곡해 새로운 ‘소우주-대우주적’ 리듬 구조를 만들어냈다. 또 다른 혁신은 ‘프리페어드 피아노’의 발명이다. 1940년 발명된 이 악기는 그랜드 피아노의 현 위에 나사나 볼트, 틈 마개 등의 이물질을 부착해 음높이가 불확정적인 타악기로 바꾼 것이다. 무용가 머스 커닝엄과의 공동 작업도 1940년대에 시작되었다.
한편 1936년 시애틀에서 낸시 윌슨 로스의 강연 〈선불교와 다다이즘〉을 듣게 된 케이지는 선 사상에 눈을 뜨고, 뉴욕으로 떠나 신화학자 조지프 캠벨에게서 동양 예술과 철학을 소개받고 음악관이 뒤바뀐다. 그리고 1949년 뉴욕 예술가 클럽에서 〈무에 관한 강연〉을, 1년 후 〈유에 관한 강연〉을 한다. -“나는 할 말이 없고 할 말이 없다는 얘기를 하고 있으며 이것이 내게 필요한 시다.”(〈무에 관한 강연〉 중) - 1950년 갓 출간된 《주역(周易)》의 최초 영문판을 접한 케이지는 음높이와 소리를 모두 배제하고, 《주역》으로 음길이만을 결정해 곡을 쓴다. 바로 「4분 33초」다.
1952년 8월 29일, 역시 뉴욕에서, 케이지의 탁월한 해석자 데이비드 튜더는 4분 33초 동안 피아노 앞에 앉아 이 곡을 연주했다. 그 해 역사가이자 철학자인 스즈키 다이세쓰의 강의를 듣게 된 케이지는 선 사상을 심도 있게 연구해간 한편, 1956년부터 1960년까지 뉴욕의 뉴스쿨 대학교에서 실험 음악 작곡을 가르쳤다. 그곳에서 그에게 배운 이들이 바로 플럭서스 운동을 이끈 개념예술의 선구자들이다. 1958년 5월 15일, 케이지의 친구들은 뉴욕 타운 홀에서 열린 그의 25주년 기념 연주회에 참석했다. 약 1천 명의 청중이 모였고, 몇 달 후 케이지와 튜더는 다름슈타트 국제 하계 현대 음악제에 초대되었다. 케이지는 유럽 음악에 영향을 끼치기 시작했고, 현대 음악계 바깥에서까지 주목을 받았다.
1959년 1월 이탈리아 퀴즈 쇼에 출연한 그는 버섯과 관련된 퀴즈를 맞혀 상금을 받았고, 또한 이곳에서 「베네치아의 소리」와 「워터 워크」를 공연했다. 1960년 1월에는 게리 무어가 진행하는 미국 텔레비전 쇼에 ‘오늘날 음악계에서 가장 논쟁적인 인물’로 출연해 「워터 워크」를 한 번 더 공연했다. 같은 시기 케이지는 웨슬리언 대학교 고등 연구 센터의 수업을 맡게 된다. 그리고 1961년 10월, 웨슬리언 대학교 출판부에서 《사일런스》가 출간된다.