1984年3月23日，日本首相中曾根访华期间，中日双方正式宣布成立中日友好21世纪委员会。
1983年11月，中共中央总书记胡耀邦访问日本时，与中曾根首相商定，为了开创中日友好的，新纪元，建立中日两国各界人士的老、中、青代表参加的中日友好21世纪委员会。委员会的任务是根据中日政府联合声明和中日和平友好条约的基本原则及中日友好关系四原则，从政治、经济、文化、科技等角度，研究中日睦邻友好关系长期稳定发展的途径，并向两国政府提出建议。
委员会下设三个专门委员会：中日关系中的长期展望专门委员会；中日经济、科技交流专门委员会；中日青年文化交流专门委员会。双方委员会的日常工作机构分设在中国外交部亚洲司和日本外务省亚洲局。