1905年衢州府江山县杨文洵和王槱进入早稻田大学清国留学生部学习，是近代江山和日本交流的开始。此后，进入1920、30年代前后民国时期又有戴夏明在九州帝国大学，周念行在明治大学，郑国士在法政大学等等众多乡贤前辈来日本求学。进入新中国，在中日恢复邦交前，也有迁台二代江山子弟徐航霄进入京都大学学习等少数特例。改革开放初期有部分江山人公派或私费留日。不过，至此因为人数也不是很多，而且大部分人留学后就回国所以一直也没有江山同乡会存在。1990年代江山人劳务输出来日本研修生增多，来日本求学和工作特别是留学毕业后留日工作的也日渐增多。到2010年前后已经有3、40位长期在日本工作学习的同乡。同年，在地方政府的积极配合下，我们联系上了尽可能多的在日同乡成立了日本江山同乡会。
同乡会每年除了比较固定的组织年末/年初/中秋节聚会、赏樱等活外，也通过各种方式参与家乡了捐资助学、文史资料收藏保护等活动，同时也为家乡和日本地方的中日民间交流架起了友谊的桥梁。
2010年7月3日 日本江山同乡会成立
2014年2月17日 日本江山同乡会牵线旅日华侨出资成立云瀚助学金（面向浙江省江山市中山小学、保安乡小学学生）
2016年8月15日 日本收藏《天启江山县志》复印件捐赠江山市
2017年9月10日 牵线江山市领导访问静冈县挂川市考察农业旅游教育等并拜访挂川市市长