Sembra che il Japanese Chin (precedentemente conosciuto in Gran Bretagna come Japanese Spaniel) sia nato da alcune specie di cani della Cina intorno al 700 dopo Cristo, infatti la prima letteratura giapponese che menziona un cane somigliante ad un Chin è nel 723 dopo Cristo, quando in Giappone ne arrivò uno dalla Corea, probabilmente un tipo conosciuto come "Shoku-Ken". Alcuni cani noti come "Paig" o "Fo-Nae" arrivarono in Giappone dal mare, da mercanti, monaci Buddisti e da emissari dell'Imperatore dalla Cina,  e alcuni dalla Corea. Si pensa che questi primi esemplari fossero somiglianti al Carlino o al Pechinese, e l'Enciclopedia del Cane di  Hutchinson', suggerisce che la loro origine possa risalire al "Cane Leone di Pechino".

Nel 1551, il termine "Chinu-no-inu" (Cane Chin) comparve nella letteratura giapponese, quindi è abbastanza prudente dire che la razza da noi oggi riconosciuta ha origine in Giappone. Il periodo Edo (dal 17esimo al 18esimo secolo) sembra essere l'apice del gradimento del Chin, sotto la protezione di Shogun.

L'allevamento era difficoltoso, ma c'era la possibilità di vendere i Chin alle mogli dei Samurai, ed essi erano caramente coccolati come "cani da grembo". I giapponesi di solito tenevano i cani all'esterno, ma tenevano i Chin sempre in casa come "Zashiki" (ospiti vivi) ed essi avevano la loro "Tatami" (stuoia di paglia) nella camera da letto.

Uno dei primi documenti relativi a questi cani in Gran Bretagna è quella del Capitano Saris che nel 1613 portò come doni dall'Imperatore del Giappone dei piccoli spaniels. E' anche documentato che nel 1853 anche il Commodore Perry ricevette lo stesso dono per il presidente americano. Erano dei piccoli cani simili al Carlino, bianchi e neri con il pelo lungo, e il Commodoro diede due di questi cani all'Ammiraglio Sterling della Flotta Britannica perchè li desse alla regina d'Inghilterra. Altri simili spaniel arrivarono in questo paese da marinai che ritornavano dal lontano oriente, ed altri furono portati come doni commerciali. Alla fine del secolo, la razza aveva un vasto e aristocratico seguito. Ci sono molte immagini della Regina Alessandra e di sua figlia, la Principessa Vittoria, che reggono uno o due dei loro Chin, ai quali erano profondamente affezionate.

Fu in questo periodo (1895-6) che un gruppo di persone entusiaste si misero in contatto e fondarono un club conosciuto come "Club del Japanese Spaniel". Comunque, fu solo nel 1897 che essi ottennero il riconoscimento ufficiale registrandosi presso il Kennel Club. Nel 1899 il Kennel Club aveva registrato solo 33 razze specifiche. Verso il 1901 c'erano oltre un centinaio di Japanese Spaniel registrati e fu nel dicembre di quello stesso anno che il Club si fuse con i Pechinesi e chiese il nuovo nome di "Club dello Spaniel Giapponese e del Pechinese".  Nel giro di tre anni, le registrazioni di Pechinesi avevano sorpassato quelle degli Spaniel Giapponesi e fu proposto ed approvato che i clubs si separassero. Fu quindi nel gennaio 1905 che il club diventò indipendente, e fu registrato con il nome attuale di  "The Japanese Chin Club".