Stable Diffusion

22년 8월 22일 공개된 stability.ai 머스크 형님이 이끄시는 오픈ai의 달리 ( 응용 갤러리)와 달리 api만 제공받고 일부 비용을 지불하는 방식이 아니라… ;D 딥러닝 모델은 허깅 페이스, 개발 코드 깃허브를 통해 학습된 모델 자체를 오픈 소스로 공개한 프로젝트이다. ㅎㄷㄷ

덕분에 모델 자체의 성능도 성능이지만.. 글로벌 사용자들이 후속으로 튜닝해서 다시 공개하고 있는 새로운 모델과 인터페이스( Stable Diffusion web UI, 쇼케이스) 등이 폭발적으로 늘어나고 있다는 점에서 급격한 변화를 이끌어가고 있다.

Stability.Ai

실습

코랩 in 브라우저

1. 허깅페이스에서 개인 토큰을 발행한다
2. 허깅페이스에 있는 스테이블디퓨전 모델의 오리지널 페이지에 가서 이동에 동의한다
3. 코랩 코드를 돌리다가 중간에 허깅페이스 연동 코드*(Normal 1.4 model)*에 앞에서 발급받은 내 토큰을 복붙한다.

→ 메모리 에러

안돌아간다. (Apple M1 Pro 16GB) 계속 시도해도 메모리를 다써서 런타임이 강제 종료된다.

로컬, git pull in vscode

1. conda activate. // 콘다 ref 1, 콘다 ref 2 , r3
2. conda create -n stable_d1
3. conda activate stable_d1
4. conda install pip
5. conda list
6. conda deactivate

활용

1. 텍스트로 이미지를 생성한다.

   이때, 키워드의 선정은 딥러닝에서 몇개의 레이어(콘볼루션)와 어떤 필터를 설정하느냐 만큼 중요하다. 그래서인지.. 렉시아.아트라는 사이트에서 테이블 디퓨전을 통해 만든 이미지 중 잘 나온 것들을 주요 키워드(prompt)와 함께 공유하고 있다.

2. 이미지 to 이미지

   생성된 이미지 중 맘에 드는 기준으로 한번 더, 조금 더 구체적으로, 특정 영역을 재구성한다.