티스토리 뷰
진행상황 : JPPNET의 Pose는 작동하나 viton의 데이터 형식과 불일치(subset을 알 수 없음). Real-time Pose estimation에서 다른 방식으로 구현된(keras) 것 작동 성공. 포즈점 개수는 조금씩 다르지만 돌아갈 때 이상 없는것으로 보임.
VITON <- LIP-SSL https://arxiv.org/pdf/1611.08050.pdf / 가상 시합 합성의 주요 기술적 과제는 사람의 포즈에 맞게 대상 의류 이미지를 변형하는 것입니다. 이를 위해, 합성 과정을 제한하기 전에 포즈, 신체 부위, 얼굴 및 머리카락을 포함하는 일련의 피처 (그림 3)가 포함 된 의류에 구속력이없는 사람 표현을 소개합니다. 히트 맵을 만듭니다. 인간의 자세 변화는 의류의 변형에 따라 달라 지므로 최첨단 포즈 추정기로 자세 정보를 모델링합니다 [5]. 사람의 계산 된 포즈는 18 개의 키포인트 좌표로 표현됩니다. 공간 레이아웃을 활용하기 위해 각 키포인트는 heatmap으로 변환되어 다른 곳의 1과 0으로 채워진 키포인트 주변의 11x11 이웃을 갖습니다. 모든 키포인트의 히트 맵은 18 채널 포즈 히트 맵으로 쌓여 있습니다. 인간의 신체 표현입니다. 의류의 출현은 신체의 모양에 따라 크게 달라 지므로 대상 패션 아이템을 전달하는 방법은 다른 신체 부위 (예 : 팔 또는 몸통)의 위치와 신체 모양에 따라 달라집니다. 따라서 최신의 인간 파서 [11]는 인간의 세분화 맵을 계산하는 데 사용되며, 여기서 각기 다른 영역은 팔, 다리 등과 같이 인체의 다른 부분을 나타냅니다. 세그먼트 맵을 1 채널로 더 변환합니다 이진 마스크는 인간의 신체 (얼굴과 머리카락 제외)와 0을 나타냅니다. I에서 직접 파생 된이 바이너리 마스크는 [51]에서와 같이 신체 모양과 대상 의류가 충돌 할 때 인공물을 피하기 위해 더 낮은 해상도 (그림 3에서와 같이 16x12)로 다운 샘플링됩니다 /
pose에 관한 issue https://github.com/xthan/VITON/issues/4 https://github.com/ZheC/Realtime_Multi-Person_Pose_Estimation/blob/master/testing/python/demo.ipynb
keras 로 되어있는 구현 (candidate, subset 포함) [https://github.com/michalfaber/keras_Realtime_Multi-Person_Pose_Estimation/blob/master/demo.ipynb] https://github.com/michalfaber/keras_Realtime_Multi-Person_Pose_Estimation/blob/master/demo.ipynb
jppnet https://arxiv.org/pdf/1804.01984.pdf
viton이 가지고 있는 pose 데이터는 candidate 와 subset으로 이루어져 있는데 subset은 0부터 20까지의 분류중 여기서 이 데이터가 무엇을 나타내는지 라벨링 해놓은 것으로 판단되며 candidate dml 1열과 2열은 y축, 4열은 번호 이며 3열은 모르겠음. 3열 지우고 돌린결과 차이가 없음.
3열 지운결과
매트랩 파일에서 포즈 x좌표를 없앴을때. 영향을 미치는 것을 확인
jppnet 에서 나온 것을 마지막꺼 하나 빼고 그냥 그대로 좌표 박고 돌렸을때 
keras로 돌렸을 때 결과
keras에서 돌린 것으로 viton mat 파일에 넣었을 때의 결과
-> 원 퀄리티와 비슷한 것으로 보임
005001_0.jpg 값이 거의 일치하는 것을 확인
