ugonfor.

ECCV에 억셉되었습니다.

ugonfor — Tue, 2 Jul 2024 04:36:55 +0900

안녕하세요.
이전에도 제 글을 보다가, 이 글을 보는 사람이 있을지 모르겠네요.

가장 최근 글들을 보면, 사실상 거의 일기수준의 글들만 있고
테크에 대한 글은 거의 없는 것 같아요. 학부 졸업할 즈음부터 삶이 바빠져서 지식을 공유할 정신이 없었는데 그것이 그대로 블로그에 나타난 듯 하네요.

오늘은 자랑을 좀 하러 왔습니다.
제가 정말 정말 고대하던 순간을 지금 직면하게 되었습니다.
오늘 ECCV에 제 논문이 억셉되었습니다. (혹시 제가 보안 분야 글을 쓰다가 AI쪽 학회 이름을 언급하여, 모르시는 분이 있을 까봐 첨언하자면, CV분야 탑티어입니다.)

저의 첫 논문이고, 또 1저자 논문입니다. 이 논문을 쓰기까지 많은 일이 있었습니다.
제가 연구하고 있는 분야가 연구실에서 한번도 해본적 없는 분야다 보니까 외롭게 연구를 진행했습니다.
주제를 찾는 데에만 1학기 이상의 시간을 사용하였고, 논문을 쓰고 제출하는 데 6개월, 리부탈 프로세스를 거치면서 최종 억셉까지 3개월이 더 걸렸네요.
중간에 리젝을 받기도 하고, 제 연구 주제가 사실은 무의미한 것인가? 싶어서 포기할까도 했었습니다.

정말 ECCV 제출할 때에는 제출 1주일전에 저 도와주시는 2저자분께 ‘내일 교수님께 포기하겠다고 말씀드려야 겠어요.‘ 라고 말할 정도로, 자신감이 없었습니다.
심지어는 제출하고 난 후에, 연구 내용 발표할 때 교수님께 ’연구주제에 대한 확신이 없으면, 논문 제출을 하면 안 됩니다. 확신이 있어도 리젝되는데, 확신이 없는 상태에서는 제출하면 안됩니다.’ 라는 코멘트를 받기도 했습니다. 교수님 말씀대로 제가 공용 리소스를 사용하는 것이기에 제가 연구를 하는 만큼 다른 분이 못합니다. 그래서 제출을 하고 난 이후에도, ‘아 제출을 하면 안 되었나’ 하고 생각하기도 했습니다.

정말 괴로웠습니다. 혼자 연구를 하는 것도 너무나 외로웠고, 저도 스스로에게 확신이 없는 상태에서 연구를 하는 것이 정말 괴로웠고, 그 이후에 제 잘못을 지적받을 때에도 너무나 괴로웠습니다. 그러다 리뷰를 받는 날 조금 희망이 생겼습니다.

리뷰는 당연히 리젝만 있을 줄 알았습니다.그런데, 내리다보니까 Weak-Accept이 하나 있었습니다.

제 논문에 대해서 억셉의 평가를 주었다는 것에 너무나 감사했습니다.
제 예상과 다르게, 한명의 평가가 좋게 나왔고 그래서 포기하지 말고 리부탈 프로세스를 다 거쳐야 겠다고 생각하여, 어찌저찌 또 1주일 밤을 새어가며 1장짜리 답변을 작성했습니다.

저번주에는 이 논문을 이번달에 있을 WACV나 ECCV Workshop에 제출하고 싶다고 교수님께 말씀드렸었습니다.
당연히, 떨어질 것이라 생각하여 그렇게 말씀드렸었습니다. 그리고 오늘 결과가 나왔는데, 제 논문 번호가 accepted paper list에 있네요.

정말 감사합니다. 운이 너무 좋았던 것 같습니다.
솔직히 제가 노력을 안 한것은 아닙니다만, 저보다 훨씬 많은 노력을 하고도 고배를 마시는 분들이 많다는 것을 너무나 잘 압니다.
저 또한, 제 능력, 혹은 제가 한 것 이상의 보상을 얻는 다는 느낌을 받습니다. 제 논문이 과연 학회지에 등재되어도 되는 것인지 아직도 의심스럽습니다.
정말 감사합니다. 앞으로도 열심히 하겠습니다.

기쁜 마음에 잠이 오지 않아 글을 조금 적어봤습니다.
이만 줄이겠습니다.

두서 없는 글이지만, 끝까지 읽어주신 분들께
읽어주셔서 감사합니다.

쇼핑몰 크롤링

ugonfor — Tue, 31 Jan 2023 16:28:30 +0900

크롤링할 일이 생겨서 급하게 만들었는데, 어떤 식으로 만들었는지 기록해두려고 작성합니다.

#개발과정

1. robots.txt 확인

2. 대상 페이지 확인

3. 디자인

4. 구현

---

1. robots.txt 확인

제일 먼저 크롤링하기전에 robots.txt를 확인합니다.

User-agent: *
Disallow: /admin
Disallow: /api
Allow: /

robots.txt가 어떻게 되어있는지에 따라서 크롤링 해도 되는것과 하면 안되는 것을 확인해야합니다.

사실 robots.txt에서 Allow라고 되어있다고 해서 무조건 해도 된다는 것은 아닙니다만, Disallow라고 되어있으면 절대 하면 안됩니다.

2. 대상 페이지 확인

Requirements
1. 상품 코드
2. 상품 이미지
3. 상품 상세페이지
4. 상품명
5. 판매가격
6. 옵션

대상 페이지에서 가져오고자 한 정보는 위와 같았고, 이미지를 다운로드하는 것은 너무 오래걸리고 저장공간도 많이 필요로 하기에, 이미지 대신 이미지가 저장된 위치의 URL을 저장하고자 했습니다.

- 상품 코드

상품코드의 경우에는 상품 상세페이지의 링크에서 확인가능했습니다. 그래서 상세페이지를 파싱해서 상품 코드를 가져오고자 합니다.

- 상품 이미지

상품 이미지는 상품 상세페이지에서 이미지 표시해주는 부분을 확인했고, 그 이미지의 URL을 확인해서 가져오고자 했습니다.

- 상품 상세페이지

상품 상세페이지는 전체 상품 리스트 페이지에서, 각 상품명을 클릭했을때 이동하는 href를 파악해서 이를 이용했습니다.

- 상품명

상품명은 전체상품 리스트 페이지에서 나타나있었기에 이를 이용했습니다.

- 판매가격

판매가격은 조금 특이했는데, 로그인을 하지 않으면 가져올 수 없었기에 로그인을 한 후 가격정보를 파싱했어야 했습니다. 이후 전체상품리스트 페이지에서 가져오고자 했습니다.

- 옵션

옵션은 상품 상세페이지에서 옵션을 선택가능한 부분이 있었고, 이 부분에서 옵션을 가져왔습니다.

3. 디자인

사이트를 살펴보니, 크롤링 순서를 세 스텝으로 진행해야 겠다고 생각했습니다.

앞서 2번에서 대상 페이지와 Requirements를 보면, 전체 상품 리스트 페이지에서 데이터를 가져와야 하는 부분과 각 상품의 상세페이지에서 가져와야하는 부분이 있었습니다. 또한, 로그인을 필요로 하는 작업도 있었습니다.

그래서 다음과 같이 세 스텝을 정했습니다.

1단계: 로그인하여 세션을 유지한다.

2단계: 전체상품 리스트 페이지에서 **상품 상세페이지 URL, 상품명, 상품코드, 상품가격**을 가져옵니다.

3단계: 각 상품의 상세페이지에 접속해서 **이미지 URL, 옵션**을 가져옵니다.

그리고 마지막으로 진행상황을 보여주는 Progress 바를 만들어서 진행상황을 보고자했습니다.

이는 처음 디자인시에는 예정에 없던 것인데, 구현하다 보니 3단계에서 각 상세페이지에 접속해야했기에 시간이 조금 걸려서 필요를 느껴 만들어줬습니다.

4. 구현

구현할 때 셀레니움(selenium)을 사용하는 경우가 종종 있는데, 셀레니움은 최대한 사용하지 않는 것이 좋습니다. 이는 웹 브라우저를 실행하여 GUI를 구성해야하기 때문에, Reuqest로 html 텍스트만 받아와서 처리하는 것보다 훨씬 긴 시간이 걸립니다. 그래서 다른 방법으로 도저히 안 되는 경우에만 셀레니움을 사용해야합니다.

그래서 구현은 requests모듈과 BeautifulSoup 모듈을 사용해서 Python으로 구현했습니다.

0) request를 보낼 때 주의할 점

기본적으로 대부분의 사이트 구현 프레임워크들은 로봇이 접속하는 것을 막아두고 있습니다. 그래서 User-Agent를 지정해줘서 지금 request가 어떤 프로그램이 보내는 것이 아니라 브라우저가 보내는 것이라고 알려주어야만 차단되지 않습니다.

https://requestbin.com/

위와 같은 사이트에서 내가 브라우저를 통해서 request를 보낼 때 어떤 정보들이 기본적으로 헤더에 붙어있는지 확인해주고 적절하게 이를 붙여서 보내주어야 합니다.

가장 기본적으로는 User-Agent를 통해서 프로그램인지 판단하기에 이부분에 대한 정보만 request보낼때 기본적으로 헤더에 추가해줬습니다.

1) main함수는 다음과 같이 구현했습니다.

앞서 디자인에서 설명한 것처럼 1단계는 get_session함수를 통해서 로그인세션을 유지하였고, 2단계는 get_item_list함수를 통해서 전체상품페이지에서 데이터를 가져오는 작업을 했습니다. 3단계는 it_list_append_img_opt함수를 통해서 각 상품의 상세페이지에서 가져올 수 있는 상품정보를 가져왔습니다.

이후에 있는 부분은 CSV파일형식으로 저장하기 위해서 작성된 부분입니다.

맨 처음에 start_page, end_page, output_file을 입력해서 크롤링을 시작할 페이지들을 입력하게 하였고, 아웃풋 파일명을 지정할 수 있게 했습니다.

2) get_session 함수

session함수를 구성할 때는 먼저 정상적으로 로그인할때 어떤 과정을 통해서 로그인하는 지 확인해야합니다.

저는 Fiddler를 켜두고 로그인을 한번 해서 어떤 URL을 로그인과정에 거치게 되는지 확인하였고, 이후 이 과정을 동일하게 구현하였습니다.

대상 페이지의 경우에는 로그인을 할 때, 로그인 키세션을 부여하고 그 키세션을 기준으로 다시 로그인 세션정보를 부여했습니다. (이유가 있을텐데, 직관적으로 왜 이렇게 구현했는지 바로 떠오르지는 않네요.id, passwd, sLoginKey가 모두 맞아야 로그인이 될거 같은데 리플레이 공격을 막기위해서 설정해둔거 같아요. 아마도)

그래서 리퀘스트를 보내고, 세션을 저장해서 이후 활용했습니다.

3) get_item_list 함수

위 함수는 특별한 것이 없습니다. 인터넷에서 보면 충분히 찾아볼 수 있는 BeautifulSoup로 페이지 파싱하기와 동일합니다. 전체상품 페이지의 html을 가져와서 필요한 부분을 적절히 파싱하여 가져왔습니다.

4) it_list_append_img_opt 함수

위 함수도 3)과 동일하지만, 한가지 다른점이 있다면 이 부분에 Progress Bar를 반드는 부분을 넣어주었습니다.

다른 함수들과 다르게 이 함수는 for문 안에 Request가 있고, for문의 range값이 크기때문에 Progress바를 만들어줬습니다. (get_item_list함수도 for문 안에 request가 있지만, 이는 range값이 작기에 만들지 않았습니다.)

`\r`를 사용해서 원래 출력된 것을 지워주고, 퍼센테이지로 만드는 방법도 있었으나... 그림으로 만들어주는 것이 더 직관적인거 같아서 위와 같이 했습니다. 그림과 퍼센테이지 모두 보여주는 방법은 굉장히 귀찮기에 하지 않았습니다.

진행중

위와 같이 바의 길이가 같아지면 완료

5) 완성

실행하고 나면, output file명을 따라서 csv파일이 생성됩니다. 이를 엑셀을 통해서 열면 예쁘게 표로 된 파일이 생깁니다. 사실 굳이 openxl 모듈을 사용하는 것보다는 csv파일로 처리하는 것이 프로그램도 훨씬 가볍고 좋습니다. 물론, 레이어작업 처럼 여러 페이지를 사용해야하는 일이 생기면 관련 API를 사용해야겠지만... csv가 편합니다.

- 끝

겨울방학

ugonfor — Mon, 10 Jan 2022 23:08:22 +0900

겨울방학을 좀 알차게 보내려고 목표도 좀 세웠는 데 맘처럼 잘 안 되네요....

1. 캡스톤 논문 마무리하기

2. 인턴 일 하기

3. MLOps 공부하기

4. 캐글 조금 하기

5. 운동하기

6. 3년간 배운 CS정리하기

7. 토익 시험 성적

솔직히 좀 욕심이었던거 같긴 한데... ㅋㅋㅋ

이중에 하고 있는 게 2. 랑 5. 조금 밖에 없음...

나의 방학 점점 살살 녹고 있는 데 어떡하지 하하;;

대답봇으로써 역할을 충실히 하고 있는 중 ㅋㅋㅠㅠㅠ

VMware, WSL2가 서로 충돌날 때 해결 방법

ugonfor — Mon, 18 Oct 2021 15:05:10 +0900

WSL2를 사용하는 데, 제가 윈도우 VM이 필요해서 WinDev2018Eval

https://developer.microsoft.com/en-us/windows/downloads/virtual-machines/

Download a Windows 10 virtual machine - Windows app development

Get a Windows 10 development environment Start building Windows applications quickly by using a virtual machine with the latest versions of Windows, the developer tools, SDKs, and samples ready to go

developer.microsoft.com

위 사이트에서 개발환경을 받아서 사용 하고 있는 데....

저 개발환경에서도 WSL2를 사용해서 그런가?

그 hyper-v랑 Vmware가 충돌되서 둘중 하나만 사용가능하고 안 됩니다...

근데 뭐 어쩌겠어요 둘다 사용해야 하니까 hyper-v를 껏다가 켰다가를 반복하고 사용하고 있습니다.

1. 관리자 권한으로 Terminal 실행

2. 다음 명령어 실행

Vmware를 사용하고자 하면 : bcdedit /set hypervisorlaunchtype off

WSL2를 사용하고자 하면 : bcdedit /set hypervisorlaunchtype auto

3. 재부팅

끗

가상머신 스냅샷을 까먹지 말자...

ugonfor — Thu, 7 Oct 2021 17:39:53 +0900

하아 근 1주일 안에 우분투만 5번 넘게 지우고 깔은 사람이 여깄습니다~~~

스냅샷 잘 찍어둡시다~~~~ ㅠㅠ

MIPS Assembly

ugonfor — Thu, 7 Oct 2021 17:11:58 +0900

Mips 어셈블리 코딩 온라인 시뮬레이터

https://dannyqiu.me/mips-interpreter/

MIPS Interpreter

dannyqiu.me

위 링크에서 코딩 가능하다.

instruction이 모두 구현되어 있는 것은 아니고, 기본적인 것들만 구현되어있다.

아래와 같이 쓸 수 있다.

main:
addiu $s0, $0, 0
addiu $t0, $0, 10

for:
beq $s0, $t0, done
nop
addiu $s0, $s0, 1
j for
nop

done:

아래 코드는 $s0와 $s1의 곱을 $s2에 저장하는 코드이다.

main:
addiu $s0, $0, 16
addiu $s1, $0, 15
addiu $s2, $0, 0
addiu $s3, $0, 0

for:
beq $s3, $s1, done
nop
addu $s2, $s2, $s0
addiu $s3, $s3, 1
srl $s4, $s2, 8

bne $s4, $0, saturate
nop

j for 
nop

saturate:
addiu $s2, $0, 255

done:

s3를 counter처럼 사용하고, s4는 carry 처럼 사용한다.

WSL2 포트 포워딩

ugonfor — Thu, 30 Sep 2021 22:10:24 +0900

WSL2에 서버 프로세스를 올리고, 외부에서 접속하고자 할 때가 있습니다.

기존에 host의 경우에는 router - host 사이의 포트포워딩만 해주면 되었었는 데, WSL은 router - wsl로 바로 포트포워딩이 안되더라구요.

WSL의 구조를 생각해보면, router에 직접 연결이 되어있는 것이 아니라 host의 subnet에 연결되어있고, host를 통해서 다시 router로 연결되기 때문입니다.

그래서 WSL - 외부 로 통신하려면 결국 포트 포워딩을 두번 해줘야 하는 거지요...

WSL - Host간에 포트 포워딩을 해줘야 하고,

Host - Router간에 포트 포워딩을 해줘야 합니다.

Host - Router는 Router의 ip에 들어가서 관리자 페이지 들어가보면 있는 데

WSL - host는 어떻게 하는 지 모르겠어서 구글링을 해봤습니다.

아래 스크립트에서 $ports 부분을 저는 @(1337)로 하였는 데 @(1,2,3,7) 이런식으로 포워딩하고자 하는 포트들 번호를 적어두고 .ps1으로 저장하여 관리자 권한으로 실행하면 포워딩이 됩니다!

If (-NOT ([Security.Principal.WindowsPrincipal][Security.Principal.WindowsIdentity]::GetCurrent()).IsInRole([Security.Principal.WindowsBuiltInRole] "Administrator")) {   
    $arguments = "& '" + $myinvocation.mycommand.definition + "'"
    Start-Process powershell -Verb runAs -ArgumentList $arguments
    Break
  }
  
  $remoteport = bash.exe -c "ifconfig eth0 | grep 'inet '"
  $found = $remoteport -match '\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}';
  
  if ( $found ) {
    $remoteport = $matches[0];
  }
  else {
    Write-Output "The Script Exited, the ip address of WSL 2 cannot be found";
    exit;
  }
  
  $ports = @(1337);
  
  Invoke-Expression "netsh interface portproxy reset";
  
  for ( $i = 0; $i -lt $ports.length; $i++ ) {
    $port = $ports[$i];
    Invoke-Expression "netsh interface portproxy add v4tov4 listenport=$port connectport=$port connectaddress=$remoteport";
  }
  
  Invoke-Expression "netsh interface portproxy show v4tov4";

금융보안원 FIESTA, 화이트햇콘테스트, 사이버공격방어대회

ugonfor — Thu, 30 Sep 2021 14:34:23 +0900

FIESTA 는 5위

화이트햇 콘테스트는 17위

사이버공격방어대회는 14등

다 한끗차이로 수상이나 본선 못가네요 ;; ㅠㅠ..

물론 화이트햇은 좀 차이 나긴 하는 데 ㅎㅎ.. 피에스타는 한두문제 때문에 상 못받고 CCE는 한문제 때문에!!! 하아 ㅠㅠ

작년에는 사실 택도 없어서 그냥 아쉬움 안생겼는 데, 이번에는 진짜 다 너무 아쉽게 떨어져서 많이 아쉽네요

이제 올해 메이저 대회는 없는거 같네요

VMWare Bridge Mode 설정하는 법

ugonfor — Tue, 28 Sep 2021 16:18:56 +0900

VMWare를 사용하다가 네트워크 관련 작업을 하게 되면, 브릿지 모드를 사용하게 되는 경우가 있습니다.

그런데 분명 machine을 브릿지 모드로 설정을 해주었음에도 할당된 사설아이피가 host의 사설아이피랑 다른 경우가 있습니다.

그럴 때는 VMWare Network Editor를 추가적으로 설정해주어야 합니다.

왼쪽이 host, 오른쪽이 우분투 VMWare입니다. 가상머신 설정은 Bridge 모드로 설정해준 상태입니다.

사설아이피를 확인해보면 172.30.1.12랑 172.30.173.114인데, 만약에 같은 네트워크 안이라면 맨 뒷자리만 차이가 날 텐데, 두 자리나 차이가 나서 제대로 ip가 할당되지 않은것을 확인 가능합니다.

이를 해결하기 위해서는 아래 Virtual Network Editor에서 설정을 해주어야 합니다.

이후 아래 화면처럼 Bridged VMnet을 존재하게 만들어주면,

아래 사진처럼 제대로 사설 아이피가 할당된 것을 확인할 수 있습니다.

(❁´◡`❁)

깃헙 페이지를 만들려고 했는 데요... + 근황

ugonfor — Mon, 30 Aug 2021 22:03:53 +0900

jekyll github page 만드는 거 저는 왜이렇게 어렵나요... ruby랑 gem 다 오류나고 해서 한참동안 씨름하면서 repo 계속 만들고 지우고를 반복하다가 지금 정체하게 되었습니다....

다시 만들긴 할 건데... 왜 만드냐면 포트폴리오도 제대로 만들어야 할거 같고... 티스토리에 쓰는 것처럼 가벼운 똥글이 아니라 좀 제대로 읽고 제대로 글을 쓰려고 만들고 있었습니다...

보안 뿐만 아니라 CS나 논문 리딩한거도 올릴려고 했고 결정적으로 마크다운으로 쓸 수 있고... 근데 페이지가 안 만들어지넹 ㅋㅋ ㅠㅠ

물론 페이지 만들어도 티스토리에는 계속 가벼운 글 쓰러 올겁니다 ㅎㅎ;

최근에 안 쓰긴 했는 데, 다시 글 쓸려구요.

오랜만에 글을 쓴 김에 제 근황도 소개를 해 보자면, 네이버 인턴 떨어진 다음에 방학이 한달 애매하게 남아버려서.. 그냥 펑펑 놀아버렸습니다 ㅋㅋㅋ;;

한달동안 인턴 다른 곳하는 거도 민폐인거 같고, 시간도 얼마 안 남아서 그냥 놀았어요. 완전 펑펑 놀았어요 ㅋㅋ

중간에 CTF는 삼성 SCTF했고, 오랜만에 CyKor로 신입생도 다 끌어서 풀타임 뛰었는 데, 5등해서 굉장히 재밌게 풀었구요!

얼마 전에 1nteger_c가 인코그니토 풀라길래 한 네다섯시간 풀고 약속갔는 데 근데 50점짜리 쩌리 문제들은 귀찮아서 안 풀었는 데 그거 풀었으면 요기요 만원 받는 건데 못받아서 ㄲㅂ....

그리고 앞으로 그런 씨텝은 내 닉네임 그대로 쓰면 안 될듯.. 뭔가 뉴비들 노는 데 내가 놀러간거 같아서 좀 부끄러웠다 심지어 5시간인가 밖에 안해서 순위가 높은거도 아니고 ㅋㅋ...

학교 학점은 25학점 꽉채워 신청했습니다 ㄷㄷ;
다음학기가 굉장히 기대 되네요.