매크로 유틸리티

최근 관심을 두눈 주제들 중 하나는 web scraping 이다. 몇가지 해보고 싶은 것 중 하나는 조만간 사라질 한국 야후 서비스 중 야후!북 서비스에서 미처 보지 못했던 책들을 나중에 보기 위해 받아두는 것이다. 물론 손으로 하나씩 받아둘 수 있겠지만 컴퓨터를 사용하는 입장에서 이것은 너무도 불합리하기에 파이썬 혹은 펄을 이용하여 자동화하여 받아두는 것을 고려했다.

그런데 막상 시작하고 보니 사이트에서 보여주는 책자(그림파일)들이 페이지 소스내에 바로 나오는 것이 아니라 javascript를 통해서 얻어오는 것이더군... 내 수준에서는 직접적으로 얻을 수 있는 그림 링크라면 받겠는데 이것은 아직 제 수준 밖임. 나름 공부를 한 결과 webkit 라이브러리를 사용해서 내용을 다 받아온 상태에서의 최종 번역된 소스를 다시 분석해서 자료를 받는 방법을 쓸 수 있을 것 같지만 아직은 상세한 사용법을 잘 모르겠고...

일단 조금은 더 익숙한 파이썬을 써서 PyQT 와 PyQT Webkit을 설치하고 웹상에서 찾을 수 있는 예제 소스로 해 보았는데 언어 코딩과 관련해서 에러가 나면서 막혀버렸다. 한참 더 공부해야 이런것도 스스로 해결할 수 있을 것 같다.

다음으론 예전부터 알고 있던 몇가지 매크로 유틸리티를 사용할 방법을 고민해 보았습니다. 하나는 웹브라우저의 애드온으로 많이 알려진 iMacro 이고 또하나는 AutoHotKey 라는 입력 기기 (키보드, 마우스 등) mechanizer 소프트웨어가 있다.

일단은 iMacro를 사용해서 아예 웹사이트를 통째로 하드에 저장하는 것까지는 가능했었다. 이 경우 다 받아놓고 추후 각각의 폴더에 들어가서 적절한 방법으로 원하는 책자의 그림파일만 모아서 이름을 변경하므로써 원하는 일을 할 수 있을 것 같았다. 해서 일단 책자의 모든 페이지로 가는 링크들을 다 모아서 iMacro에서 사용할 수 있도록 iMacro 용 매크로 스크립트를 만들었고 여기까지는 python 만으로도 쉽게 스크립트를 생성해 낼 수 있었다. iMacro는 파이어폭스에서 돌림. 크롬에서는 뭔지 잘 작동을 안해서... 그리고 돌려보니 처음에는 잘 되길래 놔두고 다른일 하고 오니 중간에 에러가 나서 멈춰 있었다. 물론 다시 시작하거나 해서 원하는 결과를 얻을 수 있을 것이므로 절반의 성공은 거둔 셈.

헌데 어떤 책자의 경우는 보려면 성인인증을 거쳐야 하는 것도 있다. 이 경우는 예전에는 파이썬 mechanizer 로 일단 해결했던 것 같고, iMacro 에서도 가능했던 것 같다. 그 외에는 웹 응용뿐 아니라 더 다양한 응용에 써 먹을 수 있는 범용적인 키 매크로 유틸리티인 AutoHotKey 가 있기에 일단 나중에 사용처를 찾아보기로 하고 기록으로 남겨놓는다. 

사실 아주 오래전에 한번 써 본 적 있던것도 같다. 본인의 전기기타는 USB 케이블을 통해 PC의 이펙터 소프트웨어에 연결되는데 수십가지 이펙터 리스트 중 원하는 것을 마우스로 클릭해서 선택하는 방식은 실제 기타를 치면서는 무척 힘든 방법이다. 그래서 위의 AutoHotKey 를 이용해서 키보드 하나 당 하나씩의 이펙터를 선택하도록 (실제로는 마우스 커서 위치를 옮기고 마우스 버튼을 클릭하는 역할을 하게 함) 매크로를 짜 놓고는 사용했던 것 같다. 이것도 나중에 시간날때 다시 확인해 보고 정리하기로 하자 !