White Whale Studio

앞에서도 언급했듯이 twitter4j는 java로 짜여진 API이다. twitter4j 홈페이지에서 zip으로 된 파일을 다운받자. 안드로이드 버전도 따로 있으니 필요하면 해당 버전으로 받으면 된다. 다운을 받아 압축을 풀어보면 lib 폴더에 여러가지 jar 파일이 있는데 twitter4j-core-2.2.6 파일만 추가하면 되지만 귀찮으면 그냥 다 추가해도 됨.. 이클립스에서 프로젝트에 jar 추가방법은 다음과 같다. 프로젝트명위에서 오른쪽 클릭 - Properties 클릭 - Java Build Path 클릭 - Libraries Tab 클릭 - Add External JARs 클릭 - 압축폴더에서 찾아서 추가하기. 추가를 했다면 절반은 끝낸 셈이다. 이제 데이터를 추출해보자. 트위터 API 주축이 ..

다양한 언어를 통해 API가 제작되었겠지만, JAVA와 C#을 이용한 API가 가장 찾기 쉬웠고 쓰기도 좋았다. 본래 C#으로 개발을 하던터라 C#으로 작성된 Twitterizer를 사용했는데 이런 망헐... 10월 초순부터 Oauth를 이용한 인증 방식변화 때문인지 Twitterizer 가 먹통이 되어버렸다. Search API부분은 작동이 되는데 이 API로는 원하는 결과를 얻기에 많은 어려움이 있다. 본래 PublicTimeline이라고 해서 무작위로 가장 최신의 트윗 20개를 추출해오는 API가 있었는데 1.1로 버전이 갱신되면서 삭제되었다. 하여 다른 방식으로 접근을 해야했다. 아.. 참고로 본인은 API를 활용해서 모바일 앱을 개발하는 목적이 아니라 트위터 데이터 수집이 목적이다. 따라서, 트..

트위터 API 사용목적이 정보수집이든, 어플리케이션 개발이든 간에... 제대로된 프로그래밍을 하려면 개발자는 반드시 Oauth 라는 인증을 받아야한다. 다른 API에서도 Oauth라는 이름으로 인증을 받는 절차가 있는데 트위터도 마찬가지이다. 우선 기본적으로 트위터에 계정이 있어야한다. 책에서는 어렵게 가르쳐 주는데 쉽게 포스팅해보겠다. 우선 트위터에 로그인한다. 로그인을 하게 되면 화면 하단에 위와 같은 부분이 있을 것이다. 개발자 란을 (영어 버전에서는 Developer 일 것이다.)눌러보자. 들어가보면 요런 화면을 볼 수 있다. Sign in으로 로그인 해보자.(트위터 계정과 동일하다.) 로그인을 하고 우측 상단에 있는 내 아이디에 커서를 가까이 대보면 My application 이라는 메뉴가 있으..

목적은 제목 그대로임.. SQL Server에서 제공하는 Integration Service와 연동하면서 프로세스 진행 상태를 확인해보려고 콘솔 창을 이용하려고 하는데... Console.writeline()해도 나와야 말이지 -ㅅ-... 알고보니 방법은 굉장히 간단하다. 기본은 윈도우폼 기반인데 바꾸고 나면 콘솔과 윈도우폼이 동시에 나온다. 이제 방법을 알아보자. 먼저 상단 메뉴바에 있는 메뉴 중 Project를 선택해보면 대부분 가장 밑에 "project_name Properties..." 이라고 표시된게 있다. 여기서 프로젝트이름은 본인이 생성한 프로젝트 이름이다. 눌러보면 화면에 사진과 같이 뜨는데 중간에 보면 Output type 이라는 메뉴가 있다 눌러보면 window application, ..

해당 포스팅은 개인용으로 작성되었으며, 제법 자주 사용하는 SQL문을 지속적으로 갱신할 목적으로 작성되었습니다. 1. select count(*) as count, sum(followerNo) as sum from twittertesttb; count와 sum은 제법 많이 쓰인다. 용도는 알고 있을 테니 생략하고 사용방식은 위와 같다. as 다음의 텍스트는 임시로 생성될 테이블의 Attribute Name 이니 알아두길 바란다. 2. 중첩 SQL SELECT TOP 100 * FROM T_distribute where id =(select id from TB_play where ip = '000.000.000.000') Order by date desc; 중첩 SQL 문의 한 방법으로 특정 어트리뷰트의 ..

Configure and Manage Word Breakers and Stemmers for Search 라는 MS의 문서 한장으로 시작한 작업이다.. 아주 정신적으로 고된 작업이었씀.. 별것 아닌데도..ㅠㅠ SQL Server Business Intelligence Development Studio는 MS 사의 작품인데, MS-SQL 2008을 설치하면 부가적으로 사용할 수 있는 프로그램이다. 잘 사용할 일은 없는데, 주로 마이닝이나 분석을 목적으로 사용하게 된다. 다양한 이용 방법이 있겠지만, 이번 포스팅에는 용어 추출에 대해서 살펴보자. (사실 이것밖에 모른다..-_-) 본인의 기억력을 의심하기 때문에 나 스스로 다시봐도 쉽게 알 수 있게 포스팅 하겠다. 본의 아니게 한국어판 Studio를 사용하는..

아... 이 둘을 위해 그 얼마나 많은 삽질검색과 설치를 하였던가...-ㅅ-... 나와 같은 경로를 밟을 가능성이 높은 수많은 이들을 위해 포스팅한다..ㅠㅠ 우선 파이썬이 설치되어 있어야 한다. 당연한 말이겠지만.. 파이썬 설치에 관한 포스팅은 이전에 포스팅을 참고하길 바란다. 현재 easy_install을 지원하는 버젼이 2.6까지라고 하니 참고바란다. 추후 업데이트될것같음.. 각각에 대해 설명해보자. 파이썬 홈피의 설명이다. Easy Install is a python module (easy_install) bundled with setuptools that lets you automatically download, build, install, and manage Python packages. eas..

앞에서 군집화 기법에 대해 정리를 할때 언급했었던 계보적 방법이다. 개념적인 부분은 앞의 부분과도 겹치지만 다시한번 살펴보자. 확실히 영어가 더 인식하기에 편하다. Hierarchical Clustering 계보적 군집화는 병합적 방법과 분할적 방법으로 나뉜다. ㆍ병합적 계보적 군집화(Agglomerative) : 상향식 방법, 각 객체를 자신의 군집에 배치하고, 그 원자 군집들을 더 큰 군집으로 만들어 간다. 모든 객체가 하나의 군집이 되거나, 종료조건을 만족하면 종료, 대부분의 군집화 방법(유사성에 대한 정의만 다름) ㆍ분할적 계보적 군집화(Divisive) : 병합적 방법과 반대, 하향식, 모든 객체를 하나의 군집으로 여기면서 시작, 각 객체가 하나의 군집을 형성하게 될때까지, 혹은 적절한 개수의 ..

이것은 각막셀카! 아... 군집분석도 타이핑하려니 귀찮다.. 앞으로 생략.. ---------------------------------------------------- 앞에서 포스팅했듯이 k-means는 평균값을 구하는 연산을 수행하기 때문에 잡음이나 이상치에 민감하다고 했다. 이러한 단점을 해결하기 위해서 나온것이 k-medoids 알고리즘이다. K-medoids 알고리즘의 핵심은 평균을 구하는 대신에 군집을 대표하는 실제 객체를 선택하는 것이다. 나머지 객체들은 가장 유사한 대표 객체들로 군집화 된다. 즉, K-means에서 평균을 계산해서 평균값을 기준으로하여 가장 가까운 객체들은 특정 군집에 할당을 했다면, K-medoids는 실제로 존재하는 객체들 중에 하나를 선택하여 대표 객체로 선정하고 ..

n 개의 객체를 가진 데이터 집합 D와 군집 수로 k가 주어진다면, 분할 알고리즘은 객체들을 나누어 k개의 군집으로 나눈다. 결과적으로 군집 내의 객체들은 유사하고, 다른 군집의 객체들끼리는 그렇지 않도록하는 것이 최종목적이 되겠다. 가장 잘 알려진 일반적인 분할 방법은 k-means와 k-mediods 이다. k-평균, k-중앙객체 라고도 한다. 먼저 k-means에 대해 살펴보자. k-means는 개괄적으로 표현하자면, 간단하지만 단점이 좀 있는 클러스터링 방법이다. 그도 그럴것이 초기값으로 k가 주어져야만 하고, 초기 설정값에 따라서 클러스터링 결과가 많이 바뀌기 때문에 여러가지 방면에서 약점이 있다. 상세하게 조금씩 살펴보자. 진행 순서는 다음과 같다. 1. 군집의 평균이나 중심값으로 객체들에서 ..