전체 글 18

[it용어] ETL / ELT 차이점

일반적으로 데이터를 가공하는 시점인 DW를 진행하기 전에 우리는 ETL 작업을 한다. 하지만 요즘 추세가 ELT로 바뀌고 있다. 개발을 진행하기 앞서, 요구사항 등을 협의 할 때 어떤 방식의 작업이 개발할 때 적합할지 파악해야 한다. ETL/ELT는 세가지 단계를 포함한다. (ELT와 순서만 다르고 개념은 같으므로, 모든 설명은 ETL 순서에 맞게 진행하겠다.) E: Extract 추출 - 원본 데이터베이스 또는 데이터 소스에서 데이터를 가져오는 것을 말한다. ETL을 사용하면 데이터가 임시 스테이징 영역으로 들어가고, ELT를 사용하면 즉시 데이터가 Lake 스토리지 시스템으로 이동한다. T: Transform 가공/변환 - 데이터의 구조를 변경하는 프로세스를 의미한다. 용도에 맞는 필터링, Resah..

개발 2021.08.19

[it개념] 온프레미스(on-premise)/클라우드 저장소 비교

온프레미스(On-premise)란 소프트웨어 등 솔루션을 기업의 서버를 클라우드 같은 원격 환경이 아닌 자체적으로 보유한 전산실 서버에 직접 설치해 운영하는 방식을 말한다. 온프레미스는 클라우드 컴퓨팅 기술이 나오기 전까지 기업 인프라 구축의 일반적인 방식이었다. 장점: 기업의 비지니스 정보를 보안성 높게 관리할 수 있다. 단점: 시스템을 구축하는데 있어서 많은 시간과 비용이 든다. 일반적으로 온프레미스 시스템을 구축하는데 단점이 커서, 퍼블릭 클라우드가 나올 당시만 해도 온프레미스 환경이 금방이라도 모두 사라질 것 같다는 이야기가 있었다. 하지만 보안 적인 이유로 비즈니스에 중요하고 보안이 필요한 서비스와 데이터는 온프레미스 환경에서, 덜 중요한 것은 퍼블릭 클라우드 환경을 사용하는 하이브리드 IT 인..

개발 2021.08.19

소스트리 사용) window에서 mac으로 remote 로컬 사용

윈도우에서 소스트리 사용하다가 예전에 사용했던 계정을 맥에서 연동하려니깐 안되는듯..? 깃 계정도 바꿨고해서 뭔가 엉킨것 같은 느낌이다. 먼저, 원격에 push 할 때 위 에러 발생시 해결 방법 remote: Invalid username or password. -> 키체인 접근해서 source tree 대상을 삭제한다. (아래 동그라미) 먼저 위 대상을 삭제하고 push 했더니 해결된다는 사람들이 많던데 난 해결되지않았다 ^^ 다음 방법으론, 소스트리에서 계정 저장경로를 재설정했다 경로를 https://계정@github.com/계정/저장소와같이 지정했더니 성공했다.

공부 2021.01.03

R ) KoNLP 패키지 설치 오류 해결

아래 10분강의를 따라하다가 KoNLP 패키지를 인스톨하는데 애먹는 사람들이 꽤 있는듯하다 R이 계속해서 버전 업그레이드를 하면서 구 패키지들이 작동이 안되는 경우가 종종 있다고 한다. www.youtube.com/watch?v=lK79KtnbUyE&list=PLRYL8FHwJMhDPF2R2pCe_HwqPt0gaUbvN&index=7&ab_channel=%EC%8A%A4%EB%A7%88%ED%8A%B8%EC%9D%B8%EC%9E%AC%EA%B0%9C%EB%B0%9C%EC%9B%90%EC%9D%B8%EC%8C%A4TV 방법1) ㅇ구패키지 설치방법: CRAN사이트에서 직접 패키지 다운로드 cran.r-project.org/src/contrib/Archive/ Index of /src/contrib/Archi..

개발 2020.12.29

[R 크롤링] 예제. 교보문고 주간 베스트셀러

/* 참고자료: statools.tistory.com/168?category=872617*/ 데이터 분석을 위해 먼저 데이터가 필요하니, 웹 페이지에서 데이터를 가져오는 작업을 연습해볼거다. R Studio를 깔아두고, ADsP 자격증 딸 때만 조금 끄적거리고 말았는데.. 드디어 제대로 써볼거 같은 느낌~ 교보문고 주간 베스트셀러 제목 크롤링하기 사실 다양한 웹 사이트의 데이터를 수집하는게 아니라, 크롤링이라고 하기도 뭐하다. 하지만, 일단 첫 단계부터 시작을해야하니..! install.packages ( " httr " ) # httr 설치-설치 만하고 변수를 지정하면 안됌, 라이브러리 통해서 불러 오기까지해야합니다. library ( " httr " ) # httr 불러 오기 # GET 함수로 서버에..

공부 2020.12.20

[정처기 실기] 결합도 응집도 약술형

/*나를 위한 정리*/ /*참고자료: 수제비 데일리문제 (157~156~155)*/ 157. [개념] 좋은 모듈은 -> 응집도는 높고, 결합도는 낮게 ㅇ결합도 : Coupling => 암기 스토리 : 결혼하고 싶어하는 남겨가 있는데.. 얘네가 알고보니 같은 핏줄이였던거..!! 그 둘의 성은 '모'씨.. 둘은 상의할것도, 사연도 많다. 그들의 이름은 모상의 모사연 모상의(군) 모사연(씨) (*약술형 암기) 모듈 간의 상호의존 정도 두 모듈 사이의 연관관계 (*순서 암기) ↓자료 - 스탬프 - 제어 - 외부 - 공통 - 내용↑ 자슥~쟤왜 동(공)내~ (*약술형 암기) ㅇ자료 결합도 : 모듈간의 인터페이스로 전달되는 파라미터를 통해서만 모듈 간의 상호 작용이 일어나는 경우 ㅇ스탬프 결합도 : 모듈 간의 인터페..

공부 2020.12.20